搜索

[24321] 2015-09-24_如何选择Linux上的跟踪器

文档创建者：s7ckTeam
浏览次数：5
最后更新：2025-01-18
2015-09-24_如何选择Linux上的跟踪器 如 何 选 择   L i n u x   上 的 跟 踪 器 L i n u x 中 国   2 0 1 5 - 0 9 - 2 4 t r a c e r 是 一 个 高 级 的 性 能 分 析 和 诊 断 工 具 ， 但 是 不 要 让 这 名 词 唬 住 你 ， 如 果 你 使 用 过   s t r a c e   和   t c p d u m p ， 其 实 你 就 已 经 使 用 过 跟 踪 器 了 。 系 统 跟 踪 器 可 以 获 取 更 多 的 系 统 调 用 和 数 据 包 。 它 们 通 常 能 跟 踪 任 意 的 内 核 和 应 用 程 序 。 有 太 多 的   L i n u x   跟 踪 器 可 以 选 择 。 每 一 种 都 有 其 官 方 的 （ 或 非 官 方 的 ） 的 卡 通 的 独 角 兽 吉 祥 物 ， 足 够 撑 起 一 台 " 儿 童 剧 " 了 。 那 么 我 们 应 该 使 用 哪 个 跟 踪 器 呢 ？ 我 会 为 两 类 读 者 回 答 这 个 问 题 ， 多 数 人 和 性 能 / 内 核 工 程 师 。 过 一 段 时 间 这 些 可 能 会 发 生 变 化 ， 我 会 持 续 跟 进 并 补 充 ， 大 概 会 一 年 更 新 一 次 。 对 于 多 数 人 多 数 人   ( 开 发 者 ， 系 统 管 理 员 ， 开 发 管 理 者 ， 运 维 人 员 ， 评 测 人 员 ， 等 等 )   不 关 心 系 统 追 踪 器 的 细 节 。 下 面 是 对 于 追 踪 器 你 应 该 知 道 和 做 的 ： 1 .   使 用   p e r f _ e v e n t s   分 析   C P U   性 能 使 用   p e r f _ e v e n t s   做   C P U   性 能 分 析 。 性 能 指 标 可 以 使 用   f l a m e   g r a p h   等 工 具 做 可 视 化 。 1 .   g i t   c l o n e   - - d e p t h   1   h t t p s : / / g i t h u b . c o m / b r e n d a n g r e g g / F l a m e G r a p h 2 .   p e r f   r e c o r d   - F   9 9   - a   - g   - -   s l e e p   3 0 3 .   p e r f   s c r i p t   |   . / F l a m e G r a p h / s t a c k c o l l a p s e - p e r f . p l   |   . / F l a m e G r a p h / f l a m e g r a p h . p l   >   p e r f . s v g
L i n u x   p e r f _ e v e n t s   ( 又 称   " p e r f " ， 同 命 令 名 )   是   L i n u x   用 户 的 官 方 跟 踪 器 和 性 能 分 析 器 。 内 置 于 内 核 代 码 ， 有 很 好 维 护 （ 近 来 获 得 快 速 增 强 ） ， 通 常 通 过   l i n u x - t o o l s - c o m m o n   软 件 包 安 装 。 p e r f   有 很 多 功 能 ， 如 果 只 能 推 荐 一 个 ， 我 选 择   C P U   性 能 分 析 。 尽 管 这 只 是 采 样 ， 而 不 是 从 技 术 上 追 踪 事 件 。 最 难 的 部 分 是 获 取 完 整 的 栈 和 信 息 ， 我 为   j a v a   和   n o d e . j s   做 的 一 个 演 讲   L i n u x   P r o f i l i n g   a t   N e t f l i x   中 已 经 说 过 这 个 问 题 。 2 .   了 解 其 他 的 跟 踪 器 正 如 我 一 个 朋 友 说 的 ： “ 你 不 需 要 知 道 如 何 操 作   X   射 线 机 器 ， 但 是 一 旦 你 吞 了 一 枚 硬 币 ， 你 得 知 道 这 得 去 做   X   射 线 ” ， 你 应 该 了 解 各 种 跟 踪 器 都 能 做 什 么 ， 这 样 就 能 在 你 工 作 中 真 正 需 要 跟 踪 器 的 时 候 ， 你 既 可 以 选 择 稍 后 学 习 使 用 ， 也 可 以 雇 相 应 的 人 来 完 成 。 简 短 来 说 ： 几 乎 所 有 的 东 西 都 可 以 使 用 跟 踪 器 来 进 行 分 析 和 跟 踪 。 如 ， 文 件 系 统 内 部 、 T C P / I P   过 程 、 设 备 驱 动 、 应 用 程 序 内 部 。 可 以 看 一 下 我 的 个 人 网 站 上 关 于   f t r a c e 的 文 章 ， 还 有 我 写 的 关 于   p e r f _ e v e n t s   文 档 介 绍 ， 可 以 做 为 一 个 追 踪 （ 或 者 性 能 分 析 ） 的 例 子 。 3 .   寻 求 前 端 支 持 工 具 如 果 你 正 想 买 一 个 能 支 持 跟 踪   L i n u x   的 性 能 分 析 工 具 （ 有 许 多 卖 这 类 工 具 的 公 司 ） 。 想 像 一 下 ， 只 需 要 直 接 点 击 一 下 界 面 就 能 “ 洞 察 ” 整 个 系 统 内 核 ， 包 括 隐 藏 的 不 同 堆 栈 位 置 的 热 图 ， 我 在   M o n i t o r a m a   t a l k   中 介 绍 了 一 个 这 样 带 图 形 界 面 的 工 具 。 我 开 源 了 一 些 我 自 己 开 发 的 前 端 工 具 ， 尽 管 只 是 命 令 行 界 面 而 不 是 图 形 界 面 。 这 些 工 具 也 会 让 人 们 更 加 快 速 容 易 的 使 用 跟 踪 器 。 比 如 下 面 的 例 子 ， 用 我 的   p e r f _ t o o l ， 跟 踪 一 个 新 进 程 : 1 .   #   . / e x e c s n o o p 2 .   T r a c i n g   e x e c ( ) s .   C t r l - C   t o   e n d . 3 .         P I D       P P I D   A R G S 4 .     2 2 8 9 8     2 2 0 0 4   m a n   l s 5 .     2 2 9 0 5     2 2 8 9 8   p r e c o n v   - e   U T F - 8 6 .     2 2 9 0 8     2 2 8 9 8   p a g e r   - s 7 .     2 2 9 0 7     2 2 8 9 8   n r o f f   - m a n d o c   - r L L = 1 6 4 n   - r L T = 1 6 4 n   - T u t f 8
在   N e t f l i x   上 ， 我 们 创 建 了 一 个   V e c t o r ， 一 个 分 析 工 具 的 实 例 ， 同 时 也 是   L i n u x   上 的 跟 踪 器 的 最 终 前 端 。 对 于 性 能 / 内 核 工 程 师 我 们 的 工 作 变 的 越 来 越 困 难 ， 很 多 的 人 会 问 我 们 怎 么 样 去 追 踪 ， 哪 种 跟 踪 器 可 以 用 ！ 为 了 正 确 理 解 一 个 跟 踪 器 ， 你 经 常 需 要 花 上 至 少 1 0 0 个 小 时 才 能 做 到 。 理 解 所 有 的   l i n u x   跟 踪 器 去 做 出 理 性 的 选 择 是 一 个 浩 大 的 工 程 。 （ 我 可 能 是 唯 一 一 个 快 做 到 这 件 事 情 的 人 ） 这 里 是 我 的 建 议 ， 可 以 二 选 其 一 ： A )   选 中 一 个 全 能 的 跟 踪 器 ， 并 且 使 它 标 准 化 ， 这 将 涉 及 花 费 大 量 的 时 间 去 弄 清 楚 它 在 测 试 环 境 中 的 细 微 差 别 和 安 全 性 。 我 现 在 推 荐 S y s t e m T a p   的 最 新 版 本 （ 可 以 从 源 代 码 构 建 ） 。 我 知 道 有 些 公 司 已 经 选 用   L T T n g ， 而 且 他 们 用 的 很 好 ， 尽 管 它 不 是 非 常 的 强 大 （ 虽 然 它 更 安 全 ） 。 如 果   S y s d i g   可 以 增 加 t r a c e p o i n t 追 踪 点 或 者   k p r o b e s ， 可 以 做 为 另 一 个 候 选 。 B )   遵 循 我 上 面 提 供 的 流 程 图 ， 它 将 意 味 着 尽 可 能 更 多 的 使 用   f t r a c e   或 者   p e r f _ e v e n t ，   并 整 合   e B P F ， 之 后 其 他 的 跟 踪 器 像   S y s t e m T a p / L T T n g 会 去 填 补 剩 下 的 空 白 。   这 就 是 我 目 前 在   N e t f l i x   做 的 工 作 。 对 跟 踪 器 的 评 价 1 .   f t r a c e 我 喜 欢 用   f t r a c e ， 它 是 内 核   h a c k e r   的 首 选 ， 内 置 于 系 统 内 核 ， 可 以 使 用 跟 踪 点 （ 静 态 检 查 点 ） ， 能 调 用 内 核   k p r o b e s   和   u p r o b e s   调 试 工 具 。 并 且 提 供 几 个 这 样 的 功 能 ： 带 可 选 过 滤 器 和 参 数 的 事 件 追 踪 功 能 ； 在 内 核 中 进 行 统 计 的 事 件 计 数 和 定 时 功 能 ； 还 有 函 数 流 程 遍 历 的 功 能 。 可 以 看 一 下 内 核 代 码 中   f t r a c e . t x t   例 子 了 解 一 下 。 f t r a c e   由   / s y s   控 制 ， 仅 支 持 单 一 的   r o o t   用 户 使 用 （ 但 是 你 可 以 通 过 缓 冲 区 实 例 改 成 支 持 多 用 户 ） 。 某 些 时 候   f t r a c e   的 操 作 界 面 非 常 繁 琐 ， 但 是 的 确 非 常 “ h a c k ” ， 而 且 它 有 前 端 界 面 。 f t a c e   的 主 要 作 者   S t e v e n   R o s t e d t   创 建 了   t r a c e - c m d 命 令 工 具 ， 而 我 创 建 了   p e r f   的 工 具 集 。 我 对 这 个 工 具 最 大 的 不 满 就 是 它 不 可 编 程 。 举 例 来 说 ， 你 不 能 保 存 和 获 取 时 间 戳 ， 不 能 计 算 延 迟 ， 不 能 把 这 些 计 算 结 果 保 存 成 直 方 图 的 形 式 。 你 需 要 转 储 事 件 至 用 户 层 ， 并 且 花 一 些 时 间 去 处 理 结 果 。 f t r a c e   可 以 通 过   e B P F   变 成 可 编 程 的 。 2 .   p e r f _ e v e n t s 8 .   [ . . . ]
p e r f _ e v e n t s   是   L i n u x   用 户 的 主 要 跟 踪 工 具 ， 它 内 置 在 内 核 源 码 中 ， 通 常 通 过   l i n u x - t o o l s - c o m m o m   安 装 。 也 称 为 “ p e r f ” ， 即 其 前 端 工 具 名 称 ， 它 通 常 用 来 跟 踪 和 转 储 信 息 到 一 个 叫 做   p e r f . d a t a   的 文 件 中 ， p e r f . d a t a   文 件 相 当 于 一 个 动 态 的 缓 冲 区 ， 用 来 保 存 之 后 需 要 处 理 的 结 果 。 f t r a c e 能 做 到 的 ， p e r f _ e v e n t s   大 都 也 可 以 做 到 ， p e r f - e v e n t s   不 能 做 函 数 流 程 遍 历 ， 少 了 一 点 儿 “ h a c k ” 劲 儿 （ 但 是 对 于 安 全 / 错 误 检 查 有 更 好 的 支 持 ） 。 它 可 以 进 行   C P U   分 析 和 性 能 统 计 ， 用 户 级 堆 栈 解 析 ， 也 可 以 使 用 对 于 跟 踪 每 行 局 部 变 量 产 生 的 调 试 信 息 。 它 也 支 持 多 用 户 并 发 操 作 。 和   f t r a c e   一 样 也 不 支 持 可 编 程 。 如 果 要 我 只 推 荐 一 款 跟 踪 器 ， 那 一 定 是   p e r f   了 。 它 能 解 决 众 多 问 题 ， 并 且 它 相 对 较 安 全 。 3 .   e B P F e x t e n d e d   B e r k e l e y   P a c k e t   F i l t e r （ e B P F ） 是 一 个 可 以 在 事 件 上 运 行 程 序 的 高 效 内 核 虚 拟 机 （ J I T ） 。 它 可 能 最 终 会 提 供   f t r a c e   和   p e r f _ e v e n t s   的 内 核 编 程 ， 并 强 化 其 他 的 跟 踪 器 。 这 是   A l e x e i   S t a r o v o i t o v   目 前 正 在 开 发 的 ， 还 没 有 完 全 集 成 ， 但 是 从 4 . 1 开 始 已 经 对 一 些 优 秀 的 工 具 有 足 够 的 内 核 支 持 了 ， 如 块 设 备   I / O   的 延 迟 热 图 。 可 参 考 其 主 要 作 者   A l e x e i   S t a r o v o i t o v   的   B P F   s l i d e s 和   e B P F   s a m p l e s 。 4 .   S y s t e m T a p S y s t e m T a p   是 最 强 大 的 跟 踪 器 。 它 能 做 所 有 事 情 ， 如 概 要 分 析 ， 跟 踪 点 ， 探 针 ， u p r o b e s （ 来 自 S y s t e m T a p ） ， U S D T   和 内 核 编 程 等 。 它 将 程 序 编 译 为 内 核 模 块 ， 然 后 加 载 ， 这 是 一 种 获 取 安 全 的 巧 妙 做 法 。 它 也 是 从   t r e e   发 展 而 来 ， 过 去 有 很 多 问 题 （ 崩 溃 或 冻 结 ） 。 很 多 不 是 S y s t e m T a p   本 身 的 错 — — 它 常 常 是 第 一 个 使 用 某 个 内 核 追 踪 功 能 ， 也 是 第 一 个 碰 到   b u g   的 。 S y s t e m T a p   的 最 新 版 本 好 多 了 （ 必 须 由 源 代 码 编 译 ） ， 但 是 很 多 人 仍 然 会 被 早 期 版 本 吓 到 。 如 果 你 想 用 它 ， 可 先 在 测 试 环 境 中 使 用 ， 并 与   i r c . f r e e n o d e . n e t   上   的   # s y s t e m t a p   开 发 人 员 交 流 。 （ N e t f l i x   有 容 错 机 制 ， 我 们 已 经 使 用 了   S y s t e m T a p ， 但 是 可 能 我 们 考 虑 的 安 全 方 面 的 问 题 比 你 们 少 。 ） 我 最 大 的 不 满 是 ， 它 似 乎 认 为 你 应 该 有 内 核   d e b u g   信 息 ， 但 是 经 常 没 有 。 实 际 上 没 有 它 也 能 做 很 多 事 情 ， 但 是 缺 少 文 档 和 例 子 （ 我 必 须 自 己 全 靠 自 己 开 始 学 习 ） 。 5 .   L T T n g L T T n g   优 化 了 事 件 采 集 ， 这 比 其 他 跟 踪 器 做 得 好 ， 它 也 支 持 几 种 事 件 类 型 ， 包 括   U S T D 。 它 从   t r e e   发 展 而 来 ， 它 的 核 心 很 简 单 ： 通 过 一 组 小 规 模 的 固 定 指 令 集 将 事 件 写 入 追 踪 缓 冲 区 ， 这 种 方 式 使 它 安 全 、 快 速 ， 缺 点 是 它 没 有 内 核 编 码 的 简 单 途 径 。 我 一 直 听 说 这 不 是 一 个 大 问 题 ， 因 为 尽 管 需 要 后 期 处 理 ， 它 也 已 经 优 化 到 可 以 充 分 的 度 量 。 此 外 ， 它 还 首 创 了 一 个 不 同 的 分 析 技 术 ， 对 所 有 关 注 事 件 的 更 多 黑 盒 记 录 将 能 够 稍 后 以   G U I   的 方 式 进 行 研 究 。 我 关 心 的 是 前 期 没 有 考 虑 到 要 录 制 的 事 件 缺 失 问 题 如 何 解 决 ， 但 我 真 正 要 做 的 是 花 更 多 时 间 来 看 它 在 实 践 中 用 的 怎 么 样 。 这 是 我 花 的 时 间 最 少 的 一 个 跟 踪 器 （ 没 有 什 么 特 殊 原 因 ） 。 6 .   K t a p k t a p   是 一 款 前 景 很 好 的 跟 踪 器 ， 它 使 用 内 核 中 的   l u a   虚 拟 机 处 理 ， 在 没 有 调 试 信 息 的 情 况 下 在 嵌 入 式 设 备 上 运 行 的 很 好 。 这 让 它 得 到 了 关 注 ， 并 在 有 一 段 时 间 似 乎 超 过 了   L i n u x   上 所 有 的 追 踪 器 。 然 后   e B P F   开 始 集 成 到 内 核 了 ， 而   k t a p   的 集 成 会 在 可 以 使 用   e B P F   替 代 它 自 己 的 虚 拟 机 后 才 开 始 。 因 为   e B P F   仍 将 持 续 集 成 几 个 月 ， k t a p   开 发 者 要 继 续 等 上 一 段 时 间 。 我 希 望 今 年 晚 些 时 候 它 能 重 新 开 发 。 7 .   d t r a c e 4 l i n u x d t r a c e 4 l i n u x   主 要 是   P a u l   F o x   一 个 人 在 业 余 时 间 完 成 的 ， 它 是   S u n   D T r a c e   的   L i n u x   版 本 。 它 引 人 瞩 目 ， 已 经 有 一 些 p r o v i d e r 供 应 器 可 以 工 作 ， 但 是 从 某 种 程 度 上 来 说 还 不 完 整 ， 更 多 的 是 一 种 实 验 性 的 工 具 （ 不 安 全 ） 。 我 认 为 ， 顾 忌 到 许 可 证 问 题 ， 人 们 会 小 心 翼 翼 的 为   d t r a c e 4 l i n u x   贡 献 代 码 ： 由 于 当 年   S u n   开 源 D T r a c e   使 用 的 是   C D D L   协 议 ， 而   d t r a c e 4 l i n u x   也 不 大 可 能 最 终 进 入   L i n u x   k e r n e l 。 P a u l   的 方 法 很 可 能 会 使 其 成 为 一 个   a d d - o n 。 我 很 乐 意 看 到   L i n u x   平 台 上 的   D T r a c e   和 这 个 项 目 的 完 成 ， 我 认 为 当 我 加 入   N e t f l i x   后 将 会 花 些 时 间 来 协 助 完 成 这 个 项 目 。 然 而 ， 我 还 是 要 继 续 使 用 内 置 的 跟 踪 器 ， 如   f t r a c e   和   p e r f _ e v e n t s 。 8 . O L   D T r a c e O r a c l e   L i n u x   D T r a c e   为 了 将   D T r a c e   引 入   L i n u x ， 特 别 是 为   O r a c l e   L i n u x ， 做 出 了 很 大 的 努 力 。 这 些 年 来 发 布 的 多 个 版 本 表 明 了 它 的 稳 定 进 展 。 开 发 者 们 以 一 种 对 这 个 项 目 的 前 景 看 好 的 态 度 谈 论 着 改 进   D T r a c e   测 试 套 件 。 很 多 有 用 的 p r o v i d e r 供 应 器 已 经 完 成 了 ， 如 ： s y s c a l l ,   p r o f i l e ,   s d t , p r o c ,   s c h e d   以 及   U S D T 。 我 很 期 待   f b t （ f u n c t i o n   b o u n d a r y   t r a c i n g ， 用 于 内 核 动 态 跟 踪 ） 的 完 成 ， 它 是   L i n u x   内 核 上 非 常 棒 的 p r o v i d e r 供 应 器 。 O L
来 源 ： 开 源 中 国 原 文 ： h t t p : / / w w w . b r e n d a n g r e g g . c o m / b l o g / 2 0 1 5 - 0 7 - 0 8 / c h o o s i n g - a - l i n u x - t r a c e r . h t m l 作 者 ：   B r e n d a n   G r e g g 译 文 ： h t t p : / / w w w . o s c h i n a . n e t / t r a n s l a t e / c h o o s i n g - a - l i n u x - t r a c e r D T r a c e   最 终 的 成 功 将 取 决 于 人 们 对 运 行   O r a c l e   L i n u x （ 为 技 术 支 持 付 费 ） 有 多 大 兴 趣 ， 另 一 方 面 取 决 于 它 是 否 完 全 开 源 ： 它 的 内 核 元 件 是 开 源 的 ， 而 我 没 有 看 到 它 的 用 户 级 别 代 码 。 9 .   s y s d i g s y s d i g   是 一 个 使 用 类   t c p d u m p   语 法 在 系 统 事 件 上 操 作 的 新 跟 踪 器 ， 它 使 用   l u a   进 行 后 期 处 理 。 它 很 优 秀 ， 它 见 证 了 系 统 跟 踪 领 域 的 变 革 。 它 的 局 限 性 在 于 它 只 在 当 前 进 行 系 统 调 用 ， 将 所 有 事 件 转 储 为 用 户 级 别 用 于 后 期 处 理 。 你 可 以 使 用 系 统 调 用 做 很 多 事 情 ， 然 而 我 还 是 很 希 望 它 能 支 持 跟 踪 点 、 k p r o b e   和   u p r o b e 。 我 还 期 待 它 能 支 持   e B P F   做 内 核 摘 要 。 目 前 ， s y s d i g   开 发 者 正 在 增 加 容 器 支 持 。 留 意 这 些 内 容 。 延 伸 阅 读 延 伸 阅 读 我 关 于 跟 踪 器 的 工 作 包 括 ： f t r a c e ： 我 的   p e r f - t o o l s   工 具 集 （ 参 考 实 例 目 录 ） ； 我 在   l w n . n e t   上 的   关 于   f t r a c e   的 文 章 ；   L I S A 1 4   的 发 言 ； 还 有 帖 子 ： 函 数 计 数 ， i o s n o o p ， o p e n s n o o p ， e x e c s n o o p ， T C P   转 发 ，   u p r o b e s   以 及   U S D T 。 p e r f _ e v e n e t s ： 我 的 网 页   p e r f _ e v e n t s   实 例 ； S C A L E 上 的 发 言   N e t f l i x   的   L i n u x   性 能 分 析 ； 还 有 帖 子   C P U   采 样 ， 静 态 追 踪 点 ， 热 点 图 ， 计 数 ， 内 核 行 追 踪 ， o f f - C P U   时 间 图 。 e B P F ： 帖 子   e B P F ： 迈 出 一 小 步 ， 和 一 些   B P F   工 具 （ 我 需 要 发 布 更 多 ） 。 S y s t e m T a p ： 我 很 久 以 前 写 了 一 篇 有 点 过 期 的 帖 子 使 用   S y s t e m T a p 。 最 近 ， 我 发 布 了 一 些 工 具   s y s t e m t a p - l w t o o l s   来 演 示 如 何 在 没 有 内 核 诊 断 信 息 的 情 况 下 使 用   S y s t e m T a p 。 L T T n g ： 我 只 花 了 一 点 时 间 ， 还 不 足 以 发 表 任 何 内 容 。 k t a p ： 我 的 网 页   k t a p   实 例 包 含 一 些 早 期 版 本 的 单 行 小 程 序 和 脚 本 。 d t r a c e 4 l i n u x ： 我 在 系 统 性 能 一 书 中 给 出 了 一 些 实 例 ， 并 曾 经 开 发 了 一 些 小 的 修 复 程 序 ， 如   t i m e s t a m p s 。 O L   D T r a c e ： ： 由 于 它 直 接 由   D T r a c e   转 变 而 来 ， 很 多 我 早 期 关 于   D T r a c e   的 工 作 都 有 相 关 性 （ 如 果 在 这 里 给 出 链 接 的 话 就 太 多 了 ， 可 以 在 我 的 主 页 上 搜 索 ） 。 当 它 更 完 善 时 ， 我 会 开 发 一 些 特 殊 工 具 。 s y s d i g ： ： 我 向   f i l e s l o w e r   和   s u b s e c o n d   o f f s e t   s p e c t r o g r a m   贡 献 了 代 码 。 其 他 ： 其 他 ： 我 写 了 关 于   s t r a c e   的 注 意 事 项 。 没 有 更 多 的 跟 踪 器 了 ！ 如 果 你 想 知 道 为 什 么   L i n u x   不 仅 仅 只 有 一 个 跟 踪 器 ， 或 者 只 用 本 身 的   D T r a c e ， 你 可 以 在 我 的 演 讲 稿 从   D T r a c e   到 L i n u x   中 找 到 答 案 ， 从 2 8 张 幻 灯 片 开 始 。 感 谢   D e i r d r é   S t r a u g h a n   的 编 辑 ， 以 及 与   G e n e r a l   Z o i   的 小 马 宝 莉 创 作 者 一 起 创 作 的 跟 踪 小 马 。
阅 读 原 文
回复

举报

高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

使用Markdown编辑器编辑 使用富文本编辑器编辑

Archiver| 手机版| 小黑屋|
Powered by Discuz! X3.4 Copyright © 2001-2020, Tencent Cloud. 商业源码建议获取授权，如侵犯您的权益，请联系客服处理