搜索

[24433] 2015-11-04_阿里云破纪录的背后：377秒是如何炼成的？

文档创建者：s7ckTeam
浏览次数：25
最后更新：2025-01-18
2015-11-04_阿里云破纪录的背后：377秒是如何炼成的？ 阿 里 云 破 纪 录 的 背 后 ： 3 7 7 秒 是 如 何 炼 成 的 ？ 阿 里 云 飞 天 团 队   L i n u x 中 国   2 0 1 5 - 1 1 - 0 4 1 0 月 2 8 日 ， S o r t   B e n c h m a r k 官 方 宣 布 ， 阿 里 云 用 3 7 7 秒 完 成 了 1 0 0 T B 的 数 据 排 序 ， 打 破 了 此 前 A p a c h e   S p a r k 创 造 的 1 4 0 6 秒 纪 录 。 在 含 金 量 最 高 的 G r a y S o r t 和 M i n u t e S o r t 两 个 评 测 系 统 中 ， 阿 里 云 分 别 在 通 用 和 专 用 目 的 排 序 类 别 中 创 造 了 4 项 世 界 纪 录 。 消 息 一 出 ， 整 个 技 术 圈 都 沸 腾 了 ， 特 别 是 对 云 计 算 高 度 关 注 的 互 联 网 、 计 算 机 行 业 。 阿 里 云 打 破 世 界 纪 录 ， 再 次 点 燃 了 大 家 对 分 布 式 计 算 的 热 情 。 同 时 ， 大 数 据 、 云 计 算 的 各 种 圈 子 里 也 掀 起 了 讨 论 ： 这 件 事 情 有 多 难 ？ 怎 么 做 到 的 ？ 对 普 通 人 意 味 着 什 么 等 等 。 基 于 这 些 原 因 ， 我 们 发 表 此 文 ， 希 望 从 阿 里 云 的 角 度 回 答 大 家 的 疑 问 。 这 件 事 情 有 多 难 ？ 这 件 事 情 有 多 难 ？ S o r t B e n c h m a r k 的 出 现 ， 是 希 望 能 用 最 简 单 的 方 法 ， 评 估 出 不 同 的 计 算 模 型 ， 计 算 平 台 的 计 算 能 力 优 劣 ？ 而 排 序 是 最 基 础 的 计 算 问 题 ， 任 何 一 本 数 据 结 构 和 算 法 的 计 算 机 教 材 ， 首 先 要 讲 的 ， 就 是 各 种 排 序 算 法 。 所 以 排 序 ， 当 之 无 愧 的 成 为 这 个 简 单 ， 但 直 接 有 效 的 b e n c h m a r k 。 S o r t B e n c h m a r k 竞 赛 最 早 的 纪 录 追 溯 到 1 9 8 7 年 ， 当 时 都 是 单 机 的 比 赛 。 如 何 造 出 最 强 大 的 机 器 ， 如 何 尽 量 压 榨 单 台 机 器 的 性 能 是 大 家 的 主 要 工 作 。 但 从 1 9 9 8 年 开 始 ， 大 家 的 策 略 和 思 路 发 生 了 改 变 ， 分 布 式 计 算 开 始 成 为 主 流 。 大 家 的 工 作 重 点 也 转 变 为 ： 如 何 有 效 调 度 成 百 上 千 乃 至 几 万 台 机 器 上 的 C P U 、 内 存 、 网 络 、 磁 盘 I O 等 物 理 资 源 ， 最 快 完 成 海 量 数 据 的 排 序 。 这 就 像 军 队 里 ， 管 好 几 个 人 ， 你 可 以 当 班 长 ； 管 好 几 十 个 人 ， 你 可 以 当 排 长 ； 但 要 管 好 几 万 人 ， 你 才 能 当 将 军 。 而 且 ， 对 大 规 模 集 群 做 线 性 扩 展 ， 远 比 大 家 想 象 得 困 难 。 正 如 ， 一 个 班 长 说 “ 我 只 有 几 个 人 ， 所 以 我 才 是 班 长 ， 但 如 果 你 现 在 给 我 几 万 人 ， 我 马 上 就 是 将 军 了 ” ， 大 家 会 觉 得 好 笑 一 样 。 当 规 模 不 断 扩 大 ， 系 统 的 各 种 瓶 颈 都 会 逐 渐 出 现 ， 原 来 能 处 理 所 有 消 息 ， 能 做 出 各 种 调 度 决 定 ， 现 在 发 现 忙 不 过 来 ； 如 果 找 出 下 级 代 理 ， 可 能 又 会 发 现 代 理 做 出 的 决 定 和 处 理 总 不 是 最 好 的 。 这 还 只 是 一 种 资 源 的 调 度 ， 当 计 算 需 要 多 种 资 源 完 美 配 合 时 ， 你 可 能 会 发 现 内 存 是 有 效 调 度 了 ， 但 是 会 影 响 网 络 的 使 用 ； 网 络 可 能 用 好 了 ， 但 是 又 影 响 了 磁 盘 的 有 效 利 用 。 调 度 不 好 时 ， 各 个 维 度 可 能 互 相 冲 突 。 当 你 把 资 源 调 度 得 差 不 多 了 ， 你 可 能 发 现 其 实 这 个 计 算 任 务 如 果 从 机 器 A 上 换 到 机 器 B 上 运 行 ， 时 间 会 短 很 多 。 或 者 机 器 A 本 来 很 适 合 ， 但 是 碰 巧 机 器 A 坏 了 ， 就 像 几 千 人 的 军 队 打 仗 ， 有 人 临 阵 脱 逃 很 正 常 。 诸 如 此 类 的 问 题 ， 随 着 规 模 的 不 断 扩 大 ， 会 急 剧 复 杂 化 。 可 以 说 ， 规 模 每 增 加 一 个 数 量 级 ， 分 布 式 计 算 平 台 需 要 处 理 问 题 就 会 完 全 不 同 。 而 如 何 利 用 大 量 低 端 机 器 达 到 高 性 能 ， 正 是 云 计 算 技 术 的 核 心 挑 战 。 阿 里 云 的 “ 飞 天 ” 分 布 式 计 算 平 台 于 2 0 1 3 年 正 式 上 线 了 5 0 0 0 台 的 单 集 群 规 模 ， 现 在 生 产 线 上 的 规 模 更 大 。 关 于 如 何 支 持 这 么 大 的 规 模 ， 可 以 参 考 V L D B   2 0 1 4 上 伏 羲 发 表 的 文 章 ， 这 不 是 本 文 的 重 点 。 本 文 接 下 来 会 重 点 介 绍 在 支 持 如 此 大 规 模 计 算 集 群 后 ， 我 们 还 做 了 哪 些 事 情 ， 让 一 万 亿 条 记 录 ， 1 0 0 T B 数 据 的 排 序 能 在 不 到 7 分 钟 完 成 。 阿 里 云 如 何 做 到 的 ？ 阿 里 云 如 何 做 到 的 ？ “ 飞 天 ” 是 阿 里 云 的 分 布 式 计 算 平 台 ， 不 仅 承 担 着 阿 里 集 团 内 部 所 有 的 离 线 数 据 处 理 任 务 ， 同 时 也 提 供 阿 里 云 公 共 云 服 务 的 基 础 平 台 支 撑 。 “ 飞 天 ” 系 统 的 关 键 模 块 包 括 ： ( a ) P a n g u - 分 布 式 文 件 系 统 ， 负 责 存 储 和 管 理 计 算 中 心 的 数 据 文 件 ； ( b ) F u x i - 分 布 式 调 度 系 统 ， 负 责 管 理 计 算 中 心 的 集 群 资 源 ， 调 度 分 布 式 系 统 中 运 行 的 在 线 和 离 线 应 用 。 F u x i 提 供 了 一 种 名 为 F u x i J o b 的 大 数 据 批 处 理 框 架 ， 能 处 理 任 意 的 基 于 D A G ( 有 向 无 环 图 ) 描 述 的 用 户 计 算 任 务 。 F u x i 已 经 部 署 在 了 阿 里 巴 巴 多 个 计 算 中 心 的 数 十 万 服 务 器 上 ， 单 个 集 群 的 规 模 超 过 5 0 0 0 台 机 器 。 任 何 可 以 用 D A G 描 述 的 离 线 数 据 处 理 作 业 都
可 以 用 F u x i   J o b 来 执 行 ， 包 括 但 不 限 于 M a p R e d u c e 作 业 和 更 加 复 杂 的 机 器 学 习 作 业 。 J o b 的 输 入 输 出 文 件 以 及 运 行 过 程 中 的 临 时 文 件 都 存 储 在 P a n g u 中 ， 依 赖 P a n g u 提 供 的 文 件 副 本 和 l o c a l i t y 配 置 来 获 取 更 好 的 性 能 ， 同 时 提 高 数 据 的 可 靠 性 。 接 下 来 我 们 重 点 介 绍 基 于 “ 飞 天 ” 系 统 开 发 的 F u x i s o r t 程 序 。 我 们 在 G r a y S o r t 和 M i n u t e S o r t 两 项 比 赛 中 使 用 相 同 的 程 序 ， 程 序 中 的 优 化 将 在 后 续 章 节 中 详 细 介 绍 。 概 述 概 述 首 先 ， 程 序 会 对 待 排 序 数 据 进 行 采 样 ， 以 确 定 数 据 各 分 片 的 范 围 。 如 图 1 所 示 ， 除 了 采 样 之 外 ， 整 个 数 据 排 序 过 程 分 两 大 阶 段 ： m a p 阶 段 和 s o r t 阶 段 。 两 个 阶 段 都 包 含 多 个 并 行 的 任 务 。 图   1 .   F u x i S o r t 流 程 图 在 m a p 阶 段 ， m a p 任 务 通 过 P a n g u 的 C h u n k S e r v e r 进 程 从 本 地 磁 盘 中 读 入 数 据 分 片 ， 然 后 对 输 入 数 据 进 行 R a n g e P a r t i t i o n 分 配 给 不 同 的 s o r t ， 分 配 后 的 数 据 通 过 网 络 直 接 传 输 给 s o r t 任 务 。 在 s o r t 阶 段 ， 所 有 的 s o r t 任 务 周 期 性 地 将 m a p 任 务 发 过 来 的 数 据 读 入 内 存 ， 当 内 存 缓 冲 区 满 的 时 候 ， 进 行 基 于 快 速 排 序 算 法 的 内 存 排 序 ， 内 存 排 序 的 结 果 数 据 将 会 被 写 入 P a n g u 的 t e m p o r a r y 文 件 （ 这 种 文 件 存 放 在 本 地 ， 不 会 做 多 份 的 拷 贝 ） 。 当 s o r t 任 务 接 收 完 所 有 的 m a p 数 据 后 ， 会 将 所 有 在 内 存 中 排 好 序 的 数 据 以 及 之 前 写 入 t e m p o r a r y 文 件 中 的 数 据 一 起 做 归 并 排 序 ， 归 并 排 序 的 最 终 结 果 输 出 到 P a n g u 中 。 当 F u x i S o r t 所 有 的 s o r t 任 务 都 执 行 完 后 ， 会 生 成 多 个 的 P a n g u 文 件 ， 它 们 在 全 局 也 是 有 序 的 。 实 现 和 优 化 实 现 和 优 化 a ） 输 入 数 据 采 样 。 ） 输 入 数 据 采 样 。 为 了 降 低 数 据 倾 斜 带 来 的 性 能 影 响 ， 我 们 对 输 入 数 据 做 了 采 样 ， 根 据 采 样 结 果 来 确 定 R a n g e P a r t i t i o n 的 边 界 ， 从 而 保 证 每 个 s o r t 任 务 处 理 的 数 据 量 尽 量 接 近 。 举 例 说 明 ， 假 设 输 入 数 据 被 分 成 了 X 个 文 件 ， 首 先 ， 我 们 在 每 个 文 件 里 随 机 选 取 Y 个 位 置 ， 从 每 个 位 置 开 始 连 续 读 取 Z 个 数 据 样 本 ， 最 后 共 得 到 X   *   Y   *   Z 个 样 本 。 然 后 ， 我 们 对 这 些 样 本 数 据 进 行 排 序 ， 排 序 后 样 本 数 据 被 均 分 为 S 份 ， 这 里 S 为 s o r t 任 务 的 个 数 ， 这 样 就 得 到 每 个 s o r t 任 务 待 处 理 数 据 的 范 围 边 界 。 由 于 样 本 是 均 分 的 ， 可 以 使 得 每 个 s o r t 任 务 都 处 理 了 几 乎 相 等 的 数 据 量 。 对 于 G r a y S o r t 而 言 ， 我 们 有 2 0 0 0 0 个 输 入 文 件 （ X ） ， 每 个 输 入 文 件 选 取 3 0 0 个 位 置 （ Y ） ， 每 个 位 置 读 取 1 个 样 本 （ Z ） ， 最 终 我 们 选 取 6 0 0 0 0 0 0 条 样 本 进 行 排 序 ， 并 均 分 为 2 0 0 0 0 份 （ s o r t 任 务 个 数 ） ， m a p 任 务 将 根 据 上 述 样 本 来 进 行 R a n g e P a r t i t i o n ， 保 证   s o r t 任 务 处 理 的 数 据 尽 量 均 匀 。 整 个 采 样 过 程 大 约 耗 时 3 5 秒 。 对 于 M i n u t e S o r t 而 言 ， 3 3 5 0 个 输 入 文 件 ， 我 们 在 每 个 文 件 里 选 取 9 0 0 个 数 据 作 为 样 本 ， 总 的 样 本 数 量 为 3 0 1 5 0 0 0 ， 排 序 后 分 成 1 0 0 5 0 份 。 整 个 采 样 过 程 耗 时 4 秒 。 对 于 I n d y S o r t ， 则 不 需 要 这 个 采 样 过 程 。 b ） ） I O   双 双 b u f f e r 。 。 m a p 阶 段 ， F u x i S o r t 在 一 个 I / O   b u f f e r 中 处 理 数 据 ， 同 时 P a n g u 在 另 一 个 b u f f e r 中 执 行 数 据 读 入 操 作 。 这 两 个 b u f f e r 的 角 色 会 周 期 性 地 进 行 切 换 ， 这 样 就 能 保 证 处 理 数 据 操 作 和 I / O 操 作 能 并 行 起 来 ， 从 而 能 够 大 幅 降 低 任 务 的 L a t e n c y 。
图 2 .   F u x i S o r t 各 阶 段 启 动 顺 序 c ） ） 流 水 线 操 作 。 流 水 线 操 作 。 如 图 2 所 示 ， 为 了 进 一 步 降 低 整 体 L a t e n c y ， 我 们 把 排 序 过 程 的 每 个 阶 段 分 解 成 许 多 小 的 步 骤 ， 并 且 尽 可 能 地 将 这 些 小 的 步 骤 重 叠 起 来 执 行 。 这 些 分 解 出 来 的 小 步 骤 如 下 所 示 ： 1 .   数 据 采 样 ； 2 .   J o b 启 动 ； 3 .   M a p T a s k 读 输 入 数 据 ； 4 .   M a p T a s k 发 送 数 据 至 S o r t T a s k ； 5 .   S o r t T a s k 接 收 数 据 ； 6 .   S o r t T a s k 将 内 存 中 的 数 据 进 行 排 序 ， 当 内 存 装 不 下 时 ， 将 排 好 序 的 数 据 d u m p 到 临 时 文 件 中 ； 7 .   S o r t T a s k 将 内 存 中 的 有 序 数 据 和 临 时 文 件 中 的 有 序 数 据 做 m e r g e   s o r t ； 8 .   S o r t T a s k 写 最 终 输 出 文 件 。 F u x i S o r t 将 数 据 采 样 过 程 和 J o b 启 动 过 程 并 行 起 来 执 行 ， 在 J o b 启 动 阶 段 做 的 主 要 工 作 包 括 任 务 的 分 发 ， 以 及 一 些 其 他 的 数 据 管 理 工 作 ， 比 如 收 集 所 有 S o r t T a s k 的 网 络 地 址 ， 并 且 通 知 所 有 的 M a p T a s k 。 当 数 据 采 样 过 程 结 束 时 ， 采 样 程 序 会 将 每 个 分 区 的 界 限 存 放 在 P a n g u 上 ， 并 且 会 建 立 另 一 个 通 知 文 件 存 放 在 P a n g u 上 ， 用 来 标 志 采 样 结 束 。 一 旦 任 务 分 发 完 成 ， 每 个 M a p T a s k 就 开 始 周 期 性 地 检 查 通 知 文 件 是 否 存 在 。 一 旦 检 查 到 通 知 文 件 存 在 ， 也 就 意 味 着 采 样 程 序 产 生 的 各 分 区 界 限 可 用 ， M a p T a s k 就 会 立 刻 读 取 这 些 分 区 界 限 ， 并 且 根 据 这 些 界 限 进 行 数 据 分 发 。 步 骤 （ 3 ） （ 4 ） 和 （ 5 ） 在 m a p 阶 段 并 行 执 行 ， 步 骤 （ 7 ） 和 （ 8 ） 在 s o r t 阶 段 并 行 执 行 。 在 步 骤 ( 6 ) 中 ， 只 有 当 分 配 给 t a s k 的 内 存 已 经 全 部 填 满 ， 才 会 进 行 排 序 和 d u m p ， 由 于 在 排 序 过 程 中 ， 内 存 被 全 部 占 用 ， 没 有 剩 余 内 存 可 以 接 收 新 的 数 据 ， 因 此 步 骤 ( 5 ) 会 被 阻 塞 。 为 了 缓 解 这 个 问 题 ， 我 们 将 步 骤 ( 5 ) 和 ( 6 ) 并 行 起 来 ， 一 旦 内 存 使 用 超 过 一 定 量 值 ， 就 开 始 做 排 序 ， 这 样 ， 步 骤 ( 6 ) 会 被 提 前 执 行 ， 而 步 骤 ( 5 ) 也 不 会 被 阻 塞 。 当 内 存 全 部 占 满 时 ， 我 们 将 内 存 中 已 经 排 好 序 的 数 据 进 行 归 并 ， 并 d u m p 到 临 时 文 件 中 。 显 然 ， 开 始 做 排 序 的 内 存 阈 值 越 低 ， 步 骤 ( 6 ) 开 始 得 越 早 。 在 我 们 的 实 验 中 ， 当 接 收 到 的 数 据 占 用 分 配 给 T a s k 内 存 的 1 / 1 0 时 ， 开 始 执 行 步 骤 ( 6 ) 。 通 过 这 种 方 法 ， 我 们 将 I / O 和 计 算 并 行 起 来 ， 并 且 没 有 明 显 的 延 迟 ， 虽 然 这 种 方 法 可 能 会 需 要 m e r g e 更 多 的 临 时 文 件 ， 但 在 我 们 的 场 景 中 没 有 因 此 导 致 明 显 的 o v e r h e a d 。 图 2 说 明 了 每 一 步 所 花 费 的 时 间 以 及 在 执 行 过 程 中 这 些 步 骤 之 前 的 重 合 部 分 。 d ） ） 网 络 通 信 优 化 。 网 络 通 信 优 化 。 在 m a p   t a s k 和 s o r t   t a s k 之 前 有 明 显 的 网 络 通 信 流 量 ， 每 个 网 络 包 到 达 后 都 会 产 生 C P U 中 断 。 如 果 对 中 断 的 处 理 被 绑 定 到 一 个 指 定 的 C P U 内 核 上 ， 当 这 个 C P U 内 核 忙 于 排 序 时 ， 对 中 断 的 处 理 会 被 延 迟 ， 这 就 可 能 导 致 请 求 超 时 ， 甚 至 丢 包 。 通 过 设 置 ” s m _ a f f i n i t y ” ， 可
以 将 网 络 中 断 产 生 的 负 载 均 衡 到 所 有 的 C P U 内 核 上 ， 请 求 超 时 和 丢 包 的 比 率 明 显 下 降 。 图 3 .   实 时 计 算 框 架 e ） ） 对 对 M i n u t e S o r t 的 进 一 步 优 化 。 的 进 一 步 优 化 。 由 于 M i n u t e S o r t 的 执 行 时 间 要 求 限 制 在 6 0 秒 内 ， 一 般 离 线 作 业 的 调 度 开 销 就 变 得 不 容 忽 视 。 为 了 降 低 这 些 开 销 ， 我 们 在 F u x i 的 准 实 时 J o b 模 型 上 执 行 M i n u t e S o r t ， F u x i 准 实 时 J o b 模 型 是 为 了 降 低 调 度 产 生 的 o v e r h e a d ， 使 内 存 计 算 获 得 很 高 的 性 能 而 开 发 的 。 F i g u r e   3 说 明 了 准 实 时 J o b 模 型 的 框 架 。 在 典 型 的 生 产 环 境 中 ， 准 实 时 系 统 是 一 个 长 期 运 行 的 s e r v i c e ， 会 在 集 群 部 署 过 程 中 被 启 动 ， 并 且 在 每 台 机 器 上 启 动 一 个 不 退 出 的 w o r k e r 进 程 。 系 统 启 动 之 后 ， 用 户 可 以 向 准 实 时 系 统 的 调 度 器 提 交 各 种 j o b ， 并 且 可 以 获 得 j o b 在 运 行 期 间 的 状 态 。 s o r t   b e n c h m a r k 竞 赛 要 求 与 排 序 直 接 相 关 的 启 动 和 退 出 过 程 也 需 要 包 含 在 最 终 的 时 间 里 ， 为 了 遵 守 这 一 规 则 ， 我 们 在 提 交 M i n u t e S o r t j o b 之 前 ， 先 通 过 程 序 去 启 动 准 实 时 系 统 w o r k e r ， 在 j o b 运 行 结 束 后 ， 再 将 w o r k e r 进 程 停 掉 ， 在 最 终 提 交 的 结 果 中 ， 包 含 了 w o r k e r 启 动 和 停 止 所 用 的 时 间 。 准 实 时 系 统 针 对 的 场 景 是 在 中 等 规 模 大 小 的 数 据 集 ( 不 超 过 1 0 T B ) 上 ， 对 延 迟 敏 感 的 数 据 处 理 过 程 ， 在 这 种 规 模 的 数 据 集 下 ， 包 括 输 入 和 输 出 在 内 的 所 有 r e c o r d s 都 可 能 被 c a c h e 在 内 存 中 。 在 我 们 的 实 验 中 ， 我 们 只 在 准 实 时 系 统 中 运 行 M i n u t e S o r t 。 对 普 通 人 意 味 着 什 么 ？ 对 普 通 人 意 味 着 什 么 ？ 从 2 0 0 9 年 阿 里 云 诞 生 那 天 起 ， 我 们 的 愿 景 就 是 打 造 一 个 自 研 的 、 通 用 的 、 大 规 模 分 布 式 计 算 底 层 系 统 ， 让 计 算 像 电 一 样 成 为 公 共 服 务 ， “ 飞 天 ” 平 台 是 承 载 这 一 理 念 的 技 术 核 心 。 F u x i S o r t 打 破 S o r t   B e n c h m a r k 排 序 比 赛 世 界 纪 录 是 阿 里 云 6 年 技 术 沉 淀 的 直 接 体 现 ， 是 所 有 技 术 人 的 骄 傲 。 但 这 仅 仅 是 开 始 。 技 术 本 身 不 是 目 的 ， 阿 里 云 在 任 何 技 术 上 的 进 步 ， 都 会 通 过 云 产 品 对 外 输 出 ， 让 中 国 乃 至 全 世 界 的 云 计 算 客 户 收 益 。 比 如 本 次 参 赛 的 F u x i S o r t ， 通 过 开 放 数 据 处 理 服 务 （ O p e n   D a t a   P r o c e s s i n g   S e r v i c e ，   简 称 O D P S ） 对 外 商 用 。 O D P S 是 由 阿 里 云 自 主 研 发 ， 提 供 针 对 T B / P B 级 数 据 、 实 时 性 要 求 不 高 的 分 布 式 处 理 能 力 ， 应 用 于 数 据 分 析 、 挖 掘 、 商 业 智 能 等 领 域 。 阿 里 巴 巴 的 离 线 数 据 业 务 都 运 行 在 O D P S 上 （ 详 情 参 考   h t t p : / / w w w . a l i y u n . c o m / p r o d u c t / o d p s /   ） 。 阿 里 云 将 借 助 技 术 创 新 ， 不 断 提 升 计 算 能 力 与 规 模 效 益 ， 希 望 更 多 的 合 作 伙 伴 、 中 小 企 业 、 开 发 者 能 够 受 益 于 云 计 算 带 来 的 便 利 和 价 值 ， 共 同 将 云 计 算 变 成 真 正 意 义 上 的 公 共 服 务 和 普 惠 科 技 。 阅 读 原 文
回复

举报

高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

Archiver| 手机版| 小黑屋|
Powered by Discuz! X3.4 Copyright © 2001-2020, Tencent Cloud. 商业源码建议获取授权，如侵犯您的权益，请联系客服处理