搜索

[25444] 2016-09-02_开源离线数据同步工具DataX升级至3.0，支持十余款主流开源数据系统

文档创建者：s7ckTeam
浏览次数：1
最后更新：2025-01-19
2016-09-02_开源离线数据同步工具DataX升级至3.0，支持十余款主流开源数据系统 开 源 离 线 数 据 同 步 工 具   D a t a X   升 级 至   3 . 0 ， 支 持 十 余 款 主 流 开 源 数 据 系 统 L i n u x 中 国   2 0 1 6 - 0 9 - 0 2 阿 里 云 近 期 将 离 线 数 据 同 步 工 具   D a t a X   更 新 至   3 . 0   版 。 新 版 本 支 持 阿 里 云 全 线 产 品 ， 支 持 十 余 款 主 流 开 源 数 据 系 统 ， 可 帮 助 企 业 和 个 人 轻 松 实 现 不 同 数 据 源 之 间 的 数 据 同 步 。 开 源 地 址 ： h t t p s : / / g i t h u b . c o m / a l i b a b a / D a t a X     （ 点 击 阅 读 原 文 可 自 动 跳 转 到   G i t H u b   地 址 ） D a t a X 简 介 简 介 D a t a X   是 一 个 异 构 数 据 源 离 线 同 步 工 具 。 致 力 于 实 现 包 括 关 系 型 数 据 库   （ M y S Q L 、 O r a c l e   等 ) 、 H D F S 、 H i v e 、 M a x C o m p u t e 、 H B a s e 、 F T P   等 各 种 异 构 数 据 源 之 间 稳 定 高 效 的 数 据 同 步 功 能 。 设 计 理 念 设 计 理 念 为 了 解 决 异 构 数 据 源 同 步 问 题 ， D a t a X   将 复 杂 的 网 状 的 同 步 链 路 变 成 了 星 型 数 据 链 路 ， D a t a X   作 为 中 间 传 输 载 体 负 责 连 接 各 种 数 据 源 。 当 需 要 接 入 一 个 新 的 数 据 源 的 时 候 ， 只 需 要 将 此 数 据 源 对 接 到   D a t a X ， 便 能 跟 已 有 的 数 据 源 做 到 无 缝 数 据 同 步 。 当 前 使 用 现 状 当 前 使 用 现 状 2 0 1 1 年 开 源 以 来 ， D a t a X   深 受 数 据 分 析 师 欢 迎 。 新 版 本 在 开 源 社 区   G i t H u b   累 积 收 获 加 星   1 0 0 0 + 。 在 阿 里 巴 巴 集 团 ， 几 乎 每 一 个 业 务 部 门 都 在 用   D a t a X 。 D a t a X   由 阿 里 云 事 业 群 数 加 团 队 维 护 。 框 架 设 计 框 架 设 计
D a t a X   本 身 作 为 离 线 数 据 同 步 框 架 ， 采 用   F r a m e w o r k   +   P l u g i n   架 构 构 建 。 将 数 据 源 读 取 和 写 入 抽 象 成 为   R e a d e r / W r i t e r   插 件 ， 纳 入 到 整 个 同 步 框 架 中 。 R e a d e r ： 数 据 采 集 模 块 ， 负 责 采 集 数 据 源 的 数 据 ， 将 数 据 发 送 给   F r a m e w o r k 。 W r i t e r ：   数 据 写 入 模 块 ， 负 责 不 断 向   F r a m e w o r k   取 数 据 ， 并 将 数 据 写 入 到 目 的 端 。 F r a m e w o r k ： 用 于 连 接   R e a d e r   和   W r i t e r ， 作 为 两 者 的 数 据 传 输 通 道 ， 并 处 理 缓 冲 ， 流 控 ， 并 发 ， 数 据 转 换 等 核 心 技 术 问 题 。 插 件 体 系 插 件 体 系 经 过 几 年 积 累 ， D a t a X   目 前 已 经 有 了 比 较 全 面 的 插 件 体 系 ， 主 流 的   R D B M S   数 据 库 、 N o S Q L 、 大 数 据 计 算 系 统 都 已 经 接 入 。 D a t a X   目 前 支 持 数 据 如 下 ： D a t a X   F r a m e w o r k   提 供 了 简 单 的 接 口 与 插 件 交 互 ， 提 供 简 单 的 插 件 接 入 机 制 ， 只 需 要 任 意 加 上 一 种 插 件 ， 就 能 无 缝 对 接 其 他 数 据 源 。 核 心 架 构 核 心 架 构
D a t a X   3 . 0   开 源 版 本 支 持 单 机 多 线 程 模 式 完 成 同 步 作 业 运 行 。 本 小 节 按 一 个   D a t a X   作 业 生 命 周 期 的 时 序 图 ， 从 整 体 架 构 设 计 非 常 简 要 说 明   D a t a X   各 个 模 块 相 互 关 系 。 核 心 模 块 核 心 模 块 D a t a X   J o b   模 块 是 单 个 作 业 的 中 枢 管 理 节 点 ， 承 担 了 数 据 清 理 、 子 任 务 切 分 （ 将 单 一 作 业 计 算 转 化 为 多 个 子   T a s k ） 、 T a s k G r o u p   管 理 等 功 能 。 D a t a X   J o b   启 动 后 ， 会 根 据 不 同 的 源 端 切 分 策 略 ， 将   J o b   切 分 成 多 个 小 的   T a s k （ 子 任 务 ） ， 以 便 于 并 发 执 行 。 T a s k   便 是   D a t a X   作 业 的 最 小 单 元 ， 每 一 个   T a s k   都 会 负 责 一 部 分 数 据 的 同 步 工 作 。 切 分 多 个   T a s k   之 后 ， D a t a X   J o b   会 调 用   S c h e d u l e r   模 块 ， 根 据 配 置 的 并 发 数 据 量 ， 将 拆 分 成 的   T a s k   重 新 组 合 ， 组 装 成   T a s k G r o u p   （ 任 务 组 ） 。 每 一 个   T a s k G r o u p   负 责 以 一 定 的 并 发 运 行 完 毕 分 配 好 的 所 有   T a s k 。 T a s k   启 动 后 ， 会 固 定 启 动   R e a d e r   — >   C h a n n e l   — > W r i t e r   的 线 程 来 完 成 任 务 同 步 工 作 。 D a t a X   作 业 运 行 起 来 之 后 ，   J o b   监 控 并 等 待 多 个   T a s k G r o u p   模 块 任 务 完 成 ， 等 待 所 有   T a s k G r o u p   任 务 完 成 后   J o b   成 功 退 出 。 否 则 ， 异 常 退 出 ， 进 程 退 出 值 非   0 。 核 心 优 势 核 心 优 势 可 靠 的 数 据 质 量 监 控 可 靠 的 数 据 质 量 监 控 完 美 解 决 数 据 传 输 个 别 类 型 失 真 问 题 ， 提 供 作 业 全 链 路 的 流 量 、 数 据 量 运 行 时 监 控 ， 提 供 脏 数 据 探 测 。 精 准 的 速 度 控 制 精 准 的 速 度 控 制
新 版 本   D a t a X   3 . 0   提 供 了 包 括 通 道 （ 并 发 ） 、 记 录 流 、 字 节 流 三 种 流 控 模 式 ， 可 以 随 意 控 制 你 的 作 业 速 度 ， 让 你 的 作 业 在 库 可 以 承 受 的 范 围 内 达 到 最 佳 的 同 步 速 度 。 健 壮 的 容 错 机 制 健 壮 的 容 错 机 制 D a t a X   作 业 极 易 受 外 部 因 素 的 干 扰 ， 网 络 闪 断 、 数 据 源 不 稳 定 等 因 素 很 容 易 让 同 步 到 一 半 的 作 业 报 错 停 止 。 因 此 稳 定 性 是   D a t a X   的 基 本 要 求 ， 在   D a t a X   3 . 0   的 设 计 中 ， 重 点 完 善 了 框 架 和 插 件 的 稳 定 性 。 目 前   D a t a X   3 . 0   可 以 做 到 线 程 级 别 、 作 业 级 别 多 层 次 局 部 / 全 局 的 重 试 ， 保 证 用 户 的 作 业 稳 定 运 行 。 极 简 的 使 用 体 验 极 简 的 使 用 体 验 下 载 即 可 用 ， 支 持   L i n u x   和   W i n d o w s ， 只 需 要 短 短 几 步 骤 就 可 以 完 成 数 据 的 传 输 。 D a t a X   在 运 行 日 志 中 打 印 了 大 量 信 息 ， 其 中 包 括 传 输 速 度 ， R e a d e r 、 W r i t e r   性 能 ， 进 程   C P U ， J V M   和   G C   情 况 等 等 。 传 输 过 程 中 打 印 传 输 速 度 、 进 度 等 ： 传 输 过 程 中 会 打 印 进 程 相 关 的   C P U 、 J V M   等 ： 在 任 务 结 束 之 后 ， 打 印 总 体 运 行 情 况 ： 性 能 报 告 性 能 报 告 D a t a X   3 . 0   每 一 种 读 插 件 都 有 一 种 或 多 种 切 分 策 略 ， 都 能 将 作 业 合 理 切 分 成 多 个   T a s k   并 行 执 行 ， 单 机 多 线 程 执 行 模 型 可 以 让   D a t a X   速 度 随 并
发 成 线 性 增 长 。 在 源 端 和 目 的 端 性 能 都 足 够 的 情 况 下 ， 单 个 作 业 一 定 可 以 打 满 网 卡 。 下 面 附 上 最 常 用 的 插 件   M y S Q L   R e a d e r   性 能 测 试 报 告 。 环 境 准 备 ： 数 据 特 征 建 表 语 句 ： 单 行 记 录 类 似 于 ： 机 器 参 数 执 行   D a t a X   的 机 器 参 数 为 : C P U ： 2 4 核 M E M ： 4 8 G B N E T ： 千 兆 双 网 卡 M y S Q L   数 据 库 机 器 参 数 为 : C P U ： 3 2 核 M E M ： 2 5 6 G B N E T ： 千 兆 双 网 卡 单 表 测 试 报 告 单 表 测 试 报 告
说 明 ： 这 里 的 单 表 ， 主 键 类 型 为   b i g i n t ( 2 0 ) ， 范 围 为 ： 1 9 0 2 4 7 5 5 9 4 6 6 8 1 0   -   5 7 0 7 2 2 2 4 4 7 1 1 4 6 0 ， 从 主 键 范 围 划 分 看 ， 数 据 分 布 均 匀 。 对 单 表 如 果 没 有 安 装 主 键 切 分 ， 那 么 配 置 通 道 个 数 不 会 提 升 速 度 ， 效 果 与 1 个 通 道 一 样 。 分 表 测 试 报 告 分 表 测 试 报 告 ( 2 个 分 库 ， 每 个 分 库 个 分 库 ， 每 个 分 库 1 6 张 分 表 ， 共 计 张 分 表 ， 共 计 3 2 张 分 表 张 分 表 ) 写 在 最 后 的 话 写 在 最 后 的 话 想 要 了 解 更 多 数 据 采 集 方 面 的 资 讯 ， 欢 迎 大 家 关 注 想 要 了 解 更 多 数 据 采 集 方 面 的 资 讯 ， 欢 迎 大 家 关 注   2 0 1 6   杭 州 杭 州 · 云 栖 大 会 的 大 数 据 专 场 。 云 栖 大 会 的 大 数 据 专 场 。 众 多 阿 里 云 大 数 据 专 家 将 在 此 分 享 他 们 在 大 数 据 领 域 的 实 践 和 经 验 。 目 前 ， 大 会 主 场 已 开 放 报 名 。   2 0 1 6   杭 州 · 云 栖 大 会 的 主 题 是 “ 互 联 网 ， 创 新 ， 创 业 ” 。
和 去 年 相 比 ， 大 会 从 原 本   2   天 的 议 程 增 加 至   4   天 ， 从   1 0   月   1 3   日 持 续 到   1 6   日 。 届 时 将 有 超 过   4 5 0   场 主 题 演 讲 、 数 万 平 米 创 新 展 览 体 验 区 和 国 内 外 顶 尖 科 技 亮 相 。   贴 心 提 示 贴 心 提 示 现 在 参 会 票 限 时 免 费 ！ 现 在 参 会 票 限 时 免 费 ！ 现 在 参 会 票 限 时 免 费 ！ 现 在 参 会 票 限 时 免 费 ！ 现 在 参 会 票 限 时 免 费 ！ 现 在 参 会 票 限 时 免 费 ！ （ 重 要 的 事 情 说 三 遍 ） 4   天 的 主 题 峰 会 、 分 论 坛 、 创 新 展 览 、 云 栖 音 乐 节 等 开 放 活 动 ， 9   月 月   1 5   日 之 前 也 可 以 免 费 申 请 。 日 之 前 也 可 以 免 费 申 请 。 阅 读 原 文
回复

举报

高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

使用Markdown编辑器编辑 使用富文本编辑器编辑

Archiver| 手机版| 小黑屋|
Powered by Discuz! X3.4 Copyright © 2001-2020, Tencent Cloud. 商业源码建议获取授权，如侵犯您的权益，请联系客服处理