设为首页收藏本站
切换到窄版

 找回密码
 立即注册
搜索
热搜: 活动 交友 discuz
Nmaps Club»论坛 › Pentests Wiki › Wiki › 数据库 › [25824] 2016-12-09_在MySQL和PostgreSQL之外，为什么阿 ...
返回列表 发新帖
查看: 0|回复: 0

[25824] 2016-12-09_在MySQL和PostgreSQL之外，为什么阿里要研发HybridDB数据库？

[复制链接]
s7ckTeam

6万

主题

-6万

回帖

-58

积分

管理员

积分
-58
发表于 4 天前 | 显示全部楼层 |阅读模式
2016-12-09_在MySQL和PostgreSQL之外，为什么阿里要研发HybridDB数据库？ 好 好 用   M y S Q L   和   P o s t g r e S Q L   不 就 行 了 ？ 为 啥 阿 里 要 劳 神 费 力 地 又 基 于   G r e e n p l u m   的 开 源 版 本 研 发   H y b r i d D B   方 案 ？ H y b r i d D B   方 案 深 究 之 下 ， 有 什 么 技 术 细 节 与 故 事 ？ 在   M y S Q L   和   P o s t g r e S Q L   之 外 ， 为 什 么 阿 里 要 研 发   H y b r i d D B   数 据 库 ？ L i n u x 中 国   2 0 1 6 - 1 2 - 0 9 以 下 文 章 来 源 于 I n f o Q   ， 作 者 萧 少 聪 作 者 ： 萧 少 聪 编 辑 ： 木 环 原 文 来 自 ：   i n f o Q “ 编 者 按 编 者 按 在 大 数 据 火 遍   I T   界 之 前 ， 大 家 对 数 据 信 息 的 挖 掘 通 常 聚 焦 在   B I （ B u s i n e s s   I n t e l l i g e n c e ） 之 上 。 B I   具 有 着 明 确 的 分 析 需 求 ， 清 晰 地 知 道 需 要 处 理 哪 些 信 息 ， 并 且 如 何 最 终 获 得 多 维 度 的   S Q L   类 型 数 据 ， 这 种 多 维 度 的 分 析 对 应 的 是   O L A P   处 理 技 术 。 在 实 际 商 业 分 析 应 用 中 ， 公 司 复 杂 信 息 模 型 、 多 样 化 的 分 析 需 求 会 给 数 据 库 带 来 极 大 的 技 术 挑 战 。 对 于 阿 里 而 言 ， 实 现   O L A P 、 进 行 在 线 大 规 模 并 行 处 理 ， 是 一 个 无 法 规 避 的 技 术 问 题 。 为 此 ， 阿 里 云 研 发 了   H y b r i d D B   方 案 ， 它 基 于 数 据 库   G r e e n p l u m   的 开 源 版 本 ， 并 且 吸 收   P o s t g r e S Q L   精 髓 。 那 么 为 什 么 会 有   H y b r i d D B   的 诞 生 ？ 它 经 历 了 怎 样 的 研 发 历 程 ？ 它 的 应 用 场 景 和 情 况 是 怎 样 的 ？ 带 着 这 些 问 题 ， I n f o Q   对 阿 里 的 数 据 库 专 家 萧 少 聪 先 生 进 行 了 采 访 ， 以 下 文 字 整 理 自 采 访 文 稿 。 I n f o Q   . 为 一 线 互 联 网 公 司 核 心 技 术 人 员 提 供 优 质 内 容 。 科 技 圈 的 观 察 者 ， 前 沿 技 术 的 传 播 者 。
先 来 讲 讲 先 来 讲 讲   O L T P   和 和   O L A P 数 据 库 领 域 中 大 家 经 常 会 看 到 两 个 词 ： O L T P   及   O L A P 。 举 例 说 明 ， 比 如 进 行 一 次 交 易 ， 资 金 从   A   帐 户 转 帐 到   B   帐 户 ， 这 整 个 过 程 就 是 一 次 交 易 事 务 。 如 果 过 程 中 有 任 何 系 统 错 误 ， 交 易 会 回 滚   A   帐 户 中 的 金 额 都 回 恢 到 操 作 前 的 状 态 ， 这 就 是 O n - L i n e   T r a n s a c t i o n   P r o c e s s i n g 联 机 事 务 处 理 过 程 （ O L T P ） 的 操 作 。 在   O L T P   场 景 中 用 户 并 发 操 作 量 会 很 大 ， 要 求 系 统 实 时 进 行 数 据 操 作 的 响 应 ， 在 查 询 时 往 往 也 是 只 会 检 索 一 条 或 几 条 明 确 的 目 标 数 据 ， 以 实 现 用 户 的 业 务 交 互 。 O L A P   意 思 是 是 O n - L i n e   A n a l y t i c a l   P r o c e s s i n g 联 机 分 析 处 理 ， 顾 名 思 义 就 是 主 要 针 对 于 数 据 的 分 析 汇 总 操 作 。 如 我 们 的 业 务 系 统 中 每 天 都 需 要 出 销 售 日 报 ， 这 个 操 作 需 要 对 当 天 所 有 数 据 进 行 汇 总 ， 并 需 要 进 行 计 算 ， 以 得 到 全 天 收 入 、 产 品 销 售 排 名 、 分 时 段 的 销 售 量 ， 甚 至 与 过 去   3 0   天 及 去 年 当 天 进 行 对 比 ， 这 样 的 操 作 都 属 于   O L A P 。 业 界 早 期 使 用 数 据 时 ， 尤 其 是   O L T P   场 景 下 ， 通 常 选 择 非 分 布 式 的 关 系 型 数 据 库 ， 如   M y S Q L 、 S Q L S e r v e r 、 O r a c l e 、 P o s t g r e S Q L   即 可 满 足 大 部 份 的 需 求 。 O L A P   中 主 流 数 据 库 遭 遇 瓶 颈 中 主 流 数 据 库 遭 遇 瓶 颈 从 技 术 角 度 而 言 ， O L A P   场 景 ， 不 仅 涉 及 的 数 据 量 大 而 且 要 求 分 析 的 结 果 实 时 返 回 ， 对 应 的   S Q L   查 询 十 分 复 杂 。 如 何 做 到 技 术 性 能 和 业 务 功 能 权 衡 ， 对 于 数 据 库 而 言 是 一 个 重 大 考 验 。 已 有 的 两 个 主 流 开 源 数 据 库 ， 已 有 的 两 个 主 流 开 源 数 据 库 ， M y S Q L   和 和   P o s t g r e S Q L   都 是 针 对 都 是 针 对   O L T P   环 境 的 ， 在 环 境 的 ， 在   O L A P   在 线 分 析 需 求 下 它 们 的 性 能 在 线 分 析 需 求 下 它 们 的 性 能 明 显 不 足 。 明 显 不 足 。 特 别 是   M y S Q L   在 大 规 模 分 析 操 作 时 多 表   J o i n   的 性 能 是 当 前 互 联 网 用 户 的 一 大 痛 点 。 在   O L A P   发 展 的 早 期 ， 其 操 作 并 没 有 专 门 的 数 据 库 支 撑 ， 直 接 就 与   O L T P   业 务 放 在 同 一 个 数 据 库 中 完 成 。 但 随 着 业 务 量 的 增 加 ， O L A P   每 次 要 分 析 的 数 据 量 越 来 越 大 ， 这 样 的 分 析 操 作 执 行 时 就 会 导 致 数 据 库 的 业 务 交 易 下 降 。 因 此 业 界 开 始 将 O L T P 、 O L A P   拆 分 成 两 套 不 同 的 数 据 库 进 行 处 理 ， O L T P   数 据 库 中 的 数 据 通 过   E T L   软 件 持 续 或 定 期 抽 取 到   O L A P   数 据 库 ， 让 业 务 交 易 与 报 表 分 析 进 行 分 离 。 而 新 的 问 题 很 快 又 到 来 了 ， 联 互 网 爆 发 后 数 据 量 也 激 增 ， 而 新 的 问 题 很 快 又 到 来 了 ， 联 互 网 爆 发 后 数 据 量 也 激 增 ， O L T P   的 业 务 库 可 以 保 存 比 较 少 的 数 据 量 如 的 业 务 库 可 以 保 存 比 较 少 的 数 据 量 如 3 个 月 到 半 年 ， 个 月 到 半 年 ， 但 但   O L A P   的 数 据 量 将 可 能 要 保 存 几 年 甚 至 更 多 。 的 数 据 量 将 可 能 要 保 存 几 年 甚 至 更 多 。 单 台 服 务 服 务 的 性 能 上 限 已 经 无 法 满 足   O L A P   分 析 数 据 持 续 增 加 所 带 来 的 压 力 ， 因 此 催 生 出 如 阿 里   H y b r i d D B   这 样 的 M a s s i v e   P a r a l l e l   P r o c e s s i n g 大 规 模 并 行 处 理 （ M P P ） 分 布 式   O L A P   数 据 库 。 新 的 分 布 式 新 的 分 布 式   O L A P   数 据 库 数 据 库 在 提 供   H y b r i d D B   方 案 之 前 ， 我 们 会 给 用 户 提 供 如 分 库 分 表 等 处 理 方 案 ， 但 这 样 的 方 案 对 于   S Q L   查 询 内 容 不 确 定 的   O L A P 业 务 并 不 友 好 。 当 用 户 需 要 进 行 多 个 数 据 表 的 组 合 操 作 时 ， 由 于 数 据 需 要 跨 服 务 器 进 行 大 规 模 的 聚 合 ， 性 能 十 分 低 下 。 这 个 问 题 在   H y b r i d D B   中 也 同 样 会 出 现 ， 所 幸 的 是 ， G r e e n p l u m   D a t a b a s e   开 源 项 目 中 借 助 平 行 的 数 据 扩 展 技 术 及   i n t e r c o n n e c t 的 专 用 协 议 ， 通 过 自 定 义 的 网 络 协 议 有 效 地 解 决 了 网 络 瓶 颈 的 问 题 。 这 也 是 我 们 选 择 基 于   G r e e n p l u m   D a t a b a s e   开 源 项 目 的 原 因 之 一 。 简 单 来 说 ， M P P   是 一 种 平 衡 的 性 能 扩 张 模 型 。 以   H y b r i d D B   的 模 型 为 列 ， 每 个 节 点 可 存 放 的 数 据 量 及 计 算 能 力 为   1 C o r e   / 8 G B   M e m   /   8 0 G B   S S D （ 即 将 开 放   5 0 0 G B   H D D   版 本 ） ， 如 果 用 户   8 0 G B   以 内 的 数 据 在 这 样 的 计 算 单 元 中 ， 可 以 在 毫 秒 内 查 询 出 结 果 ， 那 将 数 据 计 算 能 力 及 容 量 平 衡 扩 展 到 上 百   T B   甚 至   P B   时 ， 用 户 查 询 “ 等 比 ” 数 据 量 时 依 然 可 以 达 到 毫 秒 级 别 。 M P P   分 布 式   O L A P   数 据 库 系 统 架 构 已 经 发 展 了 有   1 0   多 年 之 久 ， 十 分 成 熟 ， 当 前 使 用 这 类 系 统 的 企 业 都 是 中 大 型 公 司 。 O L A P   是 一 个 很 大 的 市 场 ， 有 别 于 如 同   E M R （ H a d o o p ） 的 大 数 据 分 析 市 场 ， 它 要 求 海 量 数 据 的   S Q L   查 询 在 几 分 钟 、 几
秒 ， 甚 至 毫 秒 级 返 回 结 果 ， 因 此 对 于 服 务 器 、 网 络 及 数 据 库 软 件 本 身 的 架 构 都 提 出 了 很 高 的 要 求 。 技 术 攻 坚 之 路 技 术 攻 坚 之 路 阿 里 一 直 都 在 使 用 并 研 究   O L A P ， 实 际 上 在   2 0 0 9   年 左 右 开 始 使 用   G r e e n p l u m ， 如 果 没 有 记 错 ， 那 个 时 候 的 规 模 应 该 是 国 内 甚 至 全 亚 洲 最 大 的   G P D B   集 群 。 研 发 之 路 并 不 是 一 帆 风 顺 ， 甚 至 一 度 突 围 失 败 。 一 方 面 ， 彼 时   G r e e n p l u m   还 处 在 萌 芽 期 ， 只 发 布 了   4   年 。 另 一 方 面 ， G r e e n p l u m   没 有 开 源 ， 既 无 法 掌 握 更 为 深 入 的 资 料 ， 又 不 得 不 考 虑 价 格 因 素 。 你 可 以 想 象 阿 里 所 在 行 业 对 于 数 据 可 靠 性 的 要 求 以 及 规 模 量 ， 使 得 对 于 数 据 库 的 选 择 会 有 多 个 维 度 的 考 虑 。 不 过 早 期 的 经 历 还 是 给 我 们 留 下 了 宝 贵 的 经 验 。 当 年 的 很 多 运 维 经 验 我 们 都 进 行 了 收 集 ， 并 在 现 有 平 台 中 变 成 了 我 们 的 监 控 项 ， 通 过 自 动 化 运 维 的 手 段 进 行 资 源 调 配 及 故 障 预 警 ， 这 对 我 们 平 台 的 稳 定 性 提 供 了 很 重 要 的 经 验 。 同 时 针 对 以 前 遇 到 的 很 多 让 我 们 技 术 同 学 不 理 解 的 原 理 性 问 题 ， 通 过   G r e e n p l u m   D a t a b a s e   的 源 代 码 我 们 进 行 了 重 点 分 析 ， 并 找 到 了 问 题 的 答 案 。 有 很 多 之 前 遇 到 过 的 问 题 ， 通 过 源 码 可 以 明 确 发 现 已 经 由 厂 商 进 行 了 修 复 ， 而 有 一 些 问 题 可 能 与 我 们 的 业 务 场 景 有 关 ， 结 合 源 码 我 们 也 进 行 了 内 核 的 优 化 。 2 0 1 5   年   1 0   月   G r e e n p l u m   D a t a b a s e   由   P i v o t a l   开 源 后 ， 阿 里 云   P o s t g r e S Q L   内 核 团 队 便 开 始 进 行 深 度 的 调 研 ， 于   2 0 1 6   年 开 始 进 行 产 品 的 研 发 工 作 ， 到 今 年   7   月 份 我 们 对 用 户 开 放 了 公 测 邀 请 并 准 备 正 式 商 业 化 的 工 作 。 为 什 么 选 择 基 于   G r e e n p l u m ？ 主 要 有 三 点 考 虑 ： 1 .   生 态 ： 基 于   1 0   年 商 业 数 据 库 建 立 的 生 态 是 宝 贵 的 财 富 ， 让 用 户 的 使 用 变 得 更 为 便 捷 。 2 .   成 熟 ： 经 过 我 们 深 度 的 压 力 测 试 （ 过 程 还 是 十 分 暴 力 的 ， 在 此 不 表 ^ _ ^ ） ， 我 们 验 证 了   G r e e n p l u m   本 身 的 稳 定 性 ， 同 时 G P D B   提 供 丰 富 的   S Q L   支 持 、 编 程 接 口 易 于 进 行 扩 展 ， 这 些 都 体 现 了 她 的 成 熟 度 。 3 .   开 源 ： 只 有 掌 握 源 码 才 可 以 协 助 用 户 最 快 地 解 决 问 题 ， 同 时   G r e e n p l u m   基 于   P o s t g r e S Q L ， 基 于 这 一 点 ， 用 户 可 以 使 用 统 一 的   P o s t g r e S Q L   的   J D B C   或   . N E T   驱 动 开 发   O L T P   及   O L A P   的 软 件 ， 减 少 不 同 数 据 库 协 议 之 间 的 学 习 成 本 及 研 发 复 杂 度 。 揭 秘 揭 秘   H y b r i d D B   方 案 方 案 H y b r i d D B   基 于 开 源   G r e e n p l u m   D a t a b a s e （ 内 核 实 际 上 就 是   P o s t g r e S Q L ） 项 目 的   M P P   分 布 式 数 据 仓 库 ， 与   P o s t g r e S Q L   不 同 ， H y b r i d D B   可 以 实 现 横 向 扩 展 ， 提 供 用 户 需 要 的 百   G B   到 百   T B   的 高 性 能 分 析 能 力 。 接 下 来 结 合 项 目 说 明 实 际 应 用 。 我 们 有 一 个 广 告 行 业 的 用 户 ， 他 们 给 用 户 提 供 线 上 的 数 据 分 析 业 务 ， 同 时 也 会 将 他 们 的 产 品 进 行 线 下 私 有 环 境 的 软 件 售 卖 。 每 天 他 们 都 需 要 进 行 过 亿 数 据 的 汇 总 分 析 ， 增 量 数 据 也 都 在 千 万 级 别 ， 当 前 通 过 使 用   H y b r i d D B   进 行 他 们 线 上 业 务 的 支 持 。 一 些 单 表 的 查 询 在 毫 秒 级 别 就 可 以 输 出 结 果 ， 而 很 多 需 要 多 表   J o i n   的 复 杂 查 询 也 在 数 秒 内 就 会 有 结 果 返 回 。 同 时 这 个 用 户 给     H y b r i d D B   提 出   H y p e r L o g L o g   的 功 能 需 求 后 ， 我 们 在   2   周 内 就 给 予 了 这 个 功 能 的 支 持 ， 使 得 用 户 在 进 行 数 据 预 估 分 析 的 操 作 性 能 提 高 几 十 倍 。 与 此 同 时 用 户 线 上 使 用   H y b r i d D B   开 发 的 产 品 ， 也 可 以 十 分 便 捷 地 运 行 在 线 下 的 开 源 或 商 业 版 本 的   G r e e n p l u m   上 ， 避 免 了 在 不 同 数 据 库 平 台 上 需 要 重 新 开 发 应 用 系 统 的 工 作 量 。 在 阿 里 云 官 网 上 ， H y b r i d D B   归 结 在   “ 数 据 库 ”   和   “ 分 析 ”   两 个 类 目 。 阿 里 内 部 已 经 有 业 务 开 始 使 用   H y b r i d D B   ， 主 要 是 看 重 它 对   S Q L   的 丰 富 支 持 ， 同 时 可 以 支 持   G I S   数 据 类 型 及 基 于 事 务 一 致 性 的 存 储 过 程 。
H y b r i d D B   最 大 的 三 个 特 色 ： 最 大 的 三 个 特 色 ： 1 .   基 于 成 熟 的   G P D B   及   P o s t g r e S Q L   生 态 ， 软 开 发 合 作 伙 伴 进 行 一 次 软 件 开 发 ， 即 可 在 云 上 云 下 同 样 使 用 ， 免 去 迁 移 的 烦 恼 ， 更 容 易 实 现 混 合 云 中 的 数 据 分 析 支 持 。 2 .   支 持 多 种 混 合 数 据 类 型 （ 多 达   2 3   种 ） 的   S Q L   统 一 查 询 ， 包 括 ： 传 统 数 据 类 型 ： 字 符 、 数 字 、 浮 点 、 日 期 等 ； 非 结 构 化 数 据 ： J S O N 、 X M L ； 特 殊 功 能 数 据 类 型 ： G I S   地 理 信 息 数 据 、 I P v 4 / v 6   网 络 数 据 、 H y p e r L o g L o g   预 估 分 析 数 据 。 3 .   支 持 混 合 的 数 据 存 储 ， 包 括 ： 行 存 、 列 存 、 S S D / H D D   本 地 存 储 、 O S S   云 存 储 ， 未 来 更 将 支 持 “ 存 储 计 算 分 离 ” ， 用 户 可 以 更 为 灵 活 在 进 行 资 源 的 购 买 及 分 配 。 那 么 ， 那 么 ， H y b r i d D B   在 在   O L A P   读 取 中 都 做 了 哪 些 优 化 ？ 读 取 中 都 做 了 哪 些 优 化 ？ 优 化 方 面 从 引 擎 底 层 我 们 针 对 阿 里 云 的 硬 件 及 网 络 特 点 ， 进 行 的 源 码 级 别 的 深 度 优 化 ， 特 别 是 在 网 络 调 度 上 进 行 了 针 对 性 的 处 理 ， 提 高 跨 网 络 数 据 节 点 的 吞 吐 能 力 。 同 时 在 用 户 业 务 层 中 对 特 殊 数 据 类 型 进 行 扩 展 ， 如 果 物 联 网 中 的   J S O N   数 据 类 型 是   G r e e n p l u m   D a t a b a s e   所 不 支 持 的 ， H y b r i d D B   通 过 直 接 支 持 这 一 数 据 类 型 ， 避 免 用 户 自 行 进 行 非 结 果 化 的 解 析 ， 同 时 提 供 基 于 函 数 的   J S O N   属 性 级 索 引 ， 提 高 数 据 库 处 理   J S O N   的 检 索 性 能 。 除 此 之 外 ， 除 此 之 外 ， H y b r i d D B   还 有 哪 些 新 意 ？ 还 有 哪 些 新 意 ？ H y b r i d D B   是 云 上 的 数 据 仓 库 ， 用 户 如 果 在 自 己 的 私 有 环 境 中 进 行 类 似 架 构 的 部 署 ， 将 需 要 富 有 经 验 的 架 构 师 进 行 完 整 的 规 划 ， 同 时 还 要 聘 用 高 水 平 的 技 术 团 队 进 行 持 续 管 理 。 因 为 如 果 系 统 出 现 故 障 无 法 提 供 服 务 ， 将 很 可 能 影 响 到 企 业 的 决 策 分 析 ， 对 于 以 数 据 分 析 的 基 础 的 企 业 甚 至 会 导 致 业 务 中 断 ， 通 过 使 用 云 数 据 库   H y b r i d D B   将 免 除 这 些 烦 恼 。 将   M y S Q L   和   P o s t g r e S Q L   数 据 导 入 到   H y b r i d D B   的 这 个 流 程 实 际 上 并 没 有 很 深 的 数 据 难 度 ， 因 为   M y S Q L   和   P o s t g r e S Q L   都 支 持 基 于 的 逻 辑 日 志 ， 我 们 只 需 要 进 行 解 析 并 入 库 就 可 以 了 。 在 数 据 导 入 方 面 ， 我 们 借 助   O S S   分 布 式 数 据 存 储 的 能 力 ， 实 现 了 多 计 算 节 点 的 并 行 导 入 ， 每 个 计 算 单 元 （ 1 C o r e / 8 G B   M e m 为 一 个 计 算 单 元 ） 可 以 达 到 接 近   2 0 M B / s   的 数 据 导 入 ， 如 果 用 户 构 建 出 一 个   6 4   节 点 的   H y b r i d D B   集 群 将 可 以 达 到   1 G B / s   的 数 据 导 入 能 力 。 在 我 们 的 实 际 用 户 使 用 中 ， 已 经 有 用 户 通 过 这 个 方 法 在   4   分 钟 内 导 入 了   4   亿 条 数 据 。
另 一 方 面   H y b r i d D B   还 支 持 将 数 据 存 放 到   O S S   云 存 储 ， 实 现 廉 价 的 数 据 存 储 方 案 ， 为 用 户 节 省 更 多 成 本 。 数 据 存 储 数 据 存 储 本 地 存 储 本 地 存 储 H y b r i d D B   的 本 地 存 储 分 为 行 储 存 和 列 存 储 两 种 方 式 。 行 存 储 和 列 存 储 各 有 长 处 。 行 存 适 合 于 近 线 数 据 的 分 析 ， 特 别 是 要 求 查 询 结 果 返 回 表 中 某 几 跳 符 合 条 件 记 录 的 所 有 字 段 的 情 况 。 列 存 适 合 用 于 数 据 的 统 计 分 析 。 那 么 两 者 的 适 用 情 况 是 怎 样 的 呢 ？ 举 例 说 明 ： 在 行 存 的 情 况 下 ， 如 果 一 个 用 于 存 放 用 户 的 表 中 有   2 0   个 字 段 ， 但 我 们 只 要 统 计 用 户 年 龄 的 平 均 值 ， 这 时 数 据 库 要 对 用 户 表 进 行 全 表 扫 描 ， 遍 历 所 有 行 的 所 有 数 据 ； 但 如 果 使 用 列 存 ， 数 据 库 只 要 定 位 到 这 一 列 ， 然 后 只 扫 描 这 一 列 的 数 据 就 可 以 得 到 所 有 的 结 果 ， 性 能 上 相 比 列 存 理 论 上 就 会 直 接 快   2 0   倍 ， 加 上   H y b r i d D B   将 数 据 分 布 式 存 储 到 多 个 计 算 节 点 ， 性 能 将 再 次 提 高 几 倍 ， 达 到   1 0 0   倍 性 能 提 升 是 十 分 常 见 。 H y b r i d D B   是 混 合 两 者 搭 配 使 用 的 。 用 户 可 以 配 搭 进 行 使 用 ， 定 义 不 同 的 表 使 用 不 同 的 存 储 方 式 ， 让 用 户 适 应 不 同 的 业 务 场 景 ， 并 进 行 数 据 生 态 周 期 的 管 理 。 如   6   个 月 内 的 数 据 可 能 要 经 常 获 取 全 行 数 据 ， 因 此 使 用 行 存 储 ， 6   个 月 后 的 数 据 通 过 列 存 储 进 行 保 存 提 高 分 析 汇 总 操 作 的 查 询 性 能 。 外 部 存 储 外 部 存 储 高 性 能 的 数 据 分 析 是 在 本 地 存 储 完 成 的 。 O S S   作 为 外 部 存 储 ， H y b r i d D B   可 以 将   O S S   中 的   C S V   格 式 化 文 本 作 为 外 部 表 进 行 数 据 查 询 ， 同 时 还 可 以 对 这 些 外 部 表 进 行 写 入 操 作 。 写 入 到   O S S   的 数 据 可 以 提 供 给   R D S   f o r   P o s t g r e S Q L   或   E M R   等 云 数 据 库 服 务 进 行 读 取 及 处 理 ， 因 此 也 同 时 实 现 了 数 据 的 无 缝 打 通 。 同 时 我 们 也 将 支 持 “ 存 储 计 算 分 析 ” 的 模 型 ， 在 这 样 模 型 上 我 们 平 时 甚 至 可 以 只 通 过   O S S   进 行 数 据 的 存 储 ， 当 需 要 进 行 计 算 时 再 开 启 足 够 的 计 算 节 点 进 行 数 据 分 析 处 理 ， 计 算 处 理 结 束 后 关 闭 计 算 节 点 资 源 以 节 省 使 用 成 本 。 H y b r i d D B 的 幕 后 故 事 的 幕 后 故 事 扎 根 社 区 扎 根 社 区 当 前 我 们 基 于 开 源 版 本 的   G r e e n p l u m   D a t a b a s e ， 同 时 我 们 也 会 进 行 一 些 功 能 的 添 加 及 性 能 稳 定 性 上 的 优 化 工 作 ， 我 们 也 会 逐
步 进 行 对 开 源 社 区 的 更 多 的 贡 献 ， 如 当 前 我 们 就 已 经 开 源 了 支 持   G r e e n p l u m 、 P o s t g r e S Q L   及   H y b r i d D B   的 数 据 同 步 工 具 d b s y n c   （ h t t p s : / / g i t h u b . c o m / a l i y u n / r d s _ d b s y n c   ） ， 有 兴 趣 的 读 者 可 以 下 载 测 试 及 使 用 。 在   G r e e n p l u m   D a t a b a s e   的 开 源 社 区 我 们 会 有 很 多 的 合 作 ， 甚 至 我 们 已 经 在 向 开 源 社 区 提 交 新 功 能 及   p a t c h 。 同 时   G r e e n p l u m   也 是   P o s t g r e S Q L   开 源 数 据 库 生 态 重 要 的 力 量 ， 我 个 人 同 时 作 为   P o s t g r e S Q L   中 国 社 区 及 用 户 会 的 主 席 也 当 然 会 进 行 更 多 线 上 线 下 活 动 的 支 持 。 商 业 合 作 商 业 合 作 G r e e n p l u m   背 后 的 公 司 是   P i v o t a l 。 所 以 同 时 也 与   P i v o t a l   有 更 多 的 商 业 合 作 。 阿 里 也 会 与   P i v o t a l   方 面 进 行 持 续 的 接 触 ， 相 信 我 们 会 有 机 会 碰 出 绚 丽 的 火 花 。 写 在 最 后 写 在 最 后 长 期 以 来 国 外 开 源 社 区 都 认 为 中 国 用 户 仅 仅 使 用 开 源 软 件 ， 但 是 贡 献 甚 少 。 不 过 ， 随 着 阿 里 的 发 展 ， 我 们 已 经 开 始 反 哺 开 源 社 区 并 共 同 建 立 生 态 。 几 个 月 前 ， A l i S Q L   的 开 源 说 明 了 阿 里 对 开 源 业 界 的 支 持 。 H y b r i d D B   同 样 如 此 ， 虽 然 我 们 的 版 本 才 刚 刚 发 布 ， 但 在 版 本 研 发 的 过 程 中 已 经 开 始 向 社 区 共 享 代 码 。 阿 里 云 当 前 支 持 云 数 据 库   H y b r i d D B ， 暂 时 没 有 计 划 去 支 持 私 有 环 境 的   G r e e n p l u m   数 据 库 。 不 过 我 们 团 队 的 大 神 德 哥 ， 会 继 续 贡 献 他 在 使 用   G r e e n p l u m   的 经 验 心 得 。 希 望 对 大 家 有 所 帮 助 。 用 户 在 线 下 可 以 使 用   G r e e n p l u m   的 开 源 数 据 库 版 本 或 商 业 版 本 ， 据 我 所 了 解 也 已 经 有 很 多 数 据 库 服 务 商 开 始 提 供   G r e e n p l u m 的 技 术 支 持 ， 使 用 这 个 数 据 库 的 用 户 不 需 要 再 担 心 未 来 上 云 迁 移 的 问 题 。 同 时 ， 我 们 也 会 在 未 来 结 合   P o s t g r e S Q L   及 H y b r i d D B   提 供 一 系 列 的 使 用 教 学 视 频 ， 让 用 户 更 快 速 地 掌 握 产 品 的 正 确 使 用 场 景 及 方 法 。 作 者 简 介 作 者 简 介 萧 少 聪 萧 少 聪 ， P o s t g r e s   中 国 社 区 / 中 国 用 户 会 主 席 ， 阿 里 云 计 算 有 限 公 司   A p s a r a D B   云 数 据 库 产 品 专 家 。 红 帽 认 证   R H C A   架 构 师 / E D B   认 证 P o s t g r e S Q L   数 据 库 专 家 ， 参 与 的 著 作 有 《 L i n u x   系 统 案 例 精 解 》 、 《 深 入 理 解 大 数 据 》 。 在 阿 里 主 要 负 责   P o s t g r e S Q L   数 据 库 产 品 线 。 拥 有 多 年 开 发 、 架 构 设 计 及 项 目 管 理 经 验 ， 专 注 于 开 源   L i n u x   系 统 管 理 及   P o s t g r e s   数 据 库 、 优 化 、 集 群 系 统 、 云 架 构 设 计 。
回复

举报

返回列表 发新帖
高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

使用Markdown编辑器编辑 使用富文本编辑器编辑

Archiver|手机版|小黑屋|Nmaps Club

GMT+8, 2025-1-23 10:32 , Processed in 0.325904 second(s), 32 queries .

Powered by Discuz! X3.5

© 2001-2025 Discuz! Team.

快速回复 返回顶部 返回列表