搜索

[23548] 2015-01-31_OpenStack在天河二号的大规模部署实践

文档创建者：s7ckTeam
浏览次数：35
最后更新：2025-01-18
2015-01-31_OpenStack在天河二号的大规模部署实践 O p e n S t a c k   在 天 河 二 号 的 大 规 模 部 署 实 践 L i n u x 中 国   2 0 1 5 - 0 1 - 3 1 O p e n S t a c k 正 在 成 为 事 实 上 的 I a a S 标 准 ， 其 本 身 的 设 计 架 构 赋 予 了 其 高 度 的 可 扩 展 性 。 尽 管 如 此 ， 在 千 节 点 量 级 的 大 规 模 部 署 中 ， 仍 然 有 许 多 因 素 决 定 了 实 际 实 施 中 需 要 在 整 体 架 构 和 细 节 优 化 上 进 行 多 方 面 的 尝 试 与 探 索 。 本 文 分 享 在 天 河 二 号 千 节 点 规 模 上 进 行 大 规 模 部 署 的 实 践 经 验 ， 并 介 绍 团 队 在 基 于 O p e n S t a c k 构 建 企 业 级 解 决 方 案 K y l i n C l o u d 上 所 取 得 的 进 展 。 O p e n S t a c k 大 规 模 部 署 所 遭 遇 的 挑 战 随 着 本 身 不 断 的 成 熟 及 在 多 个 生 产 环 境 中 的 成 功 应 用 ， 开 放 、 开 源 的 云 服 务 平 台 O p e n S t a c k 正 在 成 为 事 实 上 的 I a a S 标 准 。 在 其 官 方 的 介 绍 中 ， 易 于 实 施 （ S i m p l e   t o   I m p l e m e n t ） 、 高 可 扩 展 （ M a s s i v e l y   S c a l a b l e ） 和 特 性 丰 富 （ F e a t u r e   R i c h ） 是 主 要 的 特 色 ， 这 得 益 于 O p e n S t a c k 本 身 松 耦 合 的 架 构 设 计 、 活 跃 且 强 有 力 的 社 区 贡 献 和 不 断 成 熟 的 生 态 圈 。 然 而 ， 需 要 管 理 数 据 中 心 千 以 上 的 物 理 节 点 时 ， 如 基 于 O p e n S t a c k 构 建 公 有 云 ， 如 何 发 挥 O p e n S t a c k 的 可 扩 展 性 优 势 提 供 稳 定 、 高 效 的 服 务 ， 仍 然 有 许 多 因 素 需 要 考 虑 ， 其 主 要 的 挑 战 主 要 来 自 以 下 两 个 方 面 ： O p e n S t a c k 本 身 的 因 素 ： 由 于 定 位 在 松 耦 合 、 功 能 丰 富 ， O p e n S t a c k 所 包 含 的 组 件 在 多 个 开 源 平 台 里 面 是 相 对 较 多 的 ， 当 前 的 最 新 版 J u n o 的 组 件 数 为 1 1 ， 即 将 发 布 的 K i l o 会 达 到 1 2 （ 包 含 I r o n i c ） ， 而 且 这 个 数 字 可 能 还 在 继 续 增 长 ； 同 时 ， 各 个 组 件 间 存 在 依 赖 关 系 ， 如 每 个 组 件 都 会 依 赖 K e y s t o n e ， N o v a 还 依 赖 于 G l a n c e 、 N e u t r o n 和 C i n d e r ； 此 外 ， 多 个 组 件 ， 如 N e u t r o n 、 C i n d e r 和 G l a n c e 还 存 在 多 种 存 储 后 端 实 现 机 制 ， 以 实 现 对 各 种 部 署 环 境 的 灵 活 支 持 ； 最 后 ， 每 个 组 件 都 有 大 量 的 配 置 文 件 ， 而 每 个 配 置 文 件 又 有 大 量 的 配 置 选 项 用 于 对 系 统 进 行 定 制 与 优 化 ； 部 署 环 境 的 因 素 ： 在 数 据 中 心 中 ， 物 理 节 点 数 目 达 到 一 定 量 级 之 后 其 本 身 的 运 维 会 面 临 部 署 配 置 复 杂 、 调 试 困 难 等 因 素 ， 仅 O S 安 装 及 软 件 包 的 部 署 与 维 护 就 带 来 很 大 的 工 作 量 ； 同 时 硬 件 故 障 率 、 网 络 压 力 、 数 据 库 压 力 甚 至 日 志 压 力 都 给 O p e n S t a c k 的 部 署 带 来 诸 多 挑 战 ， 典 型 的 表 现 之 一 是 消 息 超 时 、 响 应 变 慢 等 问 题 。 天 河 二 号 的 云 计 算 需 求 在 世 界 超 算 T o p 5 0 0 排 名 中 取 得 四 连 冠 的 天 河 二 号 已 经 于 2 0 1 4 年 初 部 署 在 国 家 超 算 广 州 中 心 并 对 外 提 供 服 务 。 与 已 有 超 级 计 算 机 系 统 的 一 个 重 要 区 别 是 ， 天 河 二 号 不 仅 仅 定 位 在 高 性 能 计 算 ， 而 是 通 过 异 构 多 态 的 体 系 结 构 设 计 与 实 现 ， 期 望 能 够 为 广 州 市 、 广 东 省 甚 至 更 大 范 围 的 政 府 部 门 和 企 事 业 单 位 的 信 息 化 建 设 和 大 数 据 处 理 提 供 强 有 力 的 资 源 支 撑 。 为 了 满 足 信 息 化 和 数 据 处 理 类 应 用 对 按 需 、 弹 性 计 算 资 源 的 需 求 ， 天 河 二 号 的 软 件 体 系 中 融 合 了 当 前 不 断 成 熟 与 普 及 的 云 计 算 模 式 。 经 过 比 较 与 测 试 ， 研 发 团 队 选 取 了 具 有 良 好 扩 展 性 和 社 区 基 础 的 O p e n S t a c k 作 为 软 件 栈 的 组 成 部 分 。 本 文 再 现 了 在 天 河 二 号 千 节 点 规 模 上 进 行 O p e n S t a c k 大 规 模 部 署 的 一 次 试 验 。
软 硬 件 配 置 在 开 始 之 前 ， 简 单 介 绍 一 下 此 次 部 署 的 软 硬 件 配 置 。 硬 件 ： 天 河 二 号 定 制 刀 片 ， 每 个 节 点 配 有 双 路 1 2 核 C P U ， 6 4 G B 内 存 ， 两 块 千 兆 网 卡 、 一 块 T H N I 高 速 网 卡 以 及 一 块 1 T B 的 S A T A 本 地 硬 盘 ； 软 件 的 具 体 版 本 信 息 如 下 ： O p e n S t a c k   ─   I c e H o u s e   （ 2 0 1 4 . 1 ） ； O S   ─   内 核 为 3 . 8 . 0 的 U b u n t u   S e r v e r   1 2 . 0 4 ； C e p h   ─   0 . 6 7 . 0 ， 用 于 提 供 后 端 存 储 ， 取 代 S w i f t ； P u p p e t   ─   2 . 7 . 1 1 ， 实 现 自 动 化 的 部 署 与 配 置 ； R a b b i t m q   ─ 3 . 2 4 ， 缺 省 的 消 息 队 列 ； M y S Q L   ─   V e r   1 5 . 1   D i s t r i b   5 . 5 . 3 5 - M a r i a D B ， O p e n S t a c k 的 后 台 支 撑 数 据 库 ； k v m   ─   Q E M U   e m u l a t o r   v e r s i o n   1 . 7 . 9 1 ， 以 K V M 作 为 底 层 的 虚 拟 化 机 制 ； l i b v i r t   ─   1 . 2 . 2 ， 虚 拟 化 层 接 口 ； O p e n v S w i t c h   ─   2 . 0 . 1 ， 虚 拟 机 网 络 的 管 理 后 端 。 部 署 架 构 为 了 实 现 O p e n S t a c k 千 级 节 点 的 部 署 ， 经 过 调 研 和 尝 试 ， 在 确 定 其 架 构 时 确 定 了 如 下 五 个 重 要 的 选 择 ： 使 用 C e l l 进 行 逻 辑 划 分 。 O p e n S t a c k 中 使 用 C e l l 来 解 决 可 扩 展 性 和 规 模 瓶 颈 ， 实 现 对 横 向 扩 展 和 大 规 模 部 署 的 支 持 。 C e l l 在 G r i z z l y 版 本 引 入 ， 并 不 断 成 熟 。 前 面 提 到 ， O p e n S t a c k 由 多 个 松 耦 合 的 组 件 构 成 ， 当 达 到 一 定 的 规 模 后 ， 某 些 模 块 将 成 为 整 个 系 统 的 瓶 颈 。 C e l l 以 树 型 结 构 为 基 础 ， 主 要 包 括 根 C e l l （ A P I - C e l l ） 与 子 C e l l （   C h i l d - C e l l ）   两 种 形 式 ， 子 C e l l 可 以 嵌 套 。 根 C e l l   运 行   n o v a - a p i   服 务 ， 每 个 子 C e l l   运 行 除   n o v a - a p i   外 的 所 有   n o v a - * 服 务 以 及 n o v a - c e l l s 服 务 ， 并 具 有 自 己 的 数 据 库 和 消 息 队 列 、 数 据 库 。 同 时 ， 树 形 结 构 引 入 了 分 级 调 度 的 概 念 ， 即 调 度 某 个 虚 拟 机 的 时 候 先 要 进 行 C e l l 的 选 择 ， 可 以 有 多 种 调 度 策 略 。 父 C e l l 会 将 消 息 路 由 到 子 C e l l 的 消 息 队 列 ， 同 时 ， 子 C e l l 定 时 的 将 自 己 的 资 源 信 息 上 报 给 父 C e l l ， 用 来 给 分 级 调 度 策 略 提 供 决 策 数 据 和 基 于 C e l l 的 资 源 监 控 ， C e l l 之 间 的 通 信 通 过 r p c 完 成 。 采 用 无 盘 方 式 部 署 系 统 。 由 于 节 点 规 模 庞 大 ， 同 时 存 在 一 定 的 故 障 率 ， 为 了 提 高 部 署 效 率 ， 减 轻 系 统 维 护 与 软 件 包 升 级 的 开 销 ， 全 系 统 采 用 无 盘 方 式 部 署 。 将 O p e n S t a c k 相 关 的 包 与 操 作 系 统 定 制 为 一 个 镜 像 ， 节 点 重 启 时 会 自 动 从 无 盘 服 务 器 拉 取 镜 像 。 同 时 ， 镜 像 中 打 入 了 一 些 自 动 化 的 脚 本 用 于 完 成 基 本 的 环 境 配 置 ， 如 初 次 启 动 时 的 硬 盘 分 区 、 I P 地 址 和 h o s t n a m e 的 确 定 与 写 入 、 无 密 码 S S H 等 。 采 用 P u p p e t 实 现 节 点 服 务 的 自 动 好 配 置 。 以 无 盘 的 方 式 部 署 系 统 后 ， 各 个 节 点 可 以 看 作 是 同 质 的 。 为 了 实 现 对 O p e n S t a c k 各 个 服 务 的 配 置 ， 使 用 P u p p e t 来 完 成 各 个 配 置 文 件 、 配 置 项 的 设 置 以 及 服 务 的 启 动 。 首 先 定 义 每 个 节 点 的 角 色 ， 并 为 每 个 角 色 与 角 色 之 间 的 关 系 定 义 相 应 的 配 置 脚 本 ， 进 行 配 置 时 ， 每 个 P u p p e t   客 户 端 会 到 服 务 器 端 去 获 取 自 己 的 角 色 和 相 应 的 脚 本 ， 然 后 加 以 执 行 。 使 用 C e p h   R B D 卷 作 为 统 一 的 存 储 后 端 ， 实 现 镜 像 存 储 、 逻 辑 卷 和 虚 拟 机 启 动 （ B o o t - f r o m - V o l u m e ） 。 采 用 分 布 式 存 储 C e p h 主 要 基 于 三 方 面 的 考 虑 ： 一 是 C e p h 架 构 本 身 具 有 的 可 扩 展 性 、 可 靠 性 与 高 性 能 ， 同 时 其 R B D 功 能 已 经 相 对 成 熟 ； 二 是 实 验 环 境 的 每 个 节 点 都 具 有 一 块 1 T B 的 S A T A 盘 ， 在 不 考 虑 使 用 成 本 较 高 的 集 中 式 存 储 的 前 提 下 ， 使 用 C e p h 把 这 些 本 地 盘 利 用 起 来 具 有 相 当 大 的 吸 引 力 ； 三 ， 尤 为 重 要 的 是 ， C e p h 一 直 与 O p e n S t a c k 保 持 良 好 的 合 作 关 系 ， 能 够 很 好 的 支 持 O p e n S t a c k 多 个 组 件 对 存 储 后 端 的 支 持 。 另 外 ， 统 一 采 用 C e p h   R B D 卷 作 为 存 储 后 端 ， 能 够 实 现 低 开 销 的 虚 拟 机 迁 移 并 降 低 对 空 间 的 使 用 率 。 管 理 网 、 业 务 网 与 存 储 网 络 分 离 。 即 充 分 使 用 每 个 节 点 的 三 块 网 卡 ， 两 块 以 太 网 卡 分 别 用 于 管 理 网 络 和 虚 拟 机 业 务 网 ， T H N I 高 速 网 用 于 C e p h ， 实 现 网 络 的 流 量 隔 离 ， 并 提 高 存 储 的 访 问 带 宽 。 基 于 以 上 考 虑 ， 在 实 际 部 署 方 案 中 ， 采 用 了 如 下 的 部 署 架 构 ： 1 .   1 2 8 个 控 制 节 点 ， 包 括 ：
8 个 n o v a 控 制 节 点 ： 运 行 n o v a - a p i 和 n o v a - c e l l s ； 8 个 镜 像 服 务 节 点 ： 运 行 g l a n c e - * 服 务 ； 8 个 卷 服 务 节 点 ： 运 行 c i n d e r - * 服 务 ； 8 个 网 络 控 制 节 点 ： 运 行 n e u t r o n - s e r v e r 服 务 ； 1 6 个 网 络 服 务 节 点 ： 运 行 n e u t r o n - * - a g e n t 服 务 ； 8 个 认 证 服 务 节 点 ： 运 行 k e y s t o n e 服 务 ； 6 个 消 息 队 列 的 节 点 ： ， 运 行 R a b b i t m q ； 6 个 数 据 库 的 节 点 ： 运 行 M y S Q L ； 4 个 负 载 均 衡 节 点 ， 采 用 L V S + K e e p a l i v e d 实 现 A P I 节 点 的 调 度 分 发 与 高 可 用 ； 2 个 H o r i z o n 节 点 ； 8 个 c e p h   监 控 节 点 ， 运 行 c e p h   m o n 服 务 ； 1 6 个 监 控 节 点 ： 为 了 实 现 对 当 前 系 统 状 态 的 监 控 与 报 警 ， 还 部 署 了 1 6 个 节 点 用 作 G a n g l i a 和 N a g i o s 的 服 务 器 端 ； 其 余 节 点 作 为 备 用 节 点 。 2 .   8 个 C e l l 的 计 算 节 点 ， 每 个 C e l l 包 含 1 2 8 个 节 点 ， 包 含 2 个 C e l l   S e r v e r 节 点 （ 运 行 除 n o v a - a p i 之 外 的 n o v a - * 服 务 、 n o v a - c e l l s 、 消 息 队 列 和 数 据 库 ） 和 1 2 6 个 计 算 节 点 ， 每 个 计 算 节 点 同 时 运 行 c e p h 的 o s d 服 务 。 大 致 的 部 署 图 如 下 ： 图 2   千 节 点 规 模 部 署 的 拓 扑 图 阅 读 原 文
回复

举报

高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

Archiver| 手机版| 小黑屋|
Powered by Discuz! X3.4 Copyright © 2001-2020, Tencent Cloud. 商业源码建议获取授权，如侵犯您的权益，请联系客服处理