搜索

[23809] 2015-04-19_Redis集群技术及Codis实践

文档创建者：s7ckTeam
浏览次数：0
最后更新：2025-01-18
2015-04-19_Redis集群技术及Codis实践 R e d i s 集 群 技 术 及 C o d i s 实 践 L i n u x 中 国   2 0 1 5 - 0 4 - 1 9 前 言 本 文 主 要 讨 论 R e d i s 集 群 相 关 技 术 及 新 发 展 ， 关 于 R e d i s 运 维 等 内 容 ， 以 后 另 开 主 题 讨 论 。 本 文 重 点 推 荐 C o d i s — — 豌 豆 荚 开 源 的 R e d i s 分 布 式 中 间 件 （ 该 项 目 于 4 个 月 前 在 G i t H u b 开 源 ， 目 前 s t a r 已 超 过 2 1 0 0 ） 。 其 和 T w e m p r o x y 相 比 ， 有 诸 多 激 动 人 心 的 新 特 性 ， 并 支 持 从 T w e m p r o x y 无 缝 迁 移 至 C o d i s 。 好 吧 我 们 正 式 开 始 。 1 .   R e d i s 常 见 集 群 技 术 长 期 以 来 ， R e d i s 本 身 仅 支 持 单 实 例 ， 内 存 一 般 最 多 1 0 ~ 2 0 G B 。 这 无 法 支 撑 大 型 线 上 业 务 系 统 的 需 求 。 而 且 也 造 成 资 源 的 利 用 率 过 低 — — 毕 竟 现 在 服 务 器 内 存 动 辄 1 0 0 ~ 2 0 0 G B 。 为 解 决 单 机 承 载 能 力 不 足 的 问 题 ， 各 大 互 联 网 企 业 纷 纷 出 手 ， “ 自 助 式 ” 地 实 现 了 集 群 机 制 。 在 这 些 非 官 方 集 群 解 决 方 案 中 ， 物 理 上 把 数 据 “ 分 片 ” （ s h a r d i n g ） 存 储 在 多 个 R e d i s 实 例 ， 一 般 情 况 下 ， 每 一 “ 片 ” 是 一 个 R e d i s 实 例 。 包 括 官 方 近 期 推 出 的 R e d i s   C l u s t e r ， R e d i s 集 群 有 三 种 实 现 机 制 ， 分 别 介 绍 如 下 ， 希 望 对 大 家 选 型 有 所 帮 助 。 1 . 1   客 户 端 分 片 这 种 方 案 将 分 片 工 作 放 在 业 务 程 序 端 ， 程 序 代 码 根 据 预 先 设 置 的 路 由 规 则 ， 直 接 对 多 个 R e d i s 实 例 进 行 分 布 式 访 问 。 这 样 的 好 处 是 ， 不 依 赖 于 第 三 方 分 布 式 中 间 件 ， 实 现 方 法 和 代 码 都 自 己 掌 控 ， 可 随 时 调 整 ， 不 用 担 心 踩 到 坑 。 这 实 际 上 是 一 种 静 态 分 片 技 术 。 R e d i s 实 例 的 增 减 ， 都 得 手 工 调 整 分 片 程 序 。 基 于 此 分 片 机 制 的 开 源 产 品 ， 现 在 仍 不 多 见 。 这 种 分 片 机 制 的 性 能 比 代 理 式 更 好 （ 少 了 一 个 中 间 分 发 环 节 ） 。 但 缺 点 是 升 级 麻 烦 ， 对 研 发 人 员 的 个 人 依 赖 性 强 — — 需 要 有 较 强 的 程 序 开 发 能 力 做 后 盾 。 如 果 主 力 程 序 员 离 职 ， 可 能 新 的 负 责 人 ， 会 选 择 重 写 一 遍 。
所 以 ， 这 种 方 式 下 ， 可 运 维 性 较 差 。 出 现 故 障 ， 定 位 和 解 决 都 得 研 发 和 运 维 配 合 着 解 决 ， 故 障 时 间 变 长 。 这 种 方 案 ， 难 以 进 行 标 准 化 运 维 ， 不 太 适 合 中 小 公 司 （ 除 非 有 足 够 的 D e v O P S ） 。 1 . 2   代 理 分 片 这 种 方 案 ， 将 分 片 工 作 交 给 专 门 的 代 理 程 序 来 做 。 代 理 程 序 接 收 到 来 自 业 务 程 序 的 数 据 请 求 ， 根 据 路 由 规 则 ， 将 这 些 请 求 分 发 给 正 确 的 R e d i s 实 例 并 返 回 给 业 务 程 序 。 这 种 机 制 下 ， 一 般 会 选 用 第 三 方 代 理 程 序 （ 而 不 是 自 己 研 发 ） ， 因 为 后 端 有 多 个 R e d i s 实 例 ， 所 以 这 类 程 序 又 称 为 分 布 式 中 间 件 。 这 样 的 好 处 是 ， 业 务 程 序 不 用 关 心 后 端 R e d i s 实 例 ， 运 维 起 来 也 方 便 。 虽 然 会 因 此 带 来 些 性 能 损 耗 ， 但 对 于 R e d i s 这 种 内 存 读 写 型 应 用 ， 相 对 而 言 是 能 容 忍 的 。 这 是 我 们 推 荐 的 集 群 实 现 方 案 。 像 基 于 该 机 制 的 开 源 产 品 T w e m p r o x y ， 便 是 其 中 代 表 之 一 ， 应 用 非 常 广 泛 。 1 . 3   R e d i s   C l u s t e r 在 这 种 机 制 下 ， 没 有 中 心 节 点 （ 和 代 理 模 式 的 重 要 不 同 之 处 ） 。 所 以 ， 一 切 开 心 和 不 开 心 的 事 情 ， 都 将 基 于 此 而 展 开 。 R e d i s   C l u s t e r 将 所 有 K e y 映 射 到 1 6 3 8 4 个 S l o t 中 ， 集 群 中 每 个 R e d i s 实 例 负 责 一 部 分 ， 业 务 程 序 通 过 集 成 的 R e d i s   C l u s t e r 客 户 端 进 行 操 作 。 客 户 端 可 以 向 任 一 实 例 发 出 请 求 ， 如 果 所 需 数 据 不 在 该 实 例 中 ， 则 该 实 例 引 导 客 户 端 自 动 去 对 应 实 例 读 写 数 据 。 R e d i s   C l u s t e r 的 成 员 管 理 （ 节 点 名 称 、 I P 、 端 口 、 状 态 、 角 色 ） 等 ， 都 通 过 节 点 之 间 两 两 通 讯 ， 定 期 交 换 并 更 新 。 由 此 可 见 ， 这 是 一 种 非 常 “ 重 ” 的 方 案 。 已 经 不 是 R e d i s 单 实 例 的 “ 简 单 、 可 依 赖 ” 了 。 可 能 这 也 是 延 期 多 年 之 后 ， 才 近 期 发 布 的 原 因 之 一 。 这 令 人 想 起 一 段 历 史 。 因 为 M e m c a c h e 不 支 持 持 久 化 ， 所 以 有 人 写 了 一 个 M e m b a s e ， 后 来 改 名 叫 C o u c h b a s e ， 说 是 支 持 A u t o   R e b a l a n c e ， 好 几 年 了 ， 至 今 都 没 多 少 家 公 司 在 使 用 。 这 是 个 令 人 忧 心 忡 忡 的 方 案 。 为 解 决 仲 裁 等 集 群 管 理 的 问 题 ， O r a c l e   R A C 还 会 使 用 存 储 设 备 的 一 块 空 间 。 而 R e d i s   C l u s t e r ， 是 一 种 完 全 的 去 中 心 化 … … 本 方 案 目 前 不 推 荐 使 用 ， 从 了 解 的 情 况 来 看 ， 线 上 业 务 的 实 际 应 用 也 并 不 多 见 。 2 .   T w e m p r o x y 及 不 足 之 处
原 文 ： h t t p : / / w w w . i n f o q . c o m / c n / a r t i c l e s / e f f e c t i v e - o p s - p a r t - 0 3 作 者 ：   萧 田 国 T w e m p r o x y 是 一 种 代 理 分 片 机 制 ， 由 T w i t t e r 开 源 。 T w e m p r o x y 作 为 代 理 ， 可 接 受 来 自 多 个 程 序 的 访 问 ， 按 照 路 由 规 则 ， 转 发 给 后 台 的 各 个 R e d i s 服 务 器 ， 再 原 路 返 回 。 这 个 方 案 顺 理 成 章 地 解 决 了 单 个 R e d i s 实 例 承 载 能 力 的 问 题 。 当 然 ， T w e m p r o x y 本 身 也 是 单 点 ， 需 要 用 K e e p a l i v e d 做 高 可 用 方 案 。 我 想 很 多 人 都 应 该 感 谢 T w e m p r o x y ， 这 么 些 年 来 ， 应 用 范 围 最 广 、 稳 定 性 最 高 、 最 久 经 考 验 的 分 布 式 中 间 件 ， 应 该 就 是 它 了 。 只 是 ， 他 还 有 诸 多 不 方 便 之 处 。 T w e m p r o x y 最 大 的 痛 点 在 于 ， 无 法 平 滑 地 扩 容 / 缩 容 。 这 样 导 致 运 维 同 学 非 常 痛 苦 ： 业 务 量 突 增 ， 需 增 加 R e d i s 服 务 器 ； 业 务 量 萎 缩 ， 需 要 减 少 R e d i s 服 务 器 。 但 对 T w e m p r o x y 而 言 ， 基 本 上 都 很 难 操 作 （ 那 是 一 种 锥 心 的 、 纠 结 的 痛 … … ） 。 或 者 说 ， T w e m p r o x y 更 加 像 服 务 器 端 静 态 s h a r d i n g 。 有 时 为 了 规 避 业 务 量 突 增 导 致 的 扩 容 需 求 ， 甚 至 被 迫 新 开 一 个 基 于 T w e m p r o x y 的 R e d i s 集 群 。 T w e m p r o x y 另 一 个 痛 点 是 ， 运 维 不 友 好 ， 甚 至 没 有 控 制 面 板 。 C o d i s 刚 好 击 中 T w e m p r o x y 的 这 两 大 痛 点 ， 并 且 提 供 诸 多 其 他 令 人 激 赏 的 特 性 。 阅 读 原 文
回复

举报

高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

使用Markdown编辑器编辑 使用富文本编辑器编辑

Archiver| 手机版| 小黑屋|
Powered by Discuz! X3.4 Copyright © 2001-2020, Tencent Cloud. 商业源码建议获取授权，如侵犯您的权益，请联系客服处理