搜索

[24357] 2015-10-06_懒Redis是更好的Redis

文档创建者：s7ckTeam
浏览次数：0
最后更新：2025-01-18
2015-10-06_懒Redis是更好的Redis 懒   R e d i s   是 更 好 的   R e d i s L i n u x 中 国   2 0 1 5 - 1 0 - 0 6 大 家 都 知 道   R e d i s   是 单 线 程 的 。 对   R e d i s   内 行   的 人 会 告 诉 你 ， R e d i s   其 实 也 不 完 全 是 单 线 程 的 ， 因 为 还 有 一 些 线 程 在 处 理 特 定 的 慢 的 磁 盘 操 作 。 到 目 前 为 止 ， 这 些 线 程 里 的 操 作 都 集 中 在   I / O   上 ， 以 至 于 这 些 线 程 用 到 的 库 被 称 为   b i o . c ， 也 就 是 后 台   I / O （ B a c k g r o u n d   I / O ） 。 不 过 之 前 我 提 交 了 一 个   i s s u e ， 承 诺 给   R e d i s   新 增 一 个 很 多 人 （ 包 括 我 自 己 ） 都 想 要 的 特 性 ， 被 称 为 L a z y   f r e e 延 迟 释 放 。 可 以 参 考 这 个 i s s u e ： h t t p s : / / g i t h u b . c o m / a n t i r e z / r e d i s / i s s u e s / 1 7 4 8 。 这 个   i s s u e   的 主 要 描 述 了 ， R e d i s   的   D E L   操 作 通 常 是 阻 塞 的 ， 所 以 如 果 你 发 送 了 “ D E L   m y k e y ” 命 令 ， 而 你 的   k e y   包 含 了 5 千 万 的 对 象 ， 那 么 服 务 器 就 会 阻 塞 几 秒 钟 ， 这 段 时 间 不 能 提 供 其 他 服 务 。 以 前 ， 这 被 看 作 是   R e d i s   设 计 上 的 副 作 用 ， 是 可 以 接 受 的 ， 只 是 在 特 定 场 景 下 是 受 限 制 的 。 D E L 不 是 唯 一 会 阻 塞 的 命 令 ， 不 过 比 较 特 别 ， 因 为 我 们 通 常 会 说 ： R e d i s   在 使 用   O ( 1 )   和   O ( l o g _ N )   命 令 的 时 候 是 非 常 快 的 。 你 也 可 以 使 用   O （ N ） 的 命 令 ， 不 过 我 们 没 有 为 这 些 命 令 做 优 化 ， 性 能 上 可 能 会 有 问 题 。 这 貌 似 合 理 ， 不 过 就 算 是 用 快 的 命 令 创 建 的 对 象 ， 在 删 除 的 时 候 也 会 让 R e d i s 阻 塞 住 。 第 一 次 尝 试 对 于 单 线 程 服 务 器 ， 为 了 让 操 作 不 阻 塞 ， 最 简 单 的 方 式 就 是 用 增 量 的 方 式 一 点 点 来 ， 而 不 是 一 下 子 把 整 个 世 界 都 搞 定 。 例 如 ， 如 果 要 释 放 一 个 百 万 级 的 对 象 ， 可 以 每 一 个 毫 秒 释 放 1 0 0 0 个 元 素 ， 而 不 是 在 一 个   f o r ( )   循 环 里 一 次 性 全 做 完 。 C P U   的 耗 时 是 差 不 多 的 ， 也 许 会 稍 微 多 一 些 ， 因 为 逻 辑 更 多 一 些 ， 但 是 从 用 户 来 看 延 时 更 少 一 些 。 当 然 也 许 实 际 上 并 没 有 每 毫 秒 删 除 1 0 0 0 个 元 素 ， 这 只 是 个 例 子 。 重 点 是 如 何 避 免 秒 级 的 阻 塞 。 在   R e d i s   内 部 做 了 很 多 事 情 ： 最 显 然 易 见 的 是   L R U   淘 汰 机 制 和   k e y   的 过 期 ， 还 有 其 他 方 面 的 ， 例 如 对   h a s h   表 进 行 增 量 式 的 重 排 。 刚 开 始 我 们 是 这 样 尝 试 的 ： 创 建 一 个 新 的 定 时 器 函 数 ， 在 里 面 实 现 淘 汰 机 制 。 对 象 只 是 被 添 加 到 一 个 链 表 里 ， 每 次 定 时 器 调 用 的 时 候 ， 会 逐 步 的 、 增 量 式 的 去 释 放 。 这 需 要 一 些 小 技 巧 ， 例 如 ， 那 些 用 哈 希 表 实 现 的 对 象 ， 会 使 用   R e d i s   的   S C A N   命 令 里 相 同 的 机 制 去 增 量 式 的 释 放 ： 在 字 典 里 设 置 一 个 游 标 来 遍 历 和 释 放 元 素 。 通 过 这 种 方 式 ， 在 每 次 定 时 器 调 用 的 时 候 我 们 不 需 要 释 放 整 个 哈 希 表 。 在 重 新 进 入 定 时 器 函 数
时 ， 游 标 可 以 告 诉 我 们 上 次 释 放 到 哪 里 了 。 适 配 是 困 难 的 你 知 道 这 里 最 困 难 的 部 分 是 哪 里 吗 ？ 这 次 我 们 是 在 增 量 式 的 做 一 件 很 特 别 的 事 情 ： 释 放 内 存 。 如 果 内 存 的 释 放 是 增 量 式 的 ， 服 务 器 的 内 容 增 长 将 会 非 常 快 ， 最 后 为 了 得 到 更 少 的 延 时 ， 会 消 耗 调 无 限 的 内 存 。 这 很 糟 ， 想 象 一 下 ， 有 下 面 的 操 作 ： 如 果 慢 慢 的 在 后 台 去 删 除   m y s e t ， 同 时   S A D D   调 用 又 在 不 断 的 添 加 大 量 的 元 素 ， 内 存 使 用 量 将 会 一 直 增 长 。 好 在 经 过 一 段 尝 试 之 后 ， 我 找 到 一 种 可 以 工 作 的 很 好 的 方 式 。 定 时 器 函 数 里 使 用 了 两 个 想 法 来 适 应 内 存 的 压 力 ： 1 .   检 测 内 存 趋 势 ： 增 加 还 是 减 少 ？ 以 决 定 释 放 的 力 度 。 2 .   同 时 适 配 定 时 器 的 频 率 ， 避 免 在 只 有 很 少 需 要 释 放 的 时 候 去 浪 费   C P U ， 不 用 频 繁 的 去 中 断 事 件 循 环 。 当 确 实 需 要 的 时 候 ， 定 时 器 也 可 以 达 到 大 约   3 0 0 H z   的 频 率 。 这 里 有 一 小 段 代 码 ， 不 过 这 个 想 法 现 在 已 经 不 再 实 现 了 ： 5 .   8 .   1 .   W H I L E   1 2 .           S A D D   m y s e t   e l e m e n t 1   e l e m e n t 2   …   m a n y   m a n y   m a n y   e l e m e n t s 3 .           D E L   m y s e t 4 .   E N D 1 .   / *   计 算 内 存 趋 势 ， 只 要 是 上 次 和 这 次 内 存 都 在 增 加 ， 就 倾 向 于 认 为 内 存 趋 势 是 增 加 的   * / 2 .   i f   ( p r e v _ m e m   <   m e m )   m e m _ t r e n d   =   1 ; 3 .   m e m _ t r e n d   * =   0 . 9 ;   / *   M a k e   i t   s l o w l y   f o r g e t .   * / 4 .   i n t   m e m _ i s _ r a i s i n g   =   m e m _ t r e n d   >   . 1 ; 6 .   / *   释 放 一 些 元 素   * / 7 .   s i z e _ t   w o r k d o n e   =   l a z y f r e e S t e p ( L A Z Y F R E E _ S T E P _ S L O W ) ; 9 .   / *   根 据 现 有 状 态 调 整 定 时 器 频 率   * / 1 0 .   i f   ( w o r k d o n e )   { 1 1 .           i f   ( t i m e r _ p e r i o d   = =   1 0 0 0 )   t i m e r _ p e r i o d   =   2 0 ; 1 2 .           i f   ( m e m _ i s _ r a i s i n g   & &   t i m e r _ p e r i o d   >   3 ) 1 3 .                   t i m e r _ p e r i o d - - ;   / *   提 升 调 用 频 率   * / 1 4 .   e l s e   i f   ( ! m e m _ i s _ r a i s i n g   & &   t i m e r _ p e r i o d   <   2 0 ) 1 5 .           t i m e r _ p e r i o d + + ;   / *   降 低 调 用 频 率   * / 1 6 .   }   e l s e   {
还 有 ， 现 在 也 可 以 在 其 他 线 程 实 现 针 对 聚 合 数 据 类 型 的 特 定 的 慢 操 作 ， 可 以 让 某 些   k e y   被 “ 阻 塞 ” ， 但 是 所 有 其 他 的 客 户 端 不 会 被 阻 塞 。 这 个 可 以 用 很 类 似 现 在 的 阻 塞 操 作 的 方 式 去 完 成 （ 参 考   b l o c k i n g . c ） ， 只 是 增 加 一 个 哈 希 表 保 存 那 些 正 在 处 理 的   k e y   和 对 应 的 客 户 端 。 于 是 一 个 客 户 端 请 求 类 似   S M E M B E R S   这 样 的 命 令 ， 可 能 只 是 仅 仅 阻 塞 住 这 一 个   k e y ， 然 后 会 创 建 输 出 缓 存 处 理 数 据 ， 之 后 在 释 放 这 个   k e y 。 只 有 那 些 尝 试 访 问 相 同 的   k e y   的 客 户 端 ， 才 会 在 这 个   k e y   被 阻 塞 的 时 候 被 阻 塞 住 。 这 是 一 个 小 技 巧 ， 工 作 的 也 很 好 。 不 过 郁 闷 的 是 我 们 还 是 不 得 不 在 单 线 程 里 执 行 。 要 做 好 需 要 有 很 多 的 逻 辑 ， 而 且 当 l a z y   f r e e 延 迟 释 放 周 期 很 繁 忙 的 时 候 ， 每 秒 能 完 成 的 操 作 会 降 到 平 时 的 6 5 % 左 右 。 如 果 是 在 另 一 个 线 程 去 释 放 对 象 ， 那 就 简 单 多 了 ： 如 果 有 一 个 线 程 只 做 释 放 操 作 的 话 ， 释 放 总 是 要 比 在 数 据 集 里 添 加 数 据 来 的 要 快 。 当 然 ， 主 线 程 和 延 迟 释 放 线 程 直 接 对 内 存 分 配 器 的 使 用 肯 定 会 有 竞 争 ， 不 过   R e d i s   在 内 存 分 配 上 只 用 到 一 小 部 分 时 间 ， 更 多 的 时 间 用 在 I / O 、 命 令 分 发 、 缓 存 失 败 等 等 。 不 过 ， 要 实 现 线 程 化 的 延 迟 释 放 有 一 个 大 问 题 ， 那 就 是   R e d i s   自 身 。 内 部 实 现 完 全 是 追 求 对 象 的 共 享 ， 最 终 都 是 些 引 用 计 数 。 干 嘛 不 尽 可 能 的 共 享 呢 ？ 这 样 可 以 节 省 内 存 和 时 间 。 例 如 ： S U N I O N S T O R E   命 令 最 后 得 到 的 是 目 标 集 合 的 共 享 对 象 。 类 似 的 ， 客 户 端 的 输 出 缓 存 包 含 了 作 为 返 回 结 果 发 送 给   s o c k e t   的 对 象 的 列 表 ， 于 是 在 类 似   S M E M B E R S   这 样 的 命 令 调 用 之 后 ， 集 合 的 所 有 成 员 都 有 可 能 最 终 在 输 出 缓 存 里 被 共 享 。 看 上 去 对 象 共 享 是 那 么 有 效 、 漂 亮 、 精 彩 ， 还 特 别 酷 。 但 是 ， 嘿 ， 还 需 要 再 多 说 一 句 的 是 ， 如 果 在   S U N I O N S T O R E   命 令 之 后 重 新 加 载 了 数 据 库 ， 对 象 都 取 消 了 共 享 ， 内 存 也 会 突 然 回 复 到 最 初 的 状 态 。 这 可 不 太 妙 。 接 下 来 我 们 发 送 请 求 应 答 给 客 户 端 ， 会 怎 么 样 ？ 当 对 象 比 较 小 时 ， 我 们 实 际 上 是 把 它 们 拼 接 成 线 性 的 缓 存 ， 要 不 然 进 行 多 次   w r i t e ( )   调 用 效 率 是 不 高 的 ！ （ 友 情 提 示 ， w r i t e v ( )   对 此 并 无 帮 助 ） 。 于 是 我 们 大 部 分 情 况 下 是 已 经 复 制 了 数 据 。 对 于 编 程 来 说 ， 没 有 用 的 东 西 却 存 在 ， 通 常 意 味 着 是 有 问 题 的 。 事 实 上 ， 访 问 一 个 包 含 聚 合 类 型 数 据 的 k e y ， 需 要 经 过 下 面 这 些 遍 历 过 程 ： k e y   - >   v a l u e _ o b j   - >   h a s h   t a b l e   - >   r o b j   - >   s d s _ s t r i n g 如 果 去 掉 整 个   t o b j   结 构 体 ， 把 聚 合 类 型 转 换 成   S D S   字 符 串 类 型 的 哈 希 表 （ 或 者 跳 转 表 ） 会 怎 么 样 ？ （ S D S   是   R e d i s   内 部 使 用 的 字 符 串 类 型 ） 。 这 样 做 有 个 问 题 ， 假 设 有 个 命 令 ： ， 举 个 例 子 来 说 ， 我 们 做 不 到 通 过   c l i e n t - > a r g v [ 2 ]   来 引 用 某 个 用 来 实 现 集 合 的 哈 希 表 的 元 素 。 我 们 不 得 不 很 多 次 的 把 值 复 制 出 来 ， 即 使 数 据 已 经 在 客 户 端 命 令 解 析 后 创 建 的 参 数   v e c t o r   里 ， 也 没 办 法 去 复 用 。 R e d i s   的 性 能 受 控 于 缓 存 失 效 ， 我 们 也 许 可 以 用 稍 微 间 接 一 些 的 办 法 来 弥 补 一 下 。 于 是 我 在 这 个   l a z y f r e e   的 分 支 上 开 始 了 一 项 工 作 ， 并 且 在   T w i t t e r   上 聊 了 一 下 ， 但 是 没 有 公 布 上 下 文 的 细 节 ， 结 果 所 有 的 人 都 觉 得 我 像 是 绝 望 或 者 疯 狂 了 （ 甚 至 有 人 喊 道   l a z y f r e e   到 底 是 什 么 玩 意 ） 。 那 么 ， 我 到 底 做 了 什 么 呢 ？ 1 .   把 客 户 端 的 输 出 缓 存 由   r o b j   结 构 体 改 成 动 态 字 符 串 。 在 创 建   r e p l y   的 时 候 总 是 复 制 值 的 内 容 。 2 .   把 所 有 的   R e d i s   数 据 类 型 转 换 成   S D S   字 符 串 ， 而 不 是 使 用 共 享 对 象 结 构 。 听 上 去 很 简 单 ？ 实 际 上 这 花 费 了 数 周 的 时 间 ， 涉 及 到 大 约 8 0 0 行 高 风 险 的 代 码 修 改 。 不 过 现 在 全 都 测 试 通 过 了 。 3 .   把   l a z y f r e e   重 写 成 线 程 化 的 。 1 7 .           t i m e r _ p e r i o d   =   1 0 0 0 ;         / *   1   H Z   * / 1 8 .   } S A D D   m y s e t   m y v a l u e
来 源 ： 开 源 中 国 原 文 ： h t t p : / / a n t i r e z . c o m / n e w s / 9 3 作 者 ：   a n t i r e z 译 文 ： h t t p : / / w w w . o s c h i n a . n e t / t r a n s l a t e / l a z y - r e d i s - i s - b e t t e r - r e d i s 译 者 ：   c o d i n g 1 2 结 果 是   R e d i s   现 在 在 内 存 使 用 上 更 加 高 效 ， 因 为 在 数 据 结 构 的 实 现 上 不 再 使 用   r o b j   结 构 体 （ 不 过 由 于 某 些 代 码 还 涉 及 到 大 量 的 共 享 ， 所 以 r o b j   依 然 存 在 ， 例 如 在 命 令 分 发 和 复 制 部 分 ） 。 线 程 化 的 延 迟 释 放 工 作 的 很 好 ， 比 增 量 的 方 式 更 能 减 少 内 存 的 使 用 ， 虽 然 增 量 方 式 在 实 现 上 与 线 程 化 的 方 式 相 似 ， 并 且 也 没 那 么 糟 糕 。 现 在 ， 你 可 以 删 除 一 个 巨 大 的   k e y ， 性 能 损 失 可 以 忽 略 不 计 ， 这 非 常 有 用 。 不 过 ， 最 有 趣 的 事 情 是 ， 在 我 测 过 的 一 些 操 作 上 ， R e d i s   现 在 都 要 更 快 一 些 。 L e s s   i n d i r e c t i o n 消 除 间 接 引 用 最 后 胜 出 ， 即 使 在 不 相 关 的 一 些 测 试 上 也 更 快 一 些 ， 还 是 因 为 客 户 端 的 输 出 缓 存 现 在 更 加 简 单 和 高 效 。 最 后 ， 我 把 增 量 式 的 延 迟 释 放 实 现 从 分 支 里 删 除 ， 只 保 留 了 线 程 化 的 实 现 。 关 于   A P I   的 一 点 备 注 不 过   A P I   又 怎 么 样 了 呢 ？ D E L   命 令 仍 然 是 阻 塞 的 ， 默 认 还 跟 以 前 一 样 ， 因 为 在   R e d i s   中   D E L   命 令 就 意 味 着 释 放 内 存 ， 我 并 不 打 算 改 变 这 一 点 。 所 以 现 在 你 可 以 用 新 的 命 令   U N L I N K ， 这 个 命 令 更 清 晰 的 表 明 了 数 据 的 状 态 。 U N L I N K   是 一 个 聪 明 的 命 令 ： 它 会 计 算 释 放 对 象 的 开 销 ， 如 果 开 销 很 小 ， 就 会 直 接 按   D E L   做 的 那 样 立 即 释 放 对 象 ， 否 则 对 象 会 被 放 到 后 台 队 列 里 进 行 处 理 。 除 此 之 外 ， 这 两 个 命 令 在 语 义 上 是 相 同 的 。 我 们 也 实 现 了   F L U S H A L L / F L U S H D B   的 非 阻 塞 版 本 ， 不 过 没 有 新 增 的   A P I ， 而 是 增 加 了 一 个   L A Z Y   选 项 ， 说 明 是 否 更 改 命 令 的 行 为 。 不 只 是 延 迟 释 放 现 在 聚 合 数 据 类 型 的 值 都 不 再 共 享 了 ， 客 户 端 的 输 出 缓 存 也 不 再 包 含 共 享 对 象 了 ， 这 一 点 有 很 多 文 章 可 做 。 例 如 ， 现 在 终 于 可 以 在   R e d i s   里 实 现 线 程 化 的   I / O ， 从 而 不 同 的 客 户 端 可 以 由 不 同 的 线 程 去 服 务 。 也 就 是 说 ， 只 有 访 问 数 据 库 才 需 要 全 局 的 锁 ， 客 户 端 的 读 写 系 统 调 用 ， 甚 至 是 客 户 端 发 送 的 命 令 的 解 析 ， 都 可 以 在 线 程 中 去 处 理 。 这 跟   m e m c a c h e d   的 设 计 理 念 类 似 ， 我 比 较 期 待 能 够 被 实 现 和 测 试 。 所 有 这 些 需 求 引 起 了 更 激 烈 的 内 部 变 化 ， 但 这 里 的 底 线 我 们 已 很 少 顾 忌 。 我 们 可 以 补 偿 对 象 复 制 时 间 来 减 少 高 速 缓 存 的 缺 失 ， 以 更 小 的 内 存 占 用 聚 合 数 据 类 型 ， 所 以 我 们 现 在 可 依 照 线 程 化 的   R e d i s   来 进 行 无 共 享 化 设 计 ， 这 一 设 计 ， 可 以 很 容 易 超 越 我 们 的 单 线 程 。 在 过 去 ， 一 个 线 程 化 的   R e d i s   看 起 来 总 像 是 一 个 坏 主 意 ， 因 为 为 了 实 现 并 发 访 问 数 据 结 构 和 对 象 其 必 定 是 一 组 互 斥 锁 ， 但 幸 运 的 是 还 有 别 的 选 择 获 得 这 两 个 环 境 的 优 势 。 如 果 我 们 想 要 ， 我 们 依 然 可 以 选 择 快 速 操 作 服 务 ， 就 像 我 们 过 去 在 主 线 程 所 做 的 那 样 。 这 包 含 在 复 杂 的 代 价 之 上 ， 获 取 p e r f o r m a n c e - w i s e 执 行 智 能 。 计 划 表 我 在 内 部 增 加 了 很 多 东 西 ， 明 天 就 上 线 看 上 去 是 不 现 实 的 。 我 的 计 划 是 先 让 3 . 2 版 （ 已 经 是   u n s t a b l e   状 态 ） 成 为 候 选 版 本 （ R C ） 状 态 ， 然 后 把 我 们 的 分 支 合 并 到 进 入   u n s t a b l e   的 3 . 4 版 本 。 不 过 在 合 并 之 前 ， 需 要 对 速 度 做 细 致 的 回 归 测 试 ， 这 有 不 少 工 作 要 做 。 如 果 你 现 在 就 想 尝 试 的 话 ， 可 以 从   G i t h u b   上 下 载   l a z y f r e e   分 支 。 不 过 要 注 意 的 是 ， 当 前 我 并 不 是 很 频 繁 的 更 新 这 个 分 支 ， 所 以 有 些 地 方 可 能 会 不 能 工 作 。
阅 读 原 文
回复

举报

高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

使用Markdown编辑器编辑 使用富文本编辑器编辑

Archiver| 手机版| 小黑屋|
Powered by Discuz! X3.4 Copyright © 2001-2020, Tencent Cloud. 商业源码建议获取授权，如侵犯您的权益，请联系客服处理