搜索

[23057] 2014-09-08_又见KeepAlive

文档创建者：s7ckTeam
浏览次数：34
最后更新：2025-01-18
2014-09-08_又见KeepAlive 又 见 K e e p A l i v e L i n u x 中 国   2 0 1 4 - 0 9 - 0 8 我 为 什 么 要 谈 K e e p A l i v e 最 近 工 作 中 遇 到 一 个 问 题 ， 想 把 它 记 录 下 来 ， 场 景 是 这 样 的 ： 从 上 图 可 以 看 出 ， 用 户 通 过 C l i e n t 访 问 的 是 L V S 的 V I P ，   V I P 后 端 挂 载 的 R e a l S e r v e r 是 N g i n x 服 务 器 。   C l i e n t 可 以 是 浏 览 器 也 可 以 是 一 个 客 户 端 程 序 。 一 般 情 况 下 ， 这 种 架 构 不 会 出 现 问 题 ， 但 是 如 果 C l i e n t 端 把 请 求 发 送 给 N g i n x ， N g i n x 的 后 端 需 要 一 段 时 间 才 能 返 回 结 果 ， 超 过 1 分 3 0 秒 就 会 有 问 题 ， 使 用 L V S 作 为 负 载 均 衡 设 备 看 到 的 现 象 就 是 1 分 3 0 秒 之 后 ，   C l i e n t 和 N g i n x 链 接 被 断 开 ， 没 有 数 据 返 回 。 原 因 是 L V S 默 认 保 持 T C P 的 S e s s i o n 为 9 0 s ， 超 过 9 0 s 没 有 T C P 报 文 在 链 接 上 传 输 ， L V S 就 会 给 两 端 发 送 R E S E T 报 文 断 开 链 接 。 L V S 这 么 做 的 原 因 相 信 大 家 都 知 道 一 二 ， 我 所 知 道 的 原 因 主 要 有 两 点 ： 1 . 节 省 负 载 均 衡 设 备 资 源 ， 每 一 个 T C P / U D P 的 链 接 都 会 在 负 载 均 衡 设 备 上 创 建 一 个 S e s s i o n 的 结 构 ，   链 接 如 果 一 直 不 断 开 ， 这 种 S e s s i o n 结 构 信 息 最 终 会 消 耗 掉 所 有 的 资 源 ， 所 以 必 须 释 放 掉 。   2 . 另 外 释 放 掉 能 保 护 后 端 的 资 源 ， 如 果 攻 击 者 通 过 空 链 接 ， 链 接 到 N g i n x 上 ， 如 果 N g i n x 没 有 做 合 适   的 保 护 ， N g i n x 会 因 为 链 接 数 过 多 而 无 法 提 供 服 务 。
这 种 问 题 不 只 是 在 L V S 上 有 ， 之 前 在 商 用 负 载 均 衡 设 备 F 5 上 遇 到 过 同 样 的 问 题 ， F 5 的 S e s s i o n 断 开 方 式 和 L V S 有 点 区 别 ， F 5 不 会 主 动 发 送 R E S E T 给 链 接 的 两 端 ， S e s s i o n 消 失 之 后 ， 当 链 接 中 一 方 再 次 发 送 报 文 时 会 接 收 到 F 5 的 R E S E T ,   之 后 的 现 象 是 再 次 发 送 报 文 的 一 端 T C P 链 接 状 态 已 经 断 开 ， 而 另 外 一 端 却 还 是 E S T A B L I S H 状 态 。 知 道 是 负 载 均 衡 设 备 原 因 之 后 ， 第 一 反 应 就 是 通 过 开 启 K e e p A l i v e 来 解 决 。 到 此 这 个 问 题 应 该 是 结 束 了 ， 但 是 我 发 现 过 一 段 时 间 总 又 有 人 提 起 K e e p A l i v e 的 问 题 ， 甚 至 发 现 由 于 K e e p A l i v e 的 理 解 不 正 确 浪 费 了 很 多 资 源 ， 原 本 能 使 用 L V S 的 应 用 放 在 了 公 网 下 沉 区 ， 或 者 换 成 了 商 用 F 5 设 备 ( F 5 设 备 的 S e s s i o n 断 开 时 间 要 长 一 点 ， 默 认 应 该 是 5 分 钟 ) 。 所 以 我 决 定 把 我 知 道 的 K e e p A l i v e 知 识 点 写 篇 博 客 分 享 出 来 。 为 什 么 要 有 K e e p A l i v e ？ 在 谈 K e e p A l i v e 之 前 ， 我 们 先 来 了 解 下 简 单 T C P 知 识 ( 知 识 很 简 单 ， 高 手 直 接 忽 略 ) 。 首 先 要 明 确 的 是 在 T C P 层 是 没 有 “ 请 求 ” 一 说 的 ， 经 常 听 到 在 T C P 层 发 送 一 个 请 求 ， 这 种 说 法 是 错 误 的 。 T C P 是 一 种 通 信 的 方 式 ， “ 请 求 ” 一 词 是 事 务 上 的 概 念 ， H T T P 协 议 是 一 种 事 务 协 议 ， 如 果 说 发 送 一 个 H T T P 请 求 ， 这 种 说 法 就 没 有 问 题 。 也 经 常 听 到 面 试 官 反 馈 有 些 面 试 运 维 的 同 学 ， 基 本 的 T C P 三 次 握 手 的 概 念 不 清 楚 ， 面 试 官 问 T C P 是 如 何 建 立 链 接 ， 面 试 者 上 来 就 说 ， 假 如 我 是 客 户 端 我 发 送 一 个 请 求 给 服 务 端 ， 服 务 端 发 送 一 个 请 求 给 我 。 。 。 这 种 一 听 就 知 道 对 T C P 基 本 概 念 不 清 楚 。 下 面 是 我 通 过 w i r e s h a r k 抓 取 的 一 个 T C P 建 立 握 手 的 过 程 。 （ 命 令 行 基 本 上 用 T C P d u m p , 后 面 我 们 还 会 用 这 张 图 说 明 问 题 ） : 现 在 我 看 只 要 看 前 3 行 ， 这 就 是 T C P 三 次 握 手 的 完 整 建 立 过 程 ， 第 一 个 报 文 S Y N 从 发 起 方 发 出 ， 第 二 个 报 文 S Y N , A C K 是 从 被 连 接 方 发 出 ， 第 三 个 报 文 A C K 确 认 对 方 的 S Y N ， A C K 已 经 收 到 ， 如 下 图 ： 但 是 数 据 实 际 上 并 没 有 传 输 ， 请 求 是 有 数 据 的 ， 第 四 个 报 文 才 是 数 据 传 输 开 始 的 过 程 ， 细 心 的 读 者 应 该 能 够 发 现 w i r e s h a r k 把 第 四 个 报 文 解 析 成 H T T P 协 议 ， H T T P 协 议 的 G E T 方 法 和 U R I 也 解 析 出 来 ， 所 以 说 T C P 层 是 没 有 请 求 的 概 念 ， H T T P 协 议 是 事 务 性 协 议 才 有 请 求 的 概 念 ， T C P 报 文 承 载 H T T P 协 议 的 请 求 ( R e q u e s t ) 和 响 应 ( R e s p o n s e ) 。 现 在 才 是 开 始 说 明 为 什 么 要 有 K e e p A l i v e 。 链 接 建 立 之 后 ， 如 果 应 用 程 序 或 者 上 层 协 议 一 直 不 发 送 数 据 ， 或 者 隔 很 长 时 间 才 发 送 一 次 数 据 ， 当 链 接 很 久 没 有 数 据 报 文 传 输 时 如 何 去 确 定 对 方 还 在 线 ， 到 底 是 掉 线 了 还 是 确 实 没 有 数 据 传 输 ， 链 接 还 需 不 需 要 保 持 ， 这 种 情 况 在 T C P 协 议 设 计 中 是 需 要 考 虑 到 的 。 T C P 协 议 通 过 一 种 巧 妙 的 方 式 去 解 决 这 个 问 题 ， 当 超 过 一 段 时 间 之 后 ， T C P 自 动 发 送 一 个 数 据 为 空 的 报 文 给 对 方 ， 如
果 对 方 回 应 了 这 个 报 文 ， 说 明 对 方 还 在 线 ， 链 接 可 以 继 续 保 持 ， 如 果 对 方 没 有 报 文 返 回 ， 并 且 重 试 了 多 次 之 后 则 认 为 链 接 丢 失 ， 没 有 必 要 保 持 链 接 。 如 何 开 启 K e e p A l i v e K e e p A l i v e 并 不 是 默 认 开 启 的 ， 在 L i n u x 系 统 上 没 有 一 个 全 局 的 选 项 去 开 启 T C P 的 K e e p A l i v e 。 需 要 开 启 K e e p A l i v e 的 应 用 必 须 在 T C P 的 s o c k e t 中 单 独 开 启 。 L i n u x   K e r n e l 有 三 个 选 项 影 响 到 K e e p A l i v e 的 行 为 ： 1 .   n e t . i p v 4 . t c p k e e p a l i v e i n t v l   =   7 5 2 .   n e t . i p v 4 . t c p k e e p a l i v e p r o b e s   =   9 3 .   n e t . i p v 4 . t c p k e e p a l i v e t i m e   =   7 2 0 0 t c p k e e p a l i v e t i m e 的 单 位 是 秒 ， 表 示 T C P 链 接 在 多 少 秒 之 后 没 有 数 据 报 文 传 输 启 动 探 测 报 文 ;   t c p k e e p a l i v e i n t v l 单 位 是 也 秒 , 表 示 前 一 个 探 测 报 文 和 后 一 个 探 测 报 文 之 间 的 时 间 间 隔 ， t c p k e e p a l i v e p r o b e s 表 示 探 测 的 次 数 。 T C P   s o c k e t 也 有 三 个 选 项 和 内 核 对 应 ， 通 过 s e t s o c k o p t 系 统 调 用 针 对 单 独 的 s o c k e t 进 行 设 置 ： 1 .   T C P K E E P C N T :   覆 盖   t c p k e e p a l i v e p r o b e s 2 .   T C P K E E P I D L E :   覆 盖   t c p k e e p a l i v e t i m e 3 .   T C P K E E P I N T V L :   覆 盖   t c p k e e p a l i v e _ i n t v l 举 个 例 子 ， 以 我 的 系 统 默 认 设 置 为 例 ， k e r n e l 默 认 设 置 的 t c p k e e p a l i v e t i m e 是 7 2 0 0 s ,   如 果 我 在 应 用 程 序 中 针 对 s o c k e t 开 启 了 K e e p A l i v e , 然 后 设 置 的 T C P _ K E E P I D L E 为 6 0 ， 那 么 T C P 协 议 栈 在 发 现 T C P 链 接 空 闲 了 6 0 s 没 有 数 据 传 输 的 时 候 就 会 发 送 第 一 个 探 测 报 文 。 T C P   K e e p A l i v e 和 H T T P 的 K e e p - A l i v e 是 一 样 的 吗 ？ 估 计 很 多 人 乍 看 下 这 个 问 题 才 发 现 其 实 经 常 说 的 K e e p A l i v e 不 是 这 么 回 事 ， 实 际 上 在 没 有 特 指 是 T C P 还 是 H T T P 层 的 K e e p A l i v e ， 不 能 混 为 一 谈 。 T C P 的 K e e p A l i v e 和 H T T P 的 K e e p - A l i v e 是 完 全 不 同 的 概 念 。 T C P 层 的 K e e p A l i v e 上 面 已 经 解 释 过 了 。   H T T P 层 的 K e e p - A l i v e 是 什 么 概 念 呢 ？   在 讲 述 T C P 链 接 建 立 的 时 候 ， 我 画 了 一 张 三 次 握 手 的 示 意 图 ， T C P 在 建 立 链 接 之 后 ，   H T T P 协 议 使 用 T C P 传 输 H T T P 协 议 的 请 求 ( R e q u e s t ) 和 响 应 ( R e s p o n s e ) 数 据 ， 一 次 完 整 的 H T T P 事 务 如 下 图 ：
各 位 看 官 请 注 意 ， 这 张 图 我 简 化 了 H T T P ( R e q ) 和 H T T P ( R e s p ) ， 实 际 上 的 请 求 和 响 应 需 要 多 个 T C P 报 文 。 从 图 中 可 以 发 现 一 个 完 整 的 H T T P 事 务 ， 有 链 接 的 建 立 ， 请 求 的 发 送 ， 响 应 接 收 ， 断 开 链 接 这 四 个 过 程 , 早 期 通 过 H T T P 协 议 传 输 的 数 据 以 文 本 为 主 ， 一 个 请 求 可 能 就 把 所 有 要 返 回 的 数 据 取 到 ， 但 是 ， 现 在 要 展 现 一 张 完 整 的 页 面 需 要 很 多 个 请 求 才 能 完 成 ， 如 图 片 , J S , C S S 等 ， 如 果 每 一 个 H T T P 请 求 都 需 要 新 建 并 断 开 一 个 T C P ， 这 个 开 销 是 完 全 没 有 必 要 的 ， 开 启 H T T P   K e e p - A l i v e 之 后 ， 能 复 用 已 有 的 T C P 链 接 ， 当 前 一 个 请 求 已 经 响 应 完 毕 ， 服 务 器 端 没 有 立 即 关 闭 T C P 链 接 ， 而 是 等 待 一 段 时 间 接 收 浏 览 器 端 可 能 发 送 过 来 的 第 二 个 请 求 ， 通 常 浏 览 器 在 第 一 个 请 求 返 回 之 后 会 立 即 发 送 第 二 个 请 求 ， 如 果 某 一 时 刻 只 能 有 一 个 链 接 ， 同 一 个 T C P 链 接 处 理 的 请 求 越 多 ， 开 启 K e e p A l i v e 能 节 省 的 T C P 建 立 和 关 闭 的 消 耗 就 越 多 。 当 然 通 常 会 启 用 多 个 链 接 去 从 服 务 器 器 上 请 求 资 源 ， 但 是 开 启 了 K e e p - A l i v e 之 后 ， 仍 然 能 加 快 资 源 的 加 载 速 度 。 H T T P / 1 . 1 之 后 默 认 开 启 K e e p - A l i v e ,   在 H T T P 的 头 域 中 增 加 C o n n e c t i o n 选 项 。 当 设 置 为 C o n n e c t i o n : k e e p - a l i v e 表 示 开 启 ， 设 置 为 C o n n e c t i o n : c l o s e 表 示 关 闭 。 实 际 上 H T T P 的 K e e p A l i v e 写 法 是 K e e p - A l i v e ， 跟 T C P 的 K e e p A l i v e 写 法 上 也 有 不 同 。 所 以 T C P   K e e p A l i v e 和 H T T P 的 K e e p - A l i v e 不 是 同 一 回 事 情 。 N g i n x 的 T C P   K e e p A l i v e 如 何 设 置 开 篇 提 到 我 最 近 遇 到 的 问 题 ， C l i e n t 发 送 一 个 请 求 到 N g i n x 服 务 端 ， 服 务 端 需 要 经 过 一 段 时 间 的 计 算 才 会 返 回 ，   时 间 超 过 了 L V S   S e s s i o n 保 持 的 9 0 s , 在 服 务 端 使 用 T c p d u m p 抓 包 , 本 地 通 过 w i r e s h a r k 分 析 显 示 的 结 果 如 第 二 副 图 所 示 ， 第 5 条 报 文 和 最 后 一 条 报 文 之 间 的 时 间 戳 大 概 差 了 9 0 s 。 在 确 定 是 L V S 的 S e s s i o n 保 持 时 间 到 期 的 问 题 之 后 ， 我 开 始 在 寻 找 N g i n x 的 T C P   K e e p A l i v e 如 何 设 置 ， 最 先 找 到 的 选 项 是 k e e p a l i v e t i m e o u t , 从 同 事 那 里 得 知 k e e p a l i v e t i m e o u t 的 用 法 是 当 k e e p a l i v e t i m e o u t 的 值 为 0 时 表 示 关 闭 k e e p a l i v e , 当 k e e p a l i v e t i m e o u t 的 值 为 一 个 正 整 数 值 时 表 示 链 接 保 持 多 少 秒 ， 于 是 把 k e e p a l i v e t i m e o u t 设 置 成 7 5 s , 但 是 实 际 的 测 试 结 果 表 明 并 不 生 效 。 显 然 k e e p a l i v e t i m e o u t 不 能 解 决 T C P 层 面 的 K e e p A l i v e 问 题 ， 实 际 上 N g i n x 涉 及 到 k e e p a l i v e 的 选 项 还 不 少 ， N g i n x 通 常 的 使 用 方 式 如 下 ：
从 T C P 层 面 N g i n x 不 仅 要 和 C l i e n t 关 心 K e e p A l i v e , 而 且 还 要 和 U p s t r e a m 关 心 K e e p A l i v e ,   同 时 从 H T T P 协 议 层 面 ， N g i n x 需 要 和 C l i e n t 关 心 K e e p - A l i v e , 如 果 U p s t r e a m 使 用 的 H T T P 协 议 ， 还 要 关 心 和 U p s t r e a m 的 K e e p - A l i v e ， 总 而 言 之 ， 还 比 较 复 杂 。 所 以 搞 清 楚 T C P 层 的 K e e p A l i v e 和 H T T P 的 K e e p - A l i v e 之 后 ， 就 不 会 对 于 N g i n x 的 K e e p A l i v e 设 置 错 。 我 当 时 解 决 这 个 问 题 时 候 不 确 定 N g i n x 有 配 置 T C P   k e e p A l i v e 的 选 项 ， 于 是 我 打 开 N g n i x 的 源 代 码 ， 在 源 代 码 里 面 搜 索 T C P _ K E E P I D L E , 相 关 的 代 码 如 下 ： 从 代 码 的 上 下 文 我 发 现 T C P   K e e p A l i v e 可 以 配 置 ， 所 以 我 接 着 查 找 通 过 哪 个 选 项 配 置 ， 最 后 发 现 l i s t e n 指 令 的 s o _ k e e p a l i v e 选 项 能 对 T C P   s o c k e t 进 行 K e e p A l i v e 的 配 置 。 以 上 三 个 参 数 只 能 使 用 一 个 ， 不 能 同 时 使 用 ，   比 如 s o _ k e e p a l i v e = o n ,   s o _ k e e p a l i v e = o f f 或 者 s o _ k e e p a l i v e = 3 0 s : : ( 表 示 等 待 3 0 s 没 有 数 据 报 文 发 送 探 测 报 文 ) 。 通 过 设 置 l i s t e n   8 0 , s o _ k e e p a l i v e = 6 0 s : : 之 后 成 功 解 决 N g i n x 在 L V S 保 持 长 链 接 的 问 题 ， 避 免 了 使 用 其 他 高 成 本 的 方 案 。 在 商 用 负 载 设 备 上 如 果 遇 到 类 似 的 问 题 同 样 也 可 以 通 过 这 种 方 式 解 决 。 参 考 资 料 《 T C P / I P 协 议 详 解 V O L 1 》 - - 强 烈 建 议 对 于 网 络 基 本 知 识 不 清 楚 同 学 有 空 去 看 下 。 h t t p : / / t l d p . o r g / H O W T O / h t m l _ s i n g l e / T C P - K e e p a l i v e - H O W T O / # o v e r v i e w h t t p : / / n g i n x . o r g / e n / d o c s / h t t p / n g x _ h t t p _ c o r e _ m o d u l e . h t m l N g i n x   S o u r c e   c o d e :   h t t p s : / / g i t h u b . c o m / a l i b a b a / t e n g i n e 作 者 ： 李 成 栋 阿 里 技 术 保 障   架 构 工 具 资 深 工 程 师   个 人 微 博   B r y t o n 的 岁 月 h t t p : / / w e i b o . c o m / u / 2 4 7 4 6 7 4 4 5 4 ( 题 图 来 自 ： d e v i a n t a r t . n e t   ) ( 感 谢 @ 肥 颓 ： 推 荐 的 题 图 配 曲 ， p o t r a l 2 的 主 题 曲 ： h t t p : / / t . c n / 8 s d X T f 9   ， 大 家 可 以 听 听 哦 )
阅 读 原 文
回复

举报

高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

Archiver| 手机版| 小黑屋|
Powered by Discuz! X3.4 Copyright © 2001-2020, Tencent Cloud. 商业源码建议获取授权，如侵犯您的权益，请联系客服处理