搜索

[23776] 2015-04-08_当流量尖峰到达时，在Linux内核中解决网络问题

文档创建者：s7ckTeam
浏览次数：31
最后更新：2025-01-18
2015-04-08_当流量尖峰到达时，在Linux内核中解决网络问题 当 流 量 尖 峰 到 达 时 ， 在   L i n u x   内 核 中 解 决 网 络 问 题 L i n u x 中 国   2 0 1 5 - 0 4 - 0 8 几 周 前 ， 我 们 开 始 注 意 位 于 华 盛 顿 的 追 踪 A P I 的 服 务 器 网 络 流 量 有 很 大 的 变 化 。 从 一 个 相 当 稳 定 的 日 常 模 式 下 ， 我 们 开 始 看 到 3 0 0 - 4 0 0   M b p s 尖 峰 流 量 ， 但 我 们 的 合 法 的 流 量 （ 事 件 和 人 为 更 新 ） 是 不 变 的 。 突 然 ， 我 们 的 网 络 流 量 开 始 飙 升 像 疯 了 似 的 。 找 到 虚 假 的 流 量 来 源 是 当 务 之 急 ， 因 为 这 些 尖 峰 流 量 正 触 发 我 们 的 上 游 路 由 器 启 动 D D O S 减 灾 模 式 来 阻 止 流 量 。 有 一 些 很 好 的 内 置 的 L i n u x 工 具 帮 助 诊 断 网 络 问 题 。 i f c o n f i g   会 显 示 你 的 网 络 接 口 和 多 少 数 据 包 通 过 他 们 e t h t o o l   - S   会 显 示 你 的 数 据 包 流 的 一 些 更 详 细 的 信 息 ， 象 在 网 卡 级 丢 弃 的 数 据 包 的 数 量 。
i p t a b l e s   - L   - v   - n   将 显 示 你 的 各 种 防 火 墙 规 则 处 理 数 据 包 数 。 n e t s t a t   - s   会 告 诉 由 内 核 网 络 协 议 栈 维 护 的 一 大 堆 的 计 数 器 值 ， 例 如 A C K 的 数 量 ， 重 发 的 数 量 等 。 s y s c t l   - a   |   g r e p   n e t . i p   将 显 示 你 所 有 k e r n e l 中 网 络 相 关 的 设 置 。 t c p d u m p   将 显 示 进 出 包 的 内 容 。 解 决 问 题 的 线 索 是 使 用 n e t s t a t   - s 命 令 的 输 出 。   不 幸 的 是 ， 当 你 检 查 这 个 命 令 的 输 出 的 时 候 ， 还 很 难 告 诉 这 些 数 字 意 味 着 什 么 ， 应 该 是 什 么 ， 以 及 它 们 是 如 何 改 变 的 。 为 了 检 查 他 们 是 如 何 变 化 的 ， 我 们 创 建 了 一 个 小 程 序 来 显 示 连 续 运 行 命 令 的 输 出 ， 这 让 我 们 了 解 各 种 计 数 器 变 化 的 快 慢 。 有 一 行 输 出 看 起 来 特 别 令 人 担 忧 。 此 计 数 器 的 通 常 速 率 在 未 受 影 响 的 服 务 器 上 一 般 是   3 0 - 4 0   / 秒 ， 所 以 我 们 知 道 肯 定 是 哪 里 出 问 题 了 。 计 数 器 表 明 我 们 正 拒 绝 大 量 的 包 ， 因 为 这 些 包 含 有 无 效 的   T C P   时 间 戳 。 临 时 的 快 速 解 决 方 案 是 用 下 面 的 命 令 关 闭   T C P   时 间 戳 ： 这 立 即 导 致 了 包 风 暴 停 止 。 但 是 这 不 是 一 个 永 久 性 的 解 决 方 案 ， 因 为   T C P   时 间 戳 是 用 于 测 量 往 返 时 间 和 分 配 数 据 包 流 中 的 延 迟 包 到 正 确 位 置 。 在 高 速 连 接 的 时 候 这 将 成 为 一 个 问 题 ， T C P   序 列 号 可 能 在 数 秒 间 隔 内 缠 绕 。 关 于   T C P   的 时 间 戳 和 性 能 的 详 细 信 息 ， 请 看   R F C   1 3 2 3 。 在   M i x p a n e l ， 每 当 我 们 看 到 异 常 流 量 模 式 的 时 候 ， 我 们 一 般 也 运 行   t c p d u m p ， 这 样 我 们 能 够 分 析 流 量 ， 然 后 试 图 确 定 根 本 原 因 。 我 们 发 现 大 量 的   T C P   A C K   数 据 包 在 我 们 的   A P I   服 务 器 和 一 个 特 定 的   I P   地 址 之 间 来 回 发 送 。 结 果 我 们 的 服 务 器 陷 入 到 向 另 一 台 服 务 器 来 来 回 回 发 送 T C P   A C K   包 的 无 限 循 环 里 面 。 一 个 主 机 持 续 地 发 出   T C P   时 间 戳 ， 但 是 另 一 主 机 却 不 能 识 别 这 是 有 效 的 时 间 戳 。 这 时 ， 我 们 意 识 到 我 们 正 在 处 理 一 个 只 能 在   L i n u x   内 核 的   T C P   协 议 栈 才 能 解 决 问 题 。 所 以 我 们 的   C T O 求 助 于   l i n u x - n e t d e v   看 看 是 否 能 找 到 一 个 解 决 方 案 。 值 得 庆 幸 的 是 我 们 发 现 这 个 问 题 已 经 遇 到 过 的 ， 并 且 有 一 个 解 决 方 案 。 原 来 ， 这 种 类 型 的 包 风 暴 可 以 由 一 些 硬 件 故 障 或 第 原 来 ， 这 种 类 型 的 包 风 暴 可 以 由 一 些 硬 件 故 障 或 第 三 方 改 变 三 方 改 变   T C P   S E Q ， ， A C K ， 或 连 接 中 的 主 机 认 为 对 方 发 送 过 期 的 数 据 包 所 触 发 。 ， 或 连 接 中 的 主 机 认 为 对 方 发 送 过 期 的 数 据 包 所 触 发 。 避 免 让 这 种 情 况 变 成 一 个 包 风 暴 的 方 法 是 限 制 速 度 ， 设 置   L i n u x   发 送 重 复 的   A C K   数 据 包 速 度 为 每 秒 一 个 或 两 个 。 这 里 有 一 个 非 常 好 的 解 释 。 我 们 将 接 受 这 个 补 丁 而 且 将 之 移 植 到 当 前 正 在 使 用 的 U b u n t u （ T r u s t y ） 内 核 当 中 。 感 谢 U b u n t u 让 这 一 切 变 得 非 常 简 单 ， 重 新 编 译 修 补 过 的 内 核 仅 仅 只 需 要 运 行 下 面 的 命 令 ， 安 装 生 成 的 . d e b 包 并 重 启 系 统 。 1 .   s y s c t l   - w   n e t . i p v 4 . t c p _ t i m e s t a m p s = 0 1 .   #   下 载 内 核 源 代 码 并 构 建 依 赖 2 .   a p t - g e t   b u i l d - d e p   l i n u x - i m a g e - 3 . 1 3 . 0 - 4 5 - g e n e r i c 3 .   a p t - g e t   s o u r c e   l i n u x - i m a g e - 3 . 1 3 . 0 - 4 5 - g e n e r i c 4 .       5 .   #   应 用 补 丁 6 .   c d   l i n u x - l t s - t r u s t y - 3 . 1 3 . 0 / 7 .   p a t c h   - p 1   <   M i t i g a t e - T C P - A C K - L o o p s . p a t c h 8 .       9 .   #   构 建 内 核 1 0 .   f a k e r o o t   . / d e b i a n / r u l e s   c l e a n 1 1 .   f a k e r o o t   . / d e b i a n / r u l e s   b i n a r y - h e a d e r s   b i n a r y - g e n e r i c
原 文 ： h t t p s : / / c o d e . m i x p a n e l . c o m / 2 0 1 5 / 0 3 / 2 6 / d i a g n o s i n g - n e t w o r k i n g - i s s u e s - i n - t h e - l i n u x - k e r n e l / 译 文 ： h t t p : / / w w w . o s c h i n a . n e t / t r a n s l a t e / d i a g n o s i n g - n e t w o r k i n g - i s s u e s - i n - t h e - l i n u x - k e r n e l 阅 读 原 文
回复

举报

高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

Archiver| 手机版| 小黑屋|
Powered by Discuz! X3.4 Copyright © 2001-2020, Tencent Cloud. 商业源码建议获取授权，如侵犯您的权益，请联系客服处理