搜索

[11107] 2017-03-08_互联网公司WAF系统设计

文档创建者：s7ckTeam
浏览次数：6
最后更新：2025-01-18
2017-03-08_互联网公司WAF系统设计 互 联 网 公 司 W A F 系 统 设 计 c h e n g f a n g a n g   F r e e B u f   2 0 1 7 - 0 3 - 0 8 0 × 0 1   W A F 简 介 简 介 W A F   全 称 是 W e b   A p p l i c a t i o n   F i r e w a l l ,     简 单 讲 就 是 w e b 防 火 墙 ，   是 对 w e b 业 务 进 行 防 护 的 一 种 安 全 防 护 手 段 。 其 实 ， 现 在 很 多 的 移 动 a p p ， 也 是 使 用 的 h t t p 协 议 进 行 数 据 交 换 ， 也 可 以 理 解 成 w e b 业 务 ， 可 以 对 a p p   s e r v e r 进 行 防 护 。   主 要 的 w e b 危 害 ， 一 般 指 的 是 O W A S P   T o p   1 0 ， 比 如 S Q L 注 入 、 X S S 、 C S R F 等 常 见 的 w e b 危 害 方 法 。 当 然 可 能 不 止 这 些 方 法 ， 比 如 社 工 。 轻 则 用 你 的 服 务 器 打 个 d d o s ， 重 则 数 据 全 部 被 盗 ， 损 失 公 司 的 信 誉 和 m o n e y 。 互 联 网 公 司 的 业 务 倾 向 于 云 平 台 ， 云 互 联 网 公 司 的 业 务 倾 向 于 云 平 台 ， 云 W A F 就 应 运 而 生 ， 除 去 考 虑 硬 件 就 应 运 而 生 ， 除 去 考 虑 硬 件 W A F 的 考 虑 ， 下 面 只 讲 基 于 互 联 网 公 司 的 需 求 ， 打 造 的 考 虑 ， 下 面 只 讲 基 于 互 联 网 公 司 的 需 求 ， 打 造 一 款 一 款 W A F 联 动 系 统 。 联 动 系 统 。 0 × 0 2   W A F 基 本 组 成 基 本 组 成 大 部 分 互 联 网 公 司 的 业 务 ， 都 会 使 用 N g i n x 做 各 种 各 样 的 工 作 ， 负 载 均 衡 、 A / B 测 试 、 W e b 网 关 等 等 的 功 能 ； 另 外 ， 加 上 o p e n r e s t y （ n g i n x   +   l u a ) 的 开 发 效 率 和 易 用 性 ， 提 高 了 程 序 猿 开 发 n g i n x 功 能 的 效 率 。 现 在 互 联 网 公 司 招 W A F 开 发 的 ， 一 般 都 会 加 上 n g i n x   l u a 的 要 求 ， 可 见 使 用 n g i n x   +   l u a 开 发 W A F ， 实 在 是 天 时 地 利 人 和 。 现 在 简 单 的 说 一 下 W A F 系 统 的 组 成 。 W A F 系 统 主 要 是 由 三 部 分 组 成 的 ： 执 行 前 端 、 后 端 中 心 系 统 及 数 据 库 。 执 行 前 端 是 W A F 的 执 行 引 擎 ，   主 要 是 根 据 规 则 进 行 过 滤 。 根 据 规 则 匹 配 的 结 果 ， 执 行 相 应 的 动 作 。 后 端 中 心 系 统 主 要 是 生 成 规 则 的 逻 辑 ， 并 与 执 行 前 端 的 n g i n x 进 行 必 要 的 数 据 交 换 。 数 据 库 就 是 存 放 规 则 和 一 些 配 置 及 状 态 的 地 方 ， 可 以 根 据 实 际 情 况 ， 选 择 关 系 型 数 据 库 或 者 N o s q l 。 其 中 ， 可 以 看 到 后 端 中 心 系 统 相 当 于 W A F 的 大 脑 ， 会 根 据 不 同 的 域 名 或 者 设 备 h o s t n a m e 的 配 置 生 成 对 应 的 逻 辑 。 当 执 行 前 端 拉 取 配 置 和 规 则 时 ，   后 端 中 心 会 把 它 对 应 的 内 容 发 给 执 行 前 端 。 这 里 做 成 集 中 式 的 管 理 模 式 ， 主 要 是 方 便 统 一 管 理 ， 另 外 可 以 监 控 执 行 前 端 的 状 态 ， 具 体 的 状 态 数 据 ， 可 以 根 据 实 际 的 情 况 进 行 协 商 ， 目 前 是 建 议 j s o n 数 据 走 h t t p 协 议 ， 方 便 易 用 。 当 然 ， 数 据 传 输 的 过 程 最 好 还 是 使 用 对 称 加 密 加 b a s e 6 4   e n c o d e 。
0 × 0 3   W A F 细 节 考 虑 细 节 考 虑 一 直 比 较 关 注 c l o u d f l a r e 的 云 W A F ， 基 本 上 W A F 规 则 可 以 考 虑 为 三 类 （ 不 考 虑 长 亭 科 技 的 s q l c h o p   h t t p s : / / g i t h u b . c o m / c h a i t i n / s q l c h o p   ， 据 说 有 类 似 的 x s s   要 开 源 ) ： :   1 .   通 用 的 规 则 ， 比 如 s q l 、 x s s   规 则 ， 拦 截 恶 意 爬 虫 和 扫 描 器 等 等 的 非 常 有 效 ， 这 种 基 本 上 通 用 的 。 2 .   c m s 规 则 ， 就 是 根 据 不 同 的 c m s ， 根 据 相 应 的 漏 洞 定 制 的 规 则 ， 比 如 p h p 网 站 ， 不 可 能 存 在 j a v a 语 言 的 漏 洞 ， 具 有 专 一 性 。 3 .   自 定 义 规 则 ， 这 就 是 根 据 自 己 的 需 求 ， 自 定 义 一 些 规 则 。 根 据 入 侵 类 型 ， 再 细 分 就 会 更 多 了 ， 拦 截 s h e l l 、 爬 虫 等 等 的 ， 这 里 只 是 输 了 大 概 。 在 g i t h u b 上 面 ， 最 具 参 考 的 l u a   w a f   就 属   h t t p s : / / g i t h u b . c o m / p 0 p r 0 c k 5 / l u a - r e s t y - w a f   她 了 ，   其 它 的 并 不 是 说 不 好 ， 然 而 只 有 这 个 最 接 近 M o d s e c u r i t y 的 逻 辑 ，   最 突 出 的 有 点 就 是 规 则 的 弹 性 化 ， 最 接 近 M o d s e c r i t y 的 规 则 。 不 过 ，   h t t p s : / / g i t h u b . c o m / s t a r j u n / o p e n s t a r   里 面 的 很 多 防 御 方 法 ， 也 是 可 以 借 鉴 的 。 执 行 前 端 ： 执 行 前 端 ：         基 于 p 0 p r 0 c k 5   的 W A F ， 二 次 修 改 一 下 ， 就 可 以 做 成 上 述 的 执 行 前 端 ， 但 是 它 是 有 B u g 的 ， 生 产 环 境 下 需 要 线 下 流 量 测 试 。 主 要 在 这 个 基 础 上 ， 添 加 拉 取 配 置 和 规 则 的 t i m e r 就 可 以 了 ，   有 些 人 说 用 z o o k e e p e r 什 么 的 ，   另 外 还 有 用 的 h t t p   来 进 行 配 置 更 新 通 知 ， z o o k e e p e r 不 建 议 ， 当 你 r e l o a d 的 时 候 ， 就 可 以 看 见 很 多 n g i n x   处 于 s h u t t i n g   d o w n 状 态 ， 就 只 z o o k e e p e r 处 于 k e e p a l i v e 状 态 。 使 用 h t t p 访 问 加 共 享 内 存 ， 京 东 的 涛 哥 是 这 样 做 的 ， 也 是 有 些 坑 ， 不 过 t i m e r 最 简 单 ， 每 个 w o r k e r 单 独 维 护 一 个 配 置 ， 避 免 了 锁 的 情 况 。 另 外 ， 收 集 日 志 最 好 不 要 用 k a f k a ，   打 火 焰 图 的 时 候 ， 明 显 c p u 时 间 有 点 长 ， 用 t c p 或 者 h t t p   发 送 最 靠 谱 。 执 行 前 端 大 概 就 是 这 些 内 容 ， 记 得 加 上 x p c a l l   能 把 一 些 小 的 问 题 c a t c h 到 ， 避 免 影 响 请 求 。 所 有 的 配 置 是 用 j s o n 传 输 的 ， 然 后 转 换 成   l u a 的 数 据 格 式 ， 使 其 能 正 确 识 别 出 W A F 规 则 。 W A F 规 则 类 似 如 下 ： 确 保 W A F 能 够 识 别 出 这 些 规 则 就 可 以 了 ， 严 格 按 照 它 的 格 式 来 ， 毕 竟 l u a 脚 本 的 优 势 在 这 里 体 现 的 一 览 无 余 。 后 端 中 心 系 统 后 端 中 心 系 统   :       后 端 中 心 系 统 同 样 是 使 用 的 O p e n r e s t y ( 别 的 我 也 不 会 ， 开 个 玩 笑 ） ， 设 计 成 类 似 a p i 网 关 ， 还 是 那 句 话 好 管 理 。 根 据 不 同 的 域 名 和 设 备 H o s t n a m e 发 送 不 同 的 配 置 。 甚 至 ， 可 以 把 所 有 W A F 的 逻 辑 放 到 这 里 ， 这 是 l u a 支 持 热 加 载 的 功 能 。 这 里 是 如 何 做 你 的 W A F 的 关 键 ， 主 要 逻 辑 还 是 在 这 里 。
这 里 是 一 些 基 本 配 置 涵 盖 了 ： W A F 基 本 配 置 ， 包 括 了 规 则 拉 取 服 务 配 置 、 日 志 中 心 配 置 及 更 新 组 件 等 配 置 。 这 些 基 本 配 置 决 定 了 ， W A F 主 要 的 逻 辑 处 理 。 I P 列 表 ，   包 括 了 所 有 黑 名 单 的 i p ， 及 对 应 h o s t 或 者 u r i 对 应 的 i p ， 其 中 ， 支 持 配 置 生 效 时 间 。 规 则 列 表 ， 主 要 是 W e b 入 侵 规 则 配 置 ， 包 括 了 d e f a u l t 集 合 及 对 应 h o s t 的 w a f 配 置 。 基 本 配 置 主 要 是 配 置 规 则 拉 取 服 务 配 置 、 日 志 中 心 配 置 及 更 新 组 件 等 配 置 。 这 些 配 置 也 可 以 有 由 服 务 端 动 态 生 成 。 I P 列 表 ，   其 中 有 些 是 全 局 封 禁 ， 有 些 是 针 对 某 些 接 口 ， 配 置 有 过 期 时 间 的 功 能 。 规 则 的 内 容 就 是 上 面 已 经 列 出 的 内 容 了 。   其 中 因 为 要 适 合 配 置 的 逻 辑 需 要 根 据 根 据 自 己 的 需 求 进 行 修 改 。 数 据 库 和 数 据 库 和 W e b ： ： 数 据 库 规 则 设 计 ： 这 个 是 最 主 要 的 ， 有 些 属 性 暂 时 没 有 设 置 。 对 于 w e b 而 言 ， 主 要 还 是 配 合 下 发 配 置 ， 规 则 方 面 ， 我 是 设 置 了 三 层 结 构 ： 规 则 - > 规 则 组 - > h o s t 。 它 们 只 是 逻 辑 上 的 关 系 ， 具 体 在 后 面 逻 辑 实 现 时 ， 会 把 散 列 的 规 则 进 行 分 组 并 根 据 数 据 库 的 逻 辑 进 行 组 合 ， 生 成 对 唯 一 h o s t 的 配 置 。 同 理 ， 可 以 设 置 不 同 的 分 组 ， 达 到 灰 度 测 试 的 目 的 。
这 是 具 体 规 则 的 w e b 设 置 ， 规 则 配 置 增 删 改 规 则 ， 规 则 分 组 则 是 对 规 则 分 组 的 增 删 改 操 作 ， 规 则 应 用 则 是 对 不 同 h o s t 配 置 不 同 的 规 则 分 组 。   这 里 说 明 一 下 ， 规 则 分 组 是 按 照 X S S 、 S Q L i   、 灰 度 等 功 能 分 开 的 ， 对 于 h o s t 进 行 不 同 的 配 置 。 目 前 ， 阿 里 云 有 自 定 义 的 规 则 ， 太 单 一 ， 远 远 比 不 上 c l o u d f l a r e 的 设 计 ， 而 且 c l o u d f l a r e 更 贴 近 互 联 网 公 司 的 需 求 ， 最 主 要 的 如 何 让 自 定 义 功 能 更 有 弹 性 ， 更 大 限 度 的 支 持 规 则 的 弹 性 。 简 简 单 单 ， 就 说 了 个 大 概 ，   如 果 真 的 对 W A F 有 研 究 的 话 ， 剩 余 的 就 比 较 轻 松 了 ， 算 是 抛 砖 引 玉 了 。 0 × 0 4   其 它 其 它 记 得 有 个 作 者 提 到 ， W A F 位 置 卡 位 比 较 好 ，   现 在 很 多 C C 和 扫 描 器 都 是 在 七 层 防 御 的 ， W A F 封 禁 某 些 i p 和 用 户 还 是 比 较 靠 谱 的 ， 另 外 很 多 是 c d n 过 来 的 请 求 ， 只 能 靠 x - f o r w a r d - f o r 取 出 来 的 i p 进 行 封 禁 ， 当 然 它 可 以 伪 造 ， 就 看 数 据 分 析 的 能 力 ， 把 真 实 的 i p 抓 出 来 。 W A F 规 则 p 0 p r 0 c k 5   提 供 了 一 些 M o d s e c u r i t y 转 译 的 ， 可 以 参 考 它 实 现 自 己 的 规 则 。 另 外 ， W A F 的 性 能 也 很 重 要 ， 章 亦 春 大 神 的 很 多 讲 座 p p t 有 提 到 的 ， 可 以 作 为 参 考 。 章 亦 春 大 神 已 经 创 业 了 ， 它 打 造 的 商 业 o p e n r e s t y 就 有 W A F 的 支 持 。 最 后 ， 就 先 写 这 些 吧 ， 有 问 题 的 可 以 私 信 我 ， 后 面 会 引 入 大 数 据 分 析 和 安 全 数 据 挖 掘 。 第 一 次 发 文 章 ， 欢 迎 各 位 大 神 轻 拍 。 * 本 文 作 者 ： c h e n g f a n g a n g ， 转 载 请 注 明 来 自 F r e e b u f . C O M 阅 读 原 文
回复

举报

高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

使用Markdown编辑器编辑 使用富文本编辑器编辑

Archiver| 手机版| 小黑屋|
Powered by Discuz! X3.4 Copyright © 2001-2020, Tencent Cloud. 商业源码建议获取授权，如侵犯您的权益，请联系客服处理