搜索

[15762] 2020-08-22_甲方自研分布式WAF落地全程实录

文档创建者：s7ckTeam
浏览次数：4
最后更新：2025-01-18
2020-08-22_甲方自研分布式WAF落地全程实录 甲 方 自 研 分 布 式 W A F 落 地 全 程 实 录 n J c x 9 1   F r e e B u f   2 0 2 0 - 0 8 - 2 2 W e b 应 用 防 护 系 统 （ 也 称 为 ： 网 站 应 用 级 入 侵 防 御 系 统 。 英 文 ： W e b   A p p l i c a t i o n   F i r e w a l l ， 简 称 ： W A F ） 。 利 用 国 际 上 公 认 的 一 种 说 法 ： W e b 应 用 防 火 墙 是 通 过 执 行 一 系 列 针 对 H T T P / H T T P S 的 安 全 策 略 来 专 门 为 W e b 应 用 提 供 保 护 的 一 款 产 品 。 架 构 设 计 架 构 设 计 我 们 的 流 量 第 一 层 先 到 达 高 防 抗 D ， 做 D D O S 清 洗 ， 然 后 转 发 给 W A F ， 由 W A F 做 第 二 次 清 洗 流 控 ， 转 发 给 后 端 业 务 L B ， 整 体 架 构 如 下 ， 并 旁 路 了 分 析 引 擎 ， 弥 补 了 W A F 这 一 块 无 法 做 太 复 杂 的 计 算 缺 陷 ， 并 把 分 析 结 果 通 过 接 口 交 给 W A F 执 行 。 技 术 选 型 技 术 选 型 目 前 ， 主 流 的 自 研 W A F 实 现 技 术 主 要 是 依 赖 O p e n R e s t y 技 术 栈 （ 由 中 国 人 章 亦 春 发 起 ） ， 代 码 部 分 主 要 是 使 用 L u a 编 写 , 简 单 的 安 装 如 下 ： 动 态 规 则 更 新 动 态 规 则 更 新 比 如 ， 黑 白 I P 的 添 加 ， 域 名 U R L 的 拦 截 封 禁 ， 流 控 C C 规 则 的 添 加 ， 这 些 动 态 的 规 则 要 求 快 速 生 效 ， 这 一 块 规 则 是 存 放 在 R e d i s 里 面 的 ， 通 过 A P I 进 行 修 改 添 加 ， W A F 定 时 从 R e d i s 里 面 读 取 到 共 享 内 存 中 ， L u a 更 新 规 则 部 分 使 用 了 r e d i s - l u a   2 . 0 . 5 - d e v 类 库 和 l u a s o c k e t 类 库 完 成 ，   相 关 的 代 码 放 到 i n i t _ w o r k e r . l u a 文 件 中 ，   如 果 有 什 么 修 改 ，   n g i n x   r e l o a d   即 可 ， 在   n g i n x   r e l o a d   的 过 程 中 ，   m a s t e r 进 程 不 退 出 ， w o r k e r   进 程 陆 续 退 出 重 启 ， 这 里 特 别 注 意 ， 不 然 容 易 踩 坑 ， 比 如 ， i n i t . l u a   在   n g i n x   r e l o a d   的 过 后 代 码 不 会 生 效 传 统 规 则 引 擎 传 统 规 则 引 擎 一 些 安 全 拦 截 的 规 则 ， 主 要 有 G E T 和 P O S T 参 数 、 H e a d e r 里 面 的 一 些 字 段 过 滤 ， 文 件 上 传 的 拦 截 ， 是 编 写 在 j s o n 文 件 之 中 ， 就 像 下 面 列 子 一 样 ， 规 则 在 O p e n R e s t y 启 动 时 候 ， 由 i n i t _ w o r k e r . l u a 写 入 共 享 内 存 ， 在   n g i n x   r e l o a d   的 过 程 中 可 完 成 更 新 ， 无 缝 对 接 更 新 规 则 ， 拦 截 过 滤 部 分 在 a c c e s s . l u a 中 实 现 , 通 过 读 取 共 享 内 存 里 面 的 规 则 ， 来 完 成 相 关 恶 意 参 数 的 正 则 匹 配 。 w g e t   h t t p s : / / o p e n r e s t y . o r g / d o w n l o a d / o p e n r e s t y - 1 . 1 3 . 6 . 1 . t a r . g z t a r   - z x v f   o p e n r e s t y - 1 . 1 3 . 6 . 1 . t a r . g z c d   o p e n r e s t y - 1 . 1 3 . 6 . 1 /   & &   . / c o n f i g u r e   - - p r e f i x = / u s r / l o c a l / o p e n r e s t y   - - w i t h - p c r e - j i t   - - w i t h - h t t p _ i c o n v _ m o d u l e     - - w i t h - h t t p _ g u n z i p _ m o d u l e   - - w i t h - h t t p _ a u t h _ r e q u e s t _ m o d u l e     - - w i t h / / 根 据 真 实 需 求 调 整 配 置 项 目 g m a k e   & &   g m a k e   i n s t a l l 或 者 m a k e   & &   m a k e   i n s t a l l 第 二 步 ， 安 装 l u a r o c k s - 3 . 1 . 3 w g e t   h t t p s : / / l u a r o c k s . g i t h u b . i o / l u a r o c k s / r e l e a s e s / l u a r o c k s - 3 . 1 . 3 . t a r . g z t a r   - z x v f   l u a r o c k s - 3 . 1 . 3 . t a r . g z c d   l u a r o c k s - 3 . 1 . 3 / . / c o n f i g u r e   - - p r e f i x = / u s r / l o c a l / o p e n r e s t y / l u a j i t   - - w i t h - l u a = / u s r / l o c a l / o p e n r e s t y / l u a j i t /   - - l u a - s u f f i x = j i t     - - w i t h - l u a - i n c l u d e = / u s r / l o c a l / o p e n r e s t y / l u a j i t / i n c l u d e / l u a j i t - 2 . 1 / / 根 据 真 实 需 求 调 整 配 置 项 目 m a k e   & & m a k e   i n s t a l l 第 三 步 ， 安 装 l u a s o c k e t / u s r / l o c a l / o p e n r e s t y / l u a j i t / b i n / l u a r o c k s   i n s t a l l   l u a s o c k e t                                                                                                                                                                                                                                                                                                                                                                     注 意 ： 这 里 有 个 b u g ， 显 示 安 装 成 功 ， 其 实 没 有 安 装 成 功 ， 通 过 检 查   / u s r / l o c a l / o p e n r e s t y / l u a j i t / l i b / l u a / 5 . 1     目 录 下 面 ， 有 没 有 m i m e     s o c k e t   目 录 来 确 定 是 否 安 装 成 功 ， 否 则 再 次 执 行 安 装 步 骤 三 ， 直 到 安 装 成 功 {         " s t a t e " :   " e n a b l e " ,         " r u l e _ i d " : " s c a n n e r _ 0 1 " ,         " r u l e _ t a g " : " s c a n n e r " ,         " r u l e _ n a m e " : " s c a n n e r _ h u n t e r " ,         " u s e r a g e n t " :   [ " ( d i r b u s t e r | p a n g o l i n | n m a p | B B B i k e | s q l m a p | w 3 a f | o w a s p | N i k t o | a p a c h e b e n c h ) " , " j i o s " ] ,         " a c t i o n " :   " d e n y " ,         " i n f o " :   " s c a n n e r   a t t a c k " } l o c a l   _ b a s e d i r   =   c o n f i g . p r o d . c o n f i g _ r u l e _ d i r _ M . r u l e _ t a b l e . r e f e r e r _ r u l e   =   l o a d _ j s o n ( _ b a s e d i r . . " r e f e r e r . j s o n " ) _ M . r u l e _ t a b l e . u r i _ r u l e   =   l o a d _ j s o n ( _ b a s e d i r . . " u r i . j s o n " ) _ M . r u l e _ t a b l e . h e a d e r _ r u l e   =   l o a d _ j s o n ( _ b a s e d i r . . " h e a d e r . j s o n " ) _ M . r u l e _ t a b l e . u s e r a g e n t _ r u l e   =   l o a d _ j s o n ( _ b a s e d i r . . " u s e r a g e n t . j s o n " )
C C 算 法 算 法 C C   模 块 位 于 a c c e s s . l u a   文 件 中 ， 主 要 逻 辑 就 是 ， 把 I P 和 当 前 的 域 名 作 为 一 个 k e y 写 入 共 享 内 存 ， 在 单 位 内 对 该 k e y 累 加 计 数 ， 只 要 超 过 阀 值 ， 就 拦 截 指 定 时 间 长 度 并 返 回 一 个 拦 截 的 页 面 ， 下 一 次 访 问 的 时 候 就 直 接 拦 截 。 见 下 面 演 示 代 码 ： 对 域 名 的 限 流 对 域 名 的 限 流 对 域 名 限 流 的 模 块 位 于 a c c e s s . l u a   文 件 中 ， 主 要 逻 辑 就 是 ， 把 当 前 的 域 名 作 为 一 个 k e y 写 入 共 享 内 存 ， 在 1 s 内 对 该 k e y 累 加 计 数 ， 把 超 过 阀 值 的 流 量 用 I P 标 记 ， 拦 截 指 定 时 间 并 返 回 一 个 拦 截 的 页 面 ， 完 成 流 量 置 换 。 见 下 面 演 示 代 码 ： 对 对 I P 的 限 流 的 限 流 对 I P 限 流 的 模 块 位 于 a c c e s s . l u a   文 件 中 ， 主 要 逻 辑 就 是 ， 把 I P 和 当 前 的 域 名 作 为 一 个 k e y 写 入 共 享 内 存 ， 在 1 s 内 对 该 k e y 累 加 计 数 ， 把 超 过 阀 值 的 流 量 拦 截 并 返 回 一 个 拦 截 的 页 面 。 见 下 面 演 示 代 码 ： _ M . r u l e _ t a b l e . u s e r a g e n t _ r u l e   =   l o a d _ j s o n ( _ b a s e d i r . . " u s e r a g e n t . j s o n " ) _ M . r u l e _ t a b l e . c o o k i e _ r u l e   =   l o a d _ j s o n ( _ b a s e d i r . . " c o o k i e . j s o n " ) _ M . r u l e _ t a b l e . a r g s _ r u l e   =   l o a d _ j s o n ( _ b a s e d i r . . " a r g s . j s o n " ) _ M . r u l e _ t a b l e . p o s t _ r u l e   =   l o a d _ j s o n ( _ b a s e d i r . . " p o s t . j s o n " ) r u l e _ d i c t   : s a f e _ s e t ( " r u l e " , c j s o n . e n c o d e ( _ M . r u l e _ t a b l e ) , 0 ) i f   i n f o   t h e n         u t i l . w a f _ i n f o _ l o g ( u t i l . t a b l e _ t o _ j s o n ( _ M . r u l e _ t a b l e ) )         u t i l . w a f _ i n f o _ l o g ( e n v   . .   ' : l o a d r u l e . l u a   w o r k   w e l l ' ) e n d r u l e _ d i c t   : s a f e _ s e t ( " r u l e _ v e r s i o n " , 1 . 2 , 0 ) i f   c c _ p o l i c y     t h e n                 l o c a l   t i m e   =   t o n u m b e r ( u t i l . s p l i t _ s t r _ t a b l e ( c c _ p o l i c y   ,   " , " ) [ 1 ] )       - -   单 位 时 间                 l o c a l   t i m e s   =   t o n u m b e r ( u t i l . s p l i t _ s t r _ t a b l e ( c c _ p o l i c y   ,   " , " ) [ 2 ] )     - -   请 求 次 数                 l o c a l   b l o c k _ t i m e   =   t o n u m b e r ( u t i l . s p l i t _ s t r _ t a b l e ( c c _ p o l i c y   ,   " , " ) [ 3 ] )     - -   封 禁 时 间                 l o c a l   r e q ,   _   =   n g x . s h a r e d . c c : g e t ( " c c _ d e n y _ " . . h o s t . . r e a l _ i p )                 i f   r e q   t h e n                         _ M . l o g _ r e c o r d ( " c c _ m o d u l e " ,   ' c c _ 0 1 ' ,   ' c c ' , ' c c ' , ' c c   a t t a c k )                         u t i l . w a f _ o u t p u t ( b l o c k _ t e m p l a t e _ c c )                         e n d                 e n d                 l o c a l   r e q _ h ,   _   =   n g x . s h a r e d . c c : g e t ( h o s t . . r e a l _ i p )                 i f   r e q _ h   t h e n                         i f   r e q _ h   > =   t i m e s   t h e n                                 n g x . s h a r e d . c c : s e t ( " c c _ d e n y _ " . . h o s t . . r e a l _ i p ,   " 1 " ,   b l o c k _ t i m e * 6 0 )                                 _ M . l o g _ r e c o r d ( " c c _ m o d u l e " ,   ' c c _ 0 1 ' ,   ' c c ' ,   ' c c ' , ' c c   a t t a c k ' )                                 u t i l . w a f _ o u t p u t ( b l o c k _ t e m p l a t e _ c c )                         e l s e                                 n g x . s h a r e d . c c : i n c r ( h o s t . . r e a l _ i p ,   1 )                         e n d                 e l s e                         n g x . s h a r e d . c c : s e t ( h o s t . . r e a l _ i p ,   1 ,   t i m e )                 e n d         e n d l o c a l   f l o w _ m a x   =   t o n u m b e r ( u t i l . s p l i t _ s t r _ t a b l e ( f l o w _ r a t e ,   " , " ) [ 1 ] )         - -   q p s         l o c a l   b l o c k _ t i m e   =   t o n u m b e r ( u t i l . s p l i t _ s t r _ t a b l e ( f l o w _ r a t e ,   " , " ) [ 2 ] )     - -   拦 截 时 间         l o c a l   r e q   =   n g x . s h a r e d . f l o w _ c o n t r o l : g e t ( " f l o w _ d e n y _ " . . h o s t . . r e a l _ i p )         i f   r e q   t h e n                 _ M . l o g _ r e c o r d ( " f l o w _ m o d u l e " ,   ' f l o w _ 0 1 ' , ' f l o w ' ,   ' f l o w ' , ' f l o w   p o l i c y ' )                                 u t i l . w a f _ o u t p u t ( b l o c k _ t e m p l a t e _ f l o w )                 e n d         e n d         l o c a l   f l o w _ c o u n t ,   _   =   n g x . s h a r e d . f l o w _ c o n t r o l : g e t ( h o s t )         i f   f l o w _ c o u n t   t h e n                 i f   f l o w _ c o u n t > =   f l o w _ m a x   t h e n                         n g x . s h a r e d . f l o w _ c o n t r o l : s e t ( " f l o w _ d e n y _ " . . h o s t . . r e a l _ i p ,   " 1 " ,   b l o c k _ t i m e * 6 0 )                         _ M . l o g _ r e c o r d ( " f l o w _ m o d u l e " ,   ' f l o w _ 0 1 ' , ' f l o w ' ,   ' f l o w ' , ' f l o w   p o l i c y ' )                         u t i l . w a f _ o u t p u t ( b l o c k _ t e m p l a t e _ f l o w )                 e l s e                         n g x . s h a r e d . f l o w _ c o n t r o l : i n c r ( h o s t ,   1 )                 e n d         e l s e                 n g x . s h a r e d . f l o w _ c o n t r o l : s e t ( h o s t ,   1 ,   1 )         e n d e n d f l o w _ r a t e   = n g x . s h a r e d . f l o w _ i p _ r u l e s : g e t ( i p _ s t r _ k e y )       - -   单 个 I P   1 s 内 最 大 请 求 数 i f   f l o w _ r a t e   t h e n         l o c a l   f l o w _ c o u n t ,   _   =   n g x . s h a r e d . f l o w _ c o n t r o l : g e t ( h o s t . . r e a l _ i p )         i f   f l o w _ c o u n t   t h e n                 i f   f l o w _ c o u n t > =   t o n u m b e r ( f l o w _ r a t e )   t h e n                         _ M . l o g _ r e c o r d ( " f l o w _ m o d u l e " ,   ' f l o w _ i p _ 0 1 ' , ' f l o w ' ,   ' f l o w _ i p ' , ' f l o w   p o l i c y ' )                         u t i l . w a f _ o u t p u t ( b l o c k _ t e m p l a t e _ f l o w )
数 据 传 输 数 据 传 输 W A F 会 把 拦 截 记 录 序 列 化 成 j s o n 格 式 ， 写 入 l o g 中 ， 而 不 是 直 接 写 入 任 何 数 据 库 ， 因 为 这 里 对 性 能 要 求 较 高 ， 综 合 考 虑 采 取 此 方 法 ， 然 后 使 用 l o g s t a s h 写 入 k a f k a 再 写 入 e s 。 W A F   l o g 输 出 是 用 的 n g i n x 的 w o r k e r   进 程 执 行 权 限 ， 一 般 w w w - d a t a ,   保 证 l o g 输 出 目 录 ， 拥 有 对 应 权 限 ， 否 则 无 l o g 输 出 ， 且 不 报 错 。 压 测 压 测 h t t p 性 能 测 试 工 具 ： w r k 公 网 测 试 ： 由 请 求 机 从 公 网 链 路 发 出 请 求 ， 贴 近 真 实 场 景 命 令 :   . / w r k   - t 8   - c 2 0 0   - d 1 0 s   h t t p : / / 1 1 0 . 1 1 0 . 1 1 0 . 1 1 0 / 这 里 从 压 测 报 告 中 挑 出 一 个 场 景 ， 抛 砖 引 玉 ： 开 启 w a f ， u p s t r e a m 转 发 转 发 到   s e r v e r 1 ,   s e r v e r 2 ,   s e r v e r 3   , 8 0 端 口   ( 静 态 页 面 ) ， 黑 白 i p ， 各 1 0 0 条 ， 常 规 域 名 、 常 规 U R L 拦 截 各 1 0 0 条 , 常 规 流 控 1 0 0 个 域 名 ,   常 规 c c 域 名 1 0 0 个 ， 其 他 模 块 开 启 （ 包 括 g e t p o s t   u a   u r l   拦 截 模 块 等 ） R e q u e s t s / s e c :   1 5 4 2 3 . 3 7 L a t e n c y ： 2 8 . 5 9 m s 精 彩 推 荐 精 彩 推 荐                 e l s e                         n g x . s h a r e d . f l o w _ c o n t r o l : i n c r ( h o s t . . r e a l _ i p ,   1 )                 e n d         e l s e                 n g x . s h a r e d . f l o w _ c o n t r o l : s e t ( h o s t . . r e a l _ i p ,   1 ,   1 )         e n d e n d W A F 所 在 物 理 机 ： 1 4 . 0 4 . 1 - U b u n t u     I P   :     1 1 0 . 1 1 0 . 1 1 0 . 1 1 0 K e r n e l   V e r s i o n :   4 . 2 . 0 - 2 7 - g e n e r i c C P U   T y p e   :   I n t e l ( R )   X e o n ( R )   C P U   E 5 - 2 6 8 0   v 4   @   2 . 4 0 G H z     *   2 M e m o r y   S i z e   :   6 4 G N e t w o r k   C a r d   :   I n t e l   1 0 - G i g a b i t   X 5 4 0 - A T 2   ( r e v   0 1 )         1 0 G 万 兆 物 理 机 公 网 网 速 ： T e s t i n g   d o w n l o a d   s p e e d . . . . . . . . D o w n l o a d :   5 8 8 . 1 7   M b i t / s T e s t i n g   u p l o a d   s p e e d . . . . . . . . . . U p l o a d :   3 3 2 . 2 1   M b i t / s 请 求 机 公 网 网 速 ： C e n t O S   6 . 5       I P ： 1 1 2 . 1 1 2 . 1 1 2 . 1 1 2 T e s t i n g   d o w n l o a d   s p e e d . . . . . . . . . . . . . . . D o w n l o a d :   5 0 0 . 9 6   M b i t / s T e s t i n g   u p l o a d   s p e e d . . . . . . . . . . . . . . . . U p l o a d :   3 2 7 . 6 5   M b i t / s
阅 读 原 文
回复

举报

高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

使用Markdown编辑器编辑 使用富文本编辑器编辑

Archiver| 手机版| 小黑屋|
Powered by Discuz! X3.4 Copyright © 2001-2020, Tencent Cloud. 商业源码建议获取授权，如侵犯您的权益，请联系客服处理