搜索

[21333] 2020-10-23_WAF代码剖析之初识openresty

文档创建者：s7ckTeam
浏览次数：8
最后更新：2025-01-18
2020-10-23_WAF代码剖析之初识openresty W A F 代 码 剖 析 之 初 识 o p e n r e s t y 陌 度   F r e e B u f   L e m o n S e c   2 0 2 0 - 1 0 - 2 3 为 什 么 会 有 这 一 系 列 的 文 章 ？ 为 什 么 会 有 这 一 系 列 的 文 章 ？ 自 从 这 几 年 信 息 安 全 的 大 力 发 展 ， 信 息 安 全 的 建 设 是 逐 步 发 展 起 来 ， 作 为 甲 方 安 全 工 程 师 ， 一 个 人 的 安 全 部 ， 使 用 开 源 的 W A F 部 署 防 御 攻 击 ， 仿 佛 是 件 很 平 常 的 事 情 ， 但 是 开 源 的 坏 处 就 是 没 有 人 能 够 及 时 提 供 技 术 支 撑 ， 出 现 问 题 就 只 能 自 己 维 护 ， 我 相 信 维 护 W A F 的 代 码 和 规 则 是 一 件 很 耗 费 精 力 的 事 情 ， 还 不 如 用 商 用 的 香 。 如 果 没 安 全 预 算 的 朋 友 ， 不 妨 跟 我 一 起 走 向 W A F 开 发 的 世 界 。 之 前 对 W A F 维 护 和 加 载 新 功 能 ， 只 是 单 纯 在 o p e n r e s t y 的 a c c e s s 阶 段 进 行 处 理 ， 没 有 整 体 去 了 解 整 个 流 程 是 怎 么 运 作 的 ， 接 下 来 的 文 章 我 会 针 对 于 o p e n r e s t y 处 理 阶 段 ， W A F 代 码 编 写 等 内 容 进 行 说 明 ， 可 能 有 些 内 容 会 显 得 啰 嗦 ， 因 为 这 是 我 对 于 技 术 细 节 思 考 的 结 果 。 为 什 么 o p e n r e s t y 能 够 成 为 W A F 开 发 的 核 心 选 择 ？ 对 于 业 务 系 统 来 说 ， 一 般 放 在 最 外 层 就 是 n g i n x ， 作 为 负 载 均 衡 ， 转 发 流 量 ， 并 且 官 方 也 提 供 m o d s e c u r i t y 规 则 用 于 W A F 防 御 攻 击 ， 但 是 用 过 的 人 也 知 道 ， 代 码 是 用 C 写 的 ， 可 写 性 差 并 且 防 御 规 则 不 容 易 维 护 ， 最 重 要 的 一 点 是 性 能 损 耗 ， 我 之 前 写 过 一 篇 W A F 性 能 测 试 报 告 ， 虽 然 可 能 存 在 场 景 偏 差 ， 但 是 n g i n x 性 能 不 如 o p e n r e s t y 这 是 可 以 明 显 看 得 到 。 而 且 有 一 点 重 要 的 是 ， o p e n r e s t y 本 质 还 是 n g i n x ， 但 是 加 上 了 l u a 脚 本 语 言 进 行 嵌 入 ， 性 能 处 理 提 高 和 能 够 编 写 复 杂 处 理 场 景 。 开 源 社 区 流 行 的 主 要 是 这 些 W A F ： j x w a f ， o p e n s t a r ， n g x _ l u a _ w a f （ 排 名 不 分 先 后 排 名 不 分 先 后 ） ， 我 这 边 主 要 会 以 j x w a f 的 代 码 进 行 剖 析 ， 当 然 也 会 找 其 他 W A F 的 代 码 进 行 思 路 碰 撞 和 学 习 。 废 话 不 多 说 ， l e t ‘ s   g o ~ ~ o p e n r e s t y 处 理 流 程 处 理 流 程 o p e n r e s t y 有 1 1 个 处 理 流 程 阶 段 ， 如 下 图 所 示
具 体 阶 段 作 用 域 和 功 能 作 用 如 下 表 ， 来 源 地 址 ： h t t p s : / / o p e n r e s t y - r e f e r e n c e . r e a d t h e d o c s . i o / e n / l a t e s t / D i r e c t i v e s / 阶 段 阶 段 作 用 域 （ 作 用 域 （ n g i n x . c o n f ） ） 功 能 作 用 功 能 作 用 i n i t _ b y _ l u a * h t t p 初 始 化   n g i n x   和 预 加 载   l u a ( n g i n x   启 动 和   r e l o a d   时 执 行 ) i n i t _ w o r k e r _ b y _ l u a * h t t p 每 个 工 作 进 程 ( w o r k e r _ p r o c e s s e s ) 被 创 建 时 执 行 ， 用 于 启 动 一 些 定 时 任 务 ， 比 如 心 跳 检 查 ， 后 端 服 务 的 健 康 检 查 ， 定 时 拉 取 服 务 器 配 置 等 ； | |   s s l _ c e r t i f i c a t e _ b y _ l u a *   |   s e r v e r   |   对 H T T P S 请 求 的 处 理   | |   s e t _ b y _ l u a *   |   s e r v e r ,   s e r v e r   i f ,   l o c a t i o n ,   l o c a t i o n   i f   |   流 程 分 支 处 理 判 断 变 量 初 始 化   | |   r e w r i t e _ b y _ l u a *   |   h t t p ,   s e r v e r ,   l o c a t i o n ,   l o c a t i o n   i f   |   转 发 、 重 定 向 、 缓 存 等 功 能   | |   a c c e s s _ b y _ l u a *   |   h t t p ,   s e r v e r ,   l o c a t i o n ,   l o c a t i o n   i f   |   内 容 处 理 （ W A F 规 则 处 理 ）   | |   c o n t e n t _ b y _ l u a *   |   l o c a t i o n ,   l o c a t i o n   i f   |   内 容 生 成 ， 相 当 于 r e s p o n s e   | |   b a l a n c e r _ b y _ l u a *   |   u p s t r e a m   |   负 载 均 衡   | |   h e a d e r _ f i l t e r _ b y _ l u a *   |   h t t p ,   s e r v e r ,   l o c a t i o n ,   l o c a t i o n   i f   |   对 响 应 头 （ h e a d e r s ） 进 行 处 理   | |   b o d y _ f i l t e r _ b y _ l u a *   |   h t t p ,   s e r v e r ,   l o c a t i o n ,   l o c a t i o n   i f   |   对 响 应 体 （ b o d y ） 进 行 处 理   | |   l o g _ b y _ l u a *   |   h t t p ,   s e r v e r ,   l o c a t i o n ,   l o c a t i o n   i f   |   日 志 记 录   | 为 了 让 大 家 更 加 直 观 认 识 这 些 阶 段 ， 我 拿 j x w a f 的 n g i n x 配 置 文 件 进 行 说 明 ， 当 然 不 懂 的 朋 友 就 要 下 去 自 我 补 习 。 h t t p   {         i n c l u d e               m i m e . t y p e s ;         d e f a u l t _ t y p e     a p p l i c a t i o n / o c t e t - s t r e a m ;         c l i e n t _ b o d y _ b u f f e r _ s i z e     1 0 0 m ;         c l i e n t _ m a x _ b o d y _ s i z e   1 0 m ;         s e n d f i l e                 o n ;
        # t c p _ n o p u s h           o n ;         r e s o l v e r     1 1 4 . 1 1 4 . 1 1 4 . 1 1 4 ;     r e s o l v e r _ t i m e o u t   5 s ;         # k e e p a l i v e _ t i m e o u t     0 ;         k e e p a l i v e _ t i m e o u t     6 5 ;         l u a _ s s l _ t r u s t e d _ c e r t i f i c a t e     / e t c / p k i / t l s / c e r t s / c a - b u n d l e . c r t ;         l u a _ s s l _ v e r i f y _ d e p t h   3 ; l u a _ s h a r e d _ d i c t   l i m i t _ r e q   1 0 0 m ; l u a _ s h a r e d _ d i c t   l i m i t _ r e q _ c o u n t   1 0 0 m ; l u a _ s h a r e d _ d i c t   l i m i t _ a t t a c k _ i p   1 0 0 m ; l u a _ s h a r e d _ d i c t   l i m i t _ b o t   1 0 0 m ; l u a _ s h a r e d _ d i c t   w a f _ c o m m o n _ c o n f   1 0 0 m ; l u a _ s h a r e d _ d i c t   b l a c k _ a t t a c k _ i p   1 0 0 m ; i n i t _ b y _ l u a _ f i l e   / o p t / j x w a f / l u a l i b / r e s t y / j x w a f / i n i t . l u a ; i n i t _ w o r k e r _ b y _ l u a _ f i l e   / o p t / j x w a f / l u a l i b / r e s t y / j x w a f / i n i t _ w o r k e r . l u a ; r e w r i t e _ b y _ l u a _ f i l e   / o p t / j x w a f / l u a l i b / r e s t y / j x w a f / r e w r i t e . l u a ; a c c e s s _ b y _ l u a _ f i l e   / o p t / j x w a f / l u a l i b / r e s t y / j x w a f / a c c e s s . l u a ; h e a d e r _ f i l t e r _ b y _ l u a _ f i l e   / o p t / j x w a f / l u a l i b / r e s t y / j x w a f / h e a d e r _ f i l t e r . l u a ; # b o d y _ f i l t e r _ b y _ l u a _ f i l e   / o p t / j x w a f / l u a l i b / r e s t y / j x w a f / b o d y _ f i l t e r . l u a ; l o g _ b y _ l u a _ f i l e   / o p t / j x w a f / l u a l i b / r e s t y / j x w a f / l o g . l u a ; r e w r i t e _ b y _ l u a _ n o _ p o s t p o n e   o n ;         # g z i p     o n ;         u p s t r e a m   j x w a f   {         s e r v e r   w w w . j x w a f . c o m ;     b a l a n c e r _ b y _ l u a _ f i l e   / o p t / j x w a f / l u a l i b / r e s t y / j x w a f / b a l a n c e r . l u a ; } l u a _ c o d e _ c a c h e   o n ;         s e r v e r   {                 l i s t e n               8 0 ;                 s e r v e r _ n a m e     l o c a l h o s t ;                 s e t   $ p r o x y _ p a s s _ h t t p s _ f l a g   " f a l s e " ;                 l o c a t i o n   /   {                         # r o o t       h t m l ;                       #   i n d e x     i n d e x . h t m l   i n d e x . h t m ;                     i f   ( $ p r o x y _ p a s s _ h t t p s _ f l a g   =   " t r u e " ) {                         p r o x y _ p a s s   h t t p s : / / j x w a f ;                     }                     i f   ( $ p r o x y _ p a s s _ h t t p s _ f l a g   =   " f a l s e " ) {                         p r o x y _ p a s s   h t t p : / / j x w a f ;                     }                       p r o x y _ s e t _ h e a d e r   H o s t     $ h t t p _ h o s t ;                       p r o x y _ s e t _ h e a d e r   X - R e a l - I P   $ r e m o t e _ a d d r ;                       p r o x y _ s e t _ h e a d e r   X - F o r w a r d e d - F o r   $ p r o x y _ a d d _ x _ f o r w a r d e d _ f o r ;                 }         }         s e r v e r   {                 l i s t e n               4 4 3   s s l ;                 s e r v e r _ n a m e     l o c a l h o s t ;                 s s l _ c e r t i f i c a t e             f u l l _ c h a i n . p e m ;                 s s l _ c e r t i f i c a t e _ k e y     p r i v a t e . k e y ;
对 o p e n r e s t y 自 带 属 性 进 行 说 明 ： l u a _ s s l _ t r u s t e d _ c e r t i f i c a t e / e t c / p k i / t l s / c e r t s / c a - b u n d l e . c r t ; l u a _ s s l _ v e r i f y _ d e p t h 3 ; l u a _ s h a r e d _ d i c t   l i m i t _ r e q   1 0 0 m ; r e w r i t e _ b y _ l u a _ n o _ p o s t p o n e   o n ; l u a _ c o d e _ c a c h e   o n ;                 s s l _ c e r t i f i c a t e _ k e y     p r i v a t e . k e y ;                 s s l _ s e s s i o n _ c a c h e         s h a r e d : S S L : 1 m ;                 s s l _ s e s s i o n _ t i m e o u t     5 m ;                 s s l _ s e s s i o n _ t i c k e t s   o f f ;                 s s l _ p r o t o c o l s   T L S v 1   T L S v 1 . 1   T L S v 1 . 2 ;                 s s l _ c i p h e r s   " E E C D H + A E S G C M : E D H + A E S G C M : A E S 2 5 6 + E E C D H : A E S 2 5 6 + E D H : E C D H E - R S A - A E S 1 2 8 - G C M - S H A 3 8 4 : E C D H E - R S A - A E S 1 2 8 - G C M - S H A 2 5 6 : E C D H E - R S A - A E S 1 2 8 - G C M - S H A 1 2 8 : D H E - R S A - A E S 1 2 8 - G C M - S H A 3 8 4 : D H E - R S A - A E S 1 2 8 - G C M - S H A 2 5 6 : D H E - R S A - A E S 1 2 8 - G C M - S H A 1 2 8 : E C D H E - R S A - A E S 1 2 8 - S H A 3 8 4 : E C D H E - R S A - A E S 1 2 8 - S H A 1 2 8 : E C D H E - R S A - A E S 1 2 8 - S H A : E C D H E - R S A - A E S 1 2 8 - S H A : D H E - R S A - A E S 1 2 8 - S H A 1 2 8 : D H E - R S A - A E S 1 2 8 - S H A 1 2 8 : D H E - R S A - A E S 1 2 8 - S H A : D H E - R S A - A E S 1 2 8 - S H A : E C D H E - R S A - D E S - C B C 3 - S H A : E D H - R S A - D E S - C B C 3 - S H A : A E S 1 2 8 - G C M - S H A 3 8 4 : A E S 1 2 8 - G C M - S H A 1 2 8 : A E S 1 2 8 - S H A 1 2 8 : A E S 1 2 8 - S H A 1 2 8 : A E S 1 2 8 - S H A : A E S 1 2 8 - S H A : D E S - C B C 3 - S H A : H I G H : ! a N U L L : ! e N U L L : ! E X P O R T : ! D E S : ! M D 5 : ! P S K : ! R " ;                 s s l _ p r e f e r _ s e r v e r _ c i p h e r s     o n ;                 s s l _ c e r t i f i c a t e _ b y _ l u a _ f i l e   / o p t / j x w a f / l u a l i b / r e s t y / j x w a f / s s l . l u a ;                 s e t   $ p r o x y _ p a s s _ h t t p s _ f l a g   " f a l s e " ;                 l o c a t i o n   /   {                         r o o t       h t m l ;                         i n d e x     i n d e x . h t m l   i n d e x . h t m ;                     i f   ( $ p r o x y _ p a s s _ h t t p s _ f l a g   =   " t r u e " ) {                         p r o x y _ p a s s   h t t p s : / / j x w a f ;                     }                     i f   ( $ p r o x y _ p a s s _ h t t p s _ f l a g   =   " f a l s e " ) {                         p r o x y _ p a s s   h t t p : / / j x w a f ;                     }                         p r o x y _ s e t _ h e a d e r   H o s t     $ h t t p _ h o s t ;                         p r o x y _ s e t _ h e a d e r   X - R e a l - I P   $ r e m o t e _ a d d r ;                         p r o x y _ s e t _ h e a d e r   X - F o r w a r d e d - F o r   $ p r o x y _ a d d _ x _ f o r w a r d e d _ f o r ;                 }         } } C A   b u n d l e 是 包 含 根 证 书 和 中 间 证 书 的 文 件 。 使 用 t e m s o c k ： s s l h a n d s h a k e 方 法 以 P E M 格 式 指 定 具 有 受 信 任 C A 证 书 的 文 件 路 径 ， 该 证 书 路 径 用 于 验 证 S S L   /   T L S 服 务 器 的 证 书 。 设 置 服 务 器 证 书 链 中 的 验 证 深 度 。 证 书 链 就 是 R o o t   C A 签 发 二 级 I n t e r m e d i a t e   C A ， 二 级 I n t e r m e d i a t e   C A 可 以 签 发 三 级 I n t e r m e d i a t e   C A ， 也 可 以 直 接 签 发 用 户 证 书 。 从 R o o t   C A 到 用 户 证 书 之 间 构 成 了 一 个 信 任 链 ： 信 任 R o o t   C A ， 就 应 该 信 任 它 所 信 任 的 二 级 I n t e r m e d i a t e   C A ， 从 而 就 应 该 信 任 三 级 I n t e r m e d i a t e   C A 直 至 信 任 用 户 证 书 。 验 证 深 度 设 置 为 3 就 是 说 如 果 验 证 R o o t   C A 下 面 的 第 三 级 的 证 书 是 否 可 信 。 声 明 一 块 共 享 内 存 区 域 ， 里 面 放 着 是 变 量 字 典 数 据 ， 在 n g i n x 启 动 的 时 候 ， 就 是 读 取 字 典 变 量 的 数 据 。 这 样 的 好 处 是 比 如 说 有 很 多 检 测 规 则 ， S Q L 注 入 、 X S S 、 命 令 注 入 等 规 则 可 以 预 先 放 进 内 存 里 面 ， o p e n r e s t y 就 可 以 直 接 去 内 存 数 据 ， 而 不 是 进 来 一 个 数 据 包 就 o p e n 一 下 文 件 然 后 c l o s e 一 下 ， 减 少 对 磁 盘 读 写 操 作 。 是 否 让 “ r e w r i t e _ b y _ l u a ” 在 r e w r i t e 阶 段 的 最 后 执 行 ， 默 认 值 是 o f f ,   即 “ r e w r i t e _ b y _ l u a ” 里 的 L u a 代 码 将 在 其 他 N g i n x   r e w r i t e 功 能 模 块 之 后 执 行 。
数 了 一 下 o p e n r e s t y 1 1 个 执 行 阶 段 j x w a f 就 用 了 8 个 阶 段 ， 接 下 来 讲 述 这 8 个 阶 段 的 代 码 将 会 是 本 系 列 的 重 点 。 安 装 配 置 安 装 配 置 根 据 目 前 j x w a f 需 要 的 o p e n r e s t y 版 本 为 1 . 1 5 . 8 . 3 ， 使 用 c e n t o s 7 系 统 进 行 安 装 ： 或 者 单 纯 w i n d o w s 系 统 就 可 以 下 载 W i n d o w s 的 o p e n r e s t y 版 本 开 发 W A F 是 采 用 L U A 编 程 语 言 ， L U A 还 属 于 小 众 语 言 ， 没 有 像 p y c h a r m 这 种 完 整 的 I D E ， L U A   I D E 的 选 择 可 以 看 自 己 需 要 ， 可 以 使 用 v s c o d e + 插 件 进 行 开 发 。 l u a 插 件 ， 用 于 语 法 高 亮 和 语 法 说 明 L u a   D e b u g 用 于 调 试 和 运 行 l u a 代 码 参 考 这 里 ： h t t p s : / / l i n u x . c i / 2 0 1 . h t m l ， 在 开 发 调 试 过 程 中 ， 可 以 把 它 给 关 闭 掉 ， 因 为 可 以 实 时 更 新 ， 不 需 要 重 启 n g i n x ， 在 生 产 就 要 开 启 ， 不 然 性 能 损 耗 就 非 常 大 。 y u m   i n s t a l l   - y   r e a d l i n e - d e v e l   p c r e   p c r e - d e v e l   o p e n s s l   o p e n s s l - d e v e l   g c c   c u r l   G e o I P - d e v e l     w g e t   w g e t   h t t p s : / / o p e n r e s t y . o r g / d o w n l o a d / o p e n r e s t y - 1 . 1 5 . 8 . 3 . t a r . g z   t a r   - x v f   o p e n r e s t y - 1 . 1 5 . 8 . 3 . t a r . g z   c d   o p e n r e s t y - 1 . 1 5 . 8 . 3   . / c o n f i g u r e   - j 2   m a k e   - j 2   m a k e   i n s t a l l h t t p s : / / o p e n r e s t y . o r g / d o w n l o a d / o p e n r e s t y - 1 . 1 5 . 8 . 3 - w i n 6 4 . z i p
按 F 5 启 动 调 试 ， 可 以 看 到 l u a 运 行 成 功 的 代 码 测 试 测 试 n g i n x . c o n f 配 置 文 件 ， 我 把 l u a _ c o d e _ c a c h e 给 关 闭 ， 这 样 做 是 因 为 在 测 试 代 码 的 时 候 ， 不 用 r e l o a d   n g i n x ， n g i n x 会 直 接 热 更 新 ， 然 后 我 在 c o n t e n t _ b y _ l u a _ f i l e 阶 段 调 用 t e s t . l u a 文 件 输 出 内 容 w o r k e r _ p r o c e s s e s     1 ; e v e n t s   {         w o r k e r _ c o n n e c t i o n s     1 0 2 4 ; }
效 果 如 下 一 如 既 往 的 学 习 ， 一 如 既 往 的 整 理 ， 一 如 即 往 的 分 享 。 感 谢 支 持 【 好 书 推 荐 】 【 好 书 推 荐 】 2 0 2 0 h w 系 列 文 章 整 理 （ 中 秋 快 乐 、 国 庆 快 乐 、 双 节 快 乐 ） H W 中 如 何 检 测 和 阻 止 D N S 隧 道 c t f 系 列 文 章 整 理 日 志 安 全 系 列 - 安 全 日 志 【 干 货 】 流 量 分 析 系 列 文 章 整 理 【 干 货 】 超 全 的   渗 透 测 试 系 列 文 章 整 理 【 干 货 】 持 续 性 更 新 - 内 网 渗 透 测 试 系 列 文 章 【 干 货 】 a n d r o i d 安 全 系 列 文 章 整 理 } h t t p   { l u a _ c o d e _ c a c h e   o f f ;         s e r v e r   {                 l o c a t i o n   / t e s t   {                       d e f a u l t _ t y p e   ' t e x t / p l a i n ' ;                       c o n t e n t _ b y _ l u a _ f i l e   ' D : / w a f / t e s t . l u a ' ;                 }         } } # t e s t . l u a l o c a l   n a m e   =     " A n o n y m o u s " n g x . s a y ( " H e l l o ,   " ,   n a m e ,   " ! " ) n g x . s a y ( " t e s t " )
扫 描 关 注 扫 描 关 注 L e m o n S e c
回复

举报

高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

使用Markdown编辑器编辑 使用富文本编辑器编辑

Archiver| 手机版| 小黑屋|
Powered by Discuz! X3.4 Copyright © 2001-2020, Tencent Cloud. 商业源码建议获取授权，如侵犯您的权益，请联系客服处理