搜索

[17089] 2021-07-30_更适应DevOps的被动式漏洞检测产品技术研究及架构设计

文档创建者：s7ckTeam
浏览次数：12
最后更新：2025-01-18
2021-07-30_更适应DevOps的被动式漏洞检测产品技术研究及架构设计 更 适 应 D e v O p s 的 被 动 式 漏 洞 检 测 产 品 技 术 研 究 及 架 构 设 计 理 想 汽 车 安 全 部   F r e e B u f   2 0 2 1 - 0 7 - 3 0 一 、 被 动 式 漏 洞 扫 描 器 基 本 原 理 一 、 被 动 式 漏 洞 扫 描 器 基 本 原 理 被 动 式 漏 洞 扫 描 器 ， 也 叫 交 互 式 漏 洞 扫 描 器 ， 英 文 叫 I n t e r a c t i v e   a p p l i c a t i o n   s e c u r i t y   t e s t i n g ， 顾 名 思 义 ， 指 非 主 动 进 行 攻 击 测 试 的 一 类 漏 洞 扫 描 器 。 这 类 扫 描 器 从 实 现 原 理 上 来 说 又 可 以 分 为 两 类 ， 一 类 是 基 于 代 理 流 量 的 黑 盒 扫 描 器 ， 另 一 类 是 基 于 字 节 码 插 桩 的 灰 盒 扫 描 器 。 两 者 的 核 心 引 擎 都 不 主 动 通 过 爬 虫 的 方 式 收 集 目 标 系 统 的 w e b 接 口 信 息 。 基 于 代 理 流 量 的 漏 洞 扫 描 器 一 般 通 过 接 收 外 部 转 发 来 的 h t t p / h t t p s 数 据 包 ， 被 动 的 触 发 黑 盒 扫 描 任 务 ， 而 基 于 字 节 码 插 桩 的 灰 盒 漏 洞 扫 描 器 一 般 是 通 过 静 态 方 式 修 改 字 节 码 ， 在 关 键 的 函 数 上 织 入 h o o k 逻 辑 ， 进 行 运 行 时 数 据 流 分 析 ， 这 种 检 测 方 案 也 需 要 接 收 外 部 的 输 入 ， 被 动 地 进 行 漏 洞 检 测 分 析 ， 就 w e b 层 面 来 说 ， 这 里 的 输 入 一 般 指 h t t p / h t t p s 请 求 数 据 包 。 基 于 代 理 流 量 的 被 动 式 漏 洞 扫 描 器 与 传 统 的 主 动 式 扫 描 器 相 比 的 优 势 是 ， 被 动 式 漏 洞 扫 描 器 在 对 目 标 系 统 攻 击 面 的 收 集 更 加 的 全 面 ， 因 为 其 攻 击 面 收 集 的 方 式 相 对 多 元 化 ， 在 继 承 传 统 的 主 动 式 的 攻 击 面 的 收 集 基 础 之 上 ， 还 可 以 通 过 代 理 流 量 / 镜 像 的 方 式 收 集 测 试 人 员 人 工 提 交 的 数 据 包 信 息 进 行 攻 击 面 的 采 集 ， 另 外 在 鉴 权 检 测 方 面 也 有 不 错 的 效 果 。 本 文 主 要 分 享 下 基 于 代 理 流 量 的 扫 描 器 的 相 关 实 现 原 理 和 架 构 设 计 ， 在 后 续 的 文 章 中 ， 我 们 将 会 详 细 的 剖 析 基 于 字 节 码 插 桩 的 灰 盒 扫 描 器 的 技 术 实 现 。 （ 注 ： 以 下 涉 及 到 的 漏 洞 信 息 均 为 模 拟 数 据 。 ） 二 、 二 、 H T T P / H T T P S 流 量 采 集 方 案 研 究 流 量 采 集 方 案 研 究 谈 到 被 动 式 漏 洞 扫 描 器 ， 其 核 心 之 一 就 是 流 量 的 采 集 ， 所 以 ， 我 们 先 来 聊 一 聊 流 量 的 采 集 问 题 。 就 h t t p / h t t p s 流 量 采 集 来 说 ， 总 的 来 说 有 两 种 方 案 ， 一 种 是 基 于 h t t p / h t t p s 代 理 的 流 量 收 集 方 案 ， 另 一 种 是 基 于 n g i n x   m i r r o r 模 块 的 流 量 收 集 方 案 ， 下 面 详 细 的 剖 析 下 这 两 种 技 术 实 现 方 案 的 原 理 。 基 于 代 理 基 于 代 理 基 于 基 于 h t t p / h t t p s 代 理 的 流 量 采 集 方 案 基 本 原 理 代 理 的 流 量 采 集 方 案 基 本 原 理 简 单 来 说 ， 所 谓 的 h t t p / h t t p s 流 量 代 理 劫 持 其 实 就 是 在 服 务 端 和 客 户 单 之 间 插 入 一 个 代 理 服 务 器 ， 通 过 代 理 服 务 器 ， 将 经 过 代 理 服 务 器 的 t c p 流 以 h t t p 报 文 格 式 解 析 ， 做 一 些 处 理 后 ， 然 后 再 通 过 s o c k e t 方 式 将 这 些 报 文 进 行 转 发 。 如 果 是 h t t p s 协 议 通 信 的 话 ， 则 需 要 通 过 自 签 名 / 商 业 的 c a 证 书 进 行 h t t p s 认 证 劫 持 ， 来 获 取 h t t p s 通 信 信 道 中 的 明 文 数 据 包 。 在 p y t h o n 中 ， 实 现 了 一 个 基 类 B a s e H T T P R e q u e s t H a n d l e r ， 用 于 将 t c p 流 数 据 解 析 为 h t t p   请 求 数 据 包 格 式 的 报 文 ， 这 是 p y t h o n 的 w e b s e r v e r 实 现 的 主 要 基 类 之 一 。 p y t h o n 中 可 通 过 重 写 B a s e H T T P R e q u e s t H a n d l e r 内 置 函 数 d o _ G E T ,   d o _ P O S T ,   d o _ P U T ,   d o _ H E A D ,   d o _ D E L E T E ,   d o _ O P T I O N S ,   来 对 这 些 方 法 对 应 的 h t t p 请 求 / 响 应 报 文 进 行 篡 改 ， 这 是 一 些 代 理 流 量 劫 持 的 基 本 操 作 。 这 里 我 们 要 进 行 漏 洞 检 测 的 话 ， 则 需 要 对 h t t p 请 求 对 报 文 进 行 一 些 处 理 。 由 于 我 们 需 要 同 时 测 试 非 常 多 的 漏 洞 插 件 ， 所 以 就 需 要 基 于 原 始 的 数 据 包 构 建 多 个 攻 击 数 据 包 ， 攻 击 数 据 包 的 数 量 取 决 于 插 件 的 数 量 。 h t t p s 流 量 代 理 实 现 示 意 图
如 图 所 示 ， 在 正 常 的 h t t p s 加 密 通 信 过 程 中 ， 客 户 端 首 先 向 服 务 端 发 送 一 个 携 带 了 加 密 方 法 的 h a s h ， 服 务 端 记 录 下 加 密 方 法 ， 并 返 回 相 应 的 证 书 和 公 钥 信 息 。 客 户 端 接 收 到 公 钥 之 后 ， 首 先 会 判 断 公 钥 和 证 书 的 有 效 性 ， 如 果 是 用 的 自 签 名 的 c a 证 书 ， 则 需 要 手 动 将 证 书 导 入 到 浏 览 器 中 ， 让 浏 览 器 信 任 该 证 书 ， 以 便 进 行 后 续 的 流 量 加 解 密 工 作 。 然 后 ， 浏 览 器 端 将 生 成 一 串 a e s 加 密 密 钥 ， 并 通 过 公 钥 进 行 加 密 发 送 给 h t t p s 服 务 端 ， h t t p s 服 务 端 通 过 私 钥 解 密 获 得 a e s 加 密 密 钥 ， 此 后 两 者 之 间 便 使 用 这 串 a e s 密 钥 进 行 数 据 的 加 解 密 通 信 。 而 我 们 如 果 需 要 劫 持 h t t p s 流 量 的 话 ， 则 需 要 破 解 这 个 h t t p s 证 书 认 证 过 程 。 那 么 如 何 破 解 这 个 认 证 过 程 呢 ？ 我 们 可 以 在 代 理 端 通 过 自 签 名 的 c a 证 书 做 中 间 人 劫 持 ， 具 体 的 做 法 是 让 流 向 s e r v e r 端 h t t p / h t t p s 流 量 首 先 经 过 代 理 端 ， 这 时 候 ， 代 理 端 主 要 做 两 件 事 ， 第 一 件 事 是 伪 造 h t t p s 服 务 端 身 份 ， 与 客 户 端 进 行 h t t p s 认 证 通 信 ， 第 二 件 事 是 伪 造 客 户 端 与 服 务 端 进 行 h t t p s 认 证 通 信 ， 通 过 这 个 两 层 欺 骗 ， 代 理 端 在 完 成 h t t p s 认 证 之 后 ， 便 获 得 了 此 后 用 于 数 据 包 加 解 密 的 a e s 密 钥 信 息 ， 便 可 对 往 来 的 数 据 包 进 行 加 解 密 。 这 部 分 具 体 的 原 理 及 劫 持 流 程 见 上 图 ， 基 于 获 取 的 明 文 数 据 包 ， 我 们 可 以 重 新 构 造 带 有 攻 击 性 p a y l o a d 的 数 据 包 ， 对 目 标 w e b 应 用 进 行 安 全 测 试 。 代 理 端 代 理 端 h t t p s 流 量 解 密 详 细 方 案 流 量 解 密 详 细 方 案 1 、 如 何 生 成 自 签 名 证 书 d e f   _ g e n _ c a ( s e l f , a g a i n = F a l s e ) :         #   G e n e r a t e   k e y         # 如 果 证 书 存 在 而 且 不 是 强 制 生 成 ， 直 接 返 回 证 书 信 息
2 、 自 签 名 证 书 在 h t t p s 加 解 密 中 的 作 用 0 x 1   为 什 么 要 配 置 自 签 名 证 书 在 上 文 h t t p s 流 量 代 理 实 现 示 意 图 中 我 们 可 以 知 道 ， 在 进 行 h t t p s 请 求 连 接 的 过 程 中 ， 服 务 端 需 要 下 发 证 书 给 客 户 端 ， 这 一 步 如 果 下 发 的 是 自 签 名 的 证 书 的 话 ， 客 户 端 浏 览 器 ( 如 c h r o m e ， f i r e f o x ) 会 默 认 不 信 任 自 签 名 的 证 书 ， 所 以 我 们 需 要 先 手 动 配 置 安 装 证 书 。 0 x 2   自 签 名 证 书 作 用 上 述 的 代 码 生 成 的 文 件 有 两 个 ， 一 个 是 c r t 证 书 文 件 ， 一 个 是 p e m 证 书 认 证 文 件 ， c r t 证 书 文 件 中 包 含 了 非 对 称 加 密 的 公 钥 信 息 ， p e m 证 书 认 证 文 件 中 既 包 含 了 公 钥 信 息 ， 又 包 含 了 私 钥 信 息 。 非 对 称 加 密 ， 如 上 文 h t t p s 流 量 代 理 实 现 示 意 图 中 所 述 ， 应 用 于 h t t p s 安 全 连 接 通 道 建 立 时 的 认 证 操 作 ， 即 代 理 端 ( h t t p s 服 务 端 ) 下 发 证 书 ， 浏 览 器 端 保 存 并 信 任 证 书 的 这 一 过 程 。 证 书 中 的 公 钥 信 息 用 于 后 续 的 对 称 加 密 密 钥 的 加 密 ， 服 务 端 中 的 私 钥 信 息 用 于 解 密 浏 览 器 端 发 来 的 对 称 加 密 密 钥 信 息 ， 以 实 现 后 续 的 加 密 通 信 。 3 、 具 体 应 用 ( 回 答 如 何 配 置 h t t p / h t t p s 代 理 进 行 被 动 式 安 全 扫 描 测 试 ) 代 理 端 实 现 h t t p s 流 量 解 密 可 以 采 用 自 签 名 证 书 方 案 或 商 业 证 书 方 案 ， 自 签 名 证 书 需 要 在 客 户 端 安 装 一 个 证 书 ， 让 浏 览 器 信 任 我 们 的 h t t p s 服 务 。 这 里 以 m a c 下 的 c h r o m e 浏 览 器 为 例 ， 演 示 如 何 进 行 证 书 安 装 : 0 x 1   配 置 代 理 用 到 的 工 具 有 c h r o m e 浏 览 器 和 s w i t c h y o m e g a   p r o x y 管 理 插 件 。 这 里 建 议 大 家 先 安 装 一 个 s w i t c h y o m e g a 代 理 管 理 软 件 ， 这 样 方 便 进 行 代 理 的 设 置 及 切 换 。 以 p r o x y 管 理 工 具 s w i t c h y o m e g a 为 例 ：         # 如 果 证 书 存 在 而 且 不 是 强 制 生 成 ， 直 接 返 回 证 书 信 息         i f   o s . p a t h . e x i s t s ( s e l f . c a _ f i l e _ p a t h )   a n d   o s . p a t h . e x i s t s ( s e l f . c e r t _ f i l e _ p a t h )   a n d   n o t   a g a i n :                 s e l f . _ r e a d _ c a ( s e l f . c a _ f i l e _ p a t h )   # 读 取 证 书 信 息                 r e t u r n         s e l f . k e y   =   P K e y ( )         s e l f . k e y . g e n e r a t e _ k e y ( T Y P E _ R S A ,   2 0 4 8 )         #   G e n e r a t e   c e r t i f i c a t e         s e l f . c e r t   =   X 5 0 9 ( )         s e l f . c e r t . s e t _ v e r s i o n ( 2 )         s e l f . c e r t . s e t _ s e r i a l _ n u m b e r ( 1 )         s e l f . c e r t . g e t _ s u b j e c t ( ) . C N   =   ' b a s e p r o x y '         s e l f . c e r t . g m t i m e _ a d j _ n o t B e f o r e ( 0 )         s e l f . c e r t . g m t i m e _ a d j _ n o t A f t e r ( 3 1 5 3 6 0 0 0 0 )         s e l f . c e r t . s e t _ i s s u e r ( s e l f . c e r t . g e t _ s u b j e c t ( ) )         s e l f . c e r t . s e t _ p u b k e y ( s e l f . k e y )         s e l f . c e r t . a d d _ e x t e n s i o n s ( [                 X 5 0 9 E x t e n s i o n ( b " b a s i c C o n s t r a i n t s " ,   T r u e ,   b " C A : T R U E ,   p a t h l e n : 0 " ) ,                 X 5 0 9 E x t e n s i o n ( b " k e y U s a g e " ,   T r u e ,   b " k e y C e r t S i g n ,   c R L S i g n " ) ,                 X 5 0 9 E x t e n s i o n ( b " s u b j e c t K e y I d e n t i f i e r " ,   F a l s e ,   b " h a s h " ,   s u b j e c t = s e l f . c e r t ) ,         ] )         s e l f . c e r t . s i g n ( s e l f . k e y ,   " s h a 2 5 6 " )         w i t h   o p e n ( s e l f . c a _ f i l e _ p a t h ,   ' w b + ' )   a s   f :                 f . w r i t e ( d u m p _ p r i v a t e k e y ( F I L E T Y P E _ P E M ,   s e l f . k e y ) )                 f . w r i t e ( d u m p _ c e r t i f i c a t e ( F I L E T Y P E _ P E M ,   s e l f . c e r t ) )         w i t h   o p e n ( s e l f . c e r t _ f i l e _ p a t h ,   ' w b + ' )   a s   f :                 f . w r i t e ( d u m p _ c e r t i f i c a t e ( F I L E T Y P E _ P E M ,   s e l f . c e r t ) )
0 x 2   导 入 证 书 在 c h r o m e 浏 览 器 的 设 置 中 搜 索 证 书 并 找 到 管 理 证 书 选 项 点 击 管 理 证 书 ， 进 入 证 书 管 理 页 面 。 如 下 图 所 示 ， 点 击 左 上 角 的 新 增 证 书 按 钮 将 我 们 的 自 签 名 证 书 添 加 到 c h r o m e 中 刚 添 加 到 证 书 c h r o m e 默 认 是 不 信 任 的 ， 需 要 手 动 设 置 始 终 信 任 ， 如 下 图 所 示 ， 右 键 选 中 导 入 的 自 签 名 证 书 ， 设 置 为 信 任 ， 这 样 以 来 客 户 端 的 c h r o m e 浏 览 器 在 后 续 建 立 h t t p s 连 接 的 过 程 中 就 会 信 任 我 们 的 代 理 服 务 端 下 发 的 证 书 文 件 :
0 x 3   h t t p s 流 量 解 密 测 试 这 里 我 们 以 访 问 h t t p s : / / w w w . b a i d u . c o m 为 例 , 可 以 看 到 如 下 信 息 ， 代 理 端 已 经 对 发 往 h t t p s : / / w w w . b a i d u . c o m 的 h t t p s 数 据 包 进 行 了 解 密 。 基 于 基 于 n g i n x   m i r r o r 模 块 模 块 基 于 基 于 n g i n x   m i r r o r 模 块 的 流 量 采 集 方 案 基 本 原 理 模 块 的 流 量 采 集 方 案 基 本 原 理 当 然 ， 流 量 的 收 集 不 仅 仅 可 以 通 过 代 理 流 量 的 方 式 ， 也 可 以 通 过 n g i n x   m i r r o r 模 块 ， 。 在 基 于 n g i n x   m i r r o r 模 块 的 流 量 采 集 方 案 中 ， 我 们 将 通 过 以 下 步 骤 来 实 现 对 目 标 系 统 的 流 量 采 集 ： 1 、 配 置 n g i n x 配 置 文 件 ， 增 加 配 置 一 个 m i r r o r 服 务 器 ， 指 定 b a c k e n d 地 址 为 我 们 魔 改 的 一 个 w e b s e r v e r 地 址 。 这 样 一 来 ， n g i n x 就 会 在 请 求 到 来 的 时 候 ， 镜 像 一 份 原 始 的 h t t p 请 求 包 ， 并 将 请 求 转 发 到 m i r r o r   服 务 器 。 2 、 在 m i r r o r 服 务 器 上 将 这 些 h t t p 请 求 数 据 包 进 行 解 析 ， 解 析 出 明 文 请 求 数 据 包 后 再 将 这 些 请 求 数 据 包 p u s h 到 消 息 队 列 中 进 行 任 务 分 发 。 实 验 验 证 基 于 实 验 验 证 基 于 n g i n x   m i r r o r 模 块 进 行 流 量 收 集 的 可 行 性 模 块 进 行 流 量 收 集 的 可 行 性 为 了 验 证 这 个 思 路 的 可 行 性 ， 我 们 来 做 一 个 实 验 。 这 里 ， 我 们 需 要 搭 建 一 个 支 持 m i r r o r 模 块 的 n g i n x 服 务 器 ， 搭 建 过 程 就 不 再 赘 述 ， 读 者 可 自 行 搭 建 。 下 面 我 们 开 始 实 验 ， 首 先 我 们 在 服 务 器 a ( 1 9 2 . 1 6 8 . 1 . 1 0 ) 上 安 装 并 配 置 好 n g i n x ， 在 服 务 器 1 9 2 . 1 6 8 . 1 . 1 1 上 安 装 并 配 置 好 我 们 魔 改 后 的 w e b s e r v e r ， 这 个 魔 改 的 w e b s e r v e r 负 责 解 析 n g i n x 转 发 过 来 的 h t t p 数 据 包 ， 并 将 解 析 后 的 h t t p 数 据 包 p u s h 到 消 息 队 列 中 。 服 务 器 a 中 的 n g i n x 配 置 文 件 如 下 ： w o r k e r _ p r o c e s s e s   1 ; e v e n t s   {     w o r k e r _ c o n n e c t i o n s   1 0 2 4 ; }
简 单 的 解 释 下 上 述 的 配 置 信 息 。 在 n g i n x . c o n f 配 置 中 ， 配 置 启 动 三 个 s e r v e r 实 例 ， 8 0 端 口 的 s e r v e r 负 责 转 发 原 始 请 求 数 据 包 到 8 1 8 1 和 8 2 8 2 端 口 ， 8 1 8 1 端 口 h t t p 服 务 负 责 将 原 始 请 求 转 发 给 w e b 后 端 ， 8 2 8 2 端 口 h t t p 服 务 负 责 将 m i r r o r 的 请 求 包 转 发 到 其 他 的 w e b s e r v e r ( 基 于 p y t h o n 的 B a s e H T T P R e q u e s t H a n d l e r 修 改 实 现 的 w e b s e r v e r ) 。 配 置 完 毕 后 我 们 启 动 n g i n x ， 并 且 在 h t t p 服 务 更 目 录 下 执 行 以 下 命 令 创 建 实 验 所 需 的 一 些 文 件 ： 下 面 我 们 执 行 c u r l 命 令   c u r l   h t t p : / / 1 2 7 . 0 . 0 . 1 / i n d e x . h t m l 执 行 完 这 个 命 令 之 后 ， 我 们 期 望 的 结 果 是 ， 在 / v a r / l o g / n g i n x / m i r 1 . l o g 和 / v a r / l o g / n g i n x / t e s t . l o g 中 都 有 相 应 的 访 问 记 录 ， 这 说 明 ， n g i n x 成 功 地 将 流 量 m i r r o r 了 一 份 ， 并 分 别 转 发 给 了 8 2 8 2 和 8 1 8 1 端 口 对 应 的 h t t p 服 务 。 下 面 我 们 t a i l 一 下 看 看 实 际 的 访 问 结 果 } h t t p   {     i n c l u d e         m i m e . t y p e s ;     d e f a u l t _ t y p e   a p p l i c a t i o n / o c t e t - s t r e a m ;     s e n d f i l e         o n ;     k e e p a l i v e _ t i m e o u t   6 5 ;     s e r v e r   {         l i s t e n   8 1 8 1 ;         m i r r o r _ r e q u e s t _ b o d y   o n ;         a c c e s s _ l o g   / v a r / l o g / n g i n x / t e s t . l o g ;         r o o t   h t m l / t e s t ;     }     s e r v e r   {         m i r r o r _ r e q u e s t _ b o d y   o n ;         l i s t e n   8 2 8 2 ;         a c c e s s _ l o g   / v a r / l o g / n g i n x / m i r 1 . l o g ;         r o o t   h t m l / m i r 1 ;     }     u p s t r e a m   b a c k e n d   {         s e r v e r   1 2 7 . 0 . 0 . 1 : 8 1 8 1 ;     }     u p s t r e a m   t e s t _ b a c k e n d 1   {         s e r v e r   1 9 2 . 1 6 8 . 1 . 1 1 : 9 0 0 8 ;         # 如 果 需 要 做 负 载 均 衡 ， 多 配 置 一 些 b a c k e n d         # s e r v e r   1 9 2 . 1 6 8 . 1 . 1 2 : 9 0 0 8 ;         # s e r v e r   1 9 2 . 1 6 8 . 1 . 1 3 : 9 0 0 8 ;     }     s e r v e r   {         l i s t e n   8 0 ;         s e r v e r _ n a m e   l o c a l h o s t ;         m i r r o r _ r e q u e s t _ b o d y   o n ;         l o c a t i o n   /   {             m i r r o r   / m i r r o r 1 ;             p r o x y _ p a s s   h t t p : / / b a c k e n d ;         }         l o c a t i o n   =   / m i r r o r 1   {             # i n t e r n a l ;             p r o x y _ p a s s   h t t p : / / t e s t _ b a c k e n d 1 $ r e q u e s t _ u r i ;         }     } } c d   / u s r / s h a r e / n g i n x / h t m l / m k d i r   t e s t   m i r 1 e c h o   " t e s t   p a g e "   > t e s t / i n d e x . h t m l
没 错 ， 一 切 正 如 开 始 所 料 ， 从 a c c e s s 日 志 来 看 ， 已 经 成 功 对 m i r r o r 服 务 器 转 发 来 h t t p 请 求 数 据 包 进 行 接 收 和 解 析 。 这 里 我 们 给 出 一 个 简 单 的 实 例 ： 启 动 该 服 务 之 后 ， 即 可 接 收 来 自 m i r r o r 服 务 器 转 发 来 的 h t t p 请 求 数 据 包 。 这 里 我 们 通 过 重 写 d o _ G E T 及 d o _ P O S T 函 数 来 对 请 求 的 数 据 包 进 行 解 析 和 打 印 。 实 验 效 果 如 下 ： f r o m   h t t p . s e r v e r   i m p o r t   H T T P S e r v e r ,   B a s e H T T P R e q u e s t H a n d l e r i m p o r t   j s o n c l a s s   R e s q u e s t ( B a s e H T T P R e q u e s t H a n d l e r ) :         d e f   h a n d l e r ( s e l f ) :                 p r i n t ( " d a t a : " ,   s e l f . r f i l e . r e a d l i n e ( ) . d e c o d e ( ) )                 s e l f . w f i l e . w r i t e ( s e l f . r f i l e . r e a d l i n e ( ) )         d e f   d o _ G E T ( s e l f ) :                 p r i n t ( s e l f . r e q u e s t l i n e )                 p r i n t ( s e l f . h e a d e r s )                 d a t a   =   {                         " s t a t u s " : 2 0 0 ,                         " i n f o " : " t e s t "                 }                 s e l f . s e n d _ r e s p o n s e ( 2 0 0 )                 s e l f . s e n d _ h e a d e r ( ' C o n t e n t - t y p e ' ,   ' a p p l i c a t i o n / j s o n ' )                 s e l f . e n d _ h e a d e r s ( )                 s e l f . w f i l e . w r i t e ( j s o n . d u m p s ( d a t a ) . e n c o d e ( ) )         d e f   d o _ P O S T ( s e l f ) :                 p r i n t ( s e l f . r e q u e s t l i n e )                 p r i n t ( s e l f . h e a d e r s )                 r e q _ d a t a s   =   s e l f . r f i l e . r e a d ( i n t ( s e l f . h e a d e r s [ ' c o n t e n t - l e n g t h ' ] ) )                 p r i n t ( r e q _ d a t a s . d e c o d e ( ) )                 d a t a   =   {                         " s t a t u s " : 2 0 0 ,                         " i n f o " : " t e s t "                 }                 s e l f . s e n d _ r e s p o n s e ( 2 0 0 )                 s e l f . s e n d _ h e a d e r ( ' C o n t e n t - t y p e ' ,   ' a p p l i c a t i o n / j s o n ' )                 s e l f . e n d _ h e a d e r s ( )                 s e l f . w f i l e . w r i t e ( j s o n . d u m p s ( d a t a ) . e n c o d e ( ' u t f - 8 ' ) ) i f   _ _ n a m e _ _   = =   ' _ _ m a i n _ _ ' :         h o s t   =   ( ' 0 . 0 . 0 . 0 ' ,   9 0 0 8 )         s e r v e r   =   H T T P S e r v e r ( h o s t ,   R e s q u e s t )         p r i n t ( " S t a r t i n g   s e r v e r ,   l i s t e n   a t :   % s : % s "   %   h o s t )         s e r v e r . s e r v e _ f o r e v e r ( )
p o s t 数 据 包 效 果 信 息 如 下 ( c u r l   - X   P O S T   - d   ‘ n a m e = 张 三 ’   h t t p : / / l o c a l h o s t / a p i / b a s i c ) 这 个 过 程 可 以 用 以 下 示 意 图 表 示 ： 但 是 ， 通 过 n g i n x   m i r r o r 模 块 收 集 流 量 的 话 ， 只 能 针 对 企 业 内 部 接 入 n g i n x 的 项 目 ， 而 如 果 希 望 检 测 下 未 接 入 n g i n x 的 项 目 ， 或 者 网 上 其 他 的 一 些 w e b 站 点 ， 则 还 需 要 使 用 代 理 模 式 。 这 两 者 之 间 还 是 有 互 补 的 ， n g i n x 方 面 可 以 解 决 配 置 代 理 的 麻 烦 和 证 书 的 麻 烦 ( 当 然 n g i n x 本 身 也 需 要 配 置 h t t p s 证 书 ) ， 而 代 理 模 式 可 以 让 被 动 式 漏 洞 扫 描 系 统 的 作 用 范 围 更 大 一 些 。 但 就 企 业 内 部 来 说 ， 基 于 n g i n x   m i r r o r 模 块 的 流 量 收 集 方 案 在 自 动 化 方 面 会 相 对 比 较 有 优 势 一 些 。 三 、 分 布 式 漏 洞 检 测 框 架 实 现 方 案 三 、 分 布 式 漏 洞 检 测 框 架 实 现 方 案
上 文 讲 解 了 基 于 h t t p / h t t p s 代 理 流 量 劫 持 的 基 本 原 理 ， 那 么 如 何 据 此 开 发 一 款 被 动 式 漏 洞 检 测 系 统 呢 ？ 而 我 们 又 需 要 考 虑 到 哪 些 问 题 呢 ？ 在 大 规 模 的 被 动 式 漏 洞 扫 描 的 场 景 下 ， 往 往 会 有 大 量 的 流 量 被 转 发 到 代 理 服 务 器 上 ， 如 果 没 有 进 行 架 构 上 的 合 理 设 计 ， 那 么 代 理 服 务 器 很 可 能 会 陷 入 数 据 包 泛 洪 的 困 境 ， 类 似 于 d o s 攻 击 ( p s : 要 进 行 漏 洞 检 测 ， 必 然 要 构 造 请 求 数 据 包 ， 设 想 一 下 ， 如 果 是 5 0 0 个 漏 洞 检 测 插 件 ， 那 么 针 对 每 一 个 请 求 过 来 代 理 服 务 器 就 得 转 发 至 少 5 0 0 个 h t t p 请 求 包 给 目 标 w e b s e r v e r ， 倘 若 没 有 进 行 妥 善 的 处 理 ， 这 是 一 件 非 常 恐 怖 的 事 情 ) 。 那 么 如 何 处 理 这 个 问 题 呢 ？ 下 面 是 我 们 设 计 的 基 于 代 理 流 量 的 被 动 式 漏 洞 扫 描 器 的 原 理 示 意 图 ， 我 们 将 基 于 此 做 进 一 步 的 讨 论 。 基 于 代 理 流 量 的 分 布 式 漏 洞 检 测 框 架 设 计 基 于 代 理 流 量 的 分 布 式 漏 洞 检 测 框 架 设 计 在 基 于 代 理 的 被 动 流 量 收 集 方 案 中 ， 用 户 通 过 在 c h r o m e 端 配 置 h t t p s / h t t p 代 理 ， 让 流 量 首 先 走 向 我 们 的 代 理 服 务 器 ， 代 理 服 务 器 端 将 原 始 数 据 包 p u s h 到 r e d i s 消 息 队 列 中 ， 进 行 任 务 分 发 ， s l a v e   w o r k e r s 监 听 r e d i s 消 息 队 列 ， 并 通 过 抢 占 式 方 法 获 取 到 任 务 信 息 ， 加 载 漏 洞 检 测 插 件 ， 向 服 务 端 发 送 带 有 攻 击 p a y l o a d 的 请 求 数 据 包 ， 进 行 漏 洞 检 测 分 析 。 另 一 方 面 代 理 服 务 端 也 会 将 原 始 的 请 求 包 转 发 到 服 务 端 ， 以 便 让 用 户 端 获 得 期 望 的 请 求 结 果 。 在 性 能 方 面 的 优 化 方 面 ， 一 方 面 可 以 通 过 适 当 的 s l e e p 将 这 些 h t t p 攻 击 数 据 包 分 批 次 进 行 发 送 ， 另 一 方 面 可 以 通 过 分 布 式 的 方 式 来 减 轻 自 身 的 漏 洞 检 测 分 析 服 务 器 的 负 担 。 基 于 基 于 n g i n x   m i r r o r 模 块 的 分 布 式 漏 洞 检 测 框 架 设 计 模 块 的 分 布 式 漏 洞 检 测 框 架 设 计 基 于 n g i n x   m i r r o r 模 块 的 被 动 流 量 收 集 方 案 中 ， 通 过 配 置 m i r r o r   s e r v e r 镜 像 一 份 原 始 请 求 流 量 ， 并 将 镜 像 的 流 量 转 发 到 a e a c u s   服 务 器 ， 以 便 对 h t t p 流 量 进 行 解 析 ， 并 将 解 析 后 到 h t t p 请 求 报 文 信 息 p u s h 到 消 息 队 列 中 。 而 后 s l a v e   w o r k e r s 通 过 监 听 r e d i s 消 息 队 列 ， 并 通 过 强 占 式 方 法 获 取 到 任 务 信 息 ， 加 载 漏 洞 检 测 插 件 ， 向 服 务 端 发 送 带 有 攻 击 p a y l o a d 的 请 求 数 据 包 ， 进 行 漏 洞 检 测 分 析 。 基 于 n g i n x   m i r r o r 模 块 的 被 动 式 流 量 收 集 方 面 ， 可 以 从 以 下 两 个 方 面 进 行 性 能 优 化 。 一 方 面 针 对 大 量 的 并 发 请 求 ， 可 通 过 配 置 n g i n x 负 载 均 衡 方 式 ， 将 这 些 请 求 平 均 分 配 给 各 个 m i r r o r 服 务 器 ， 这 样 每 个 m i r r o r 服 务 器 处 理 的 任 务 就 会 相 对 少 一 些 ， 可 根 据 实 际 的 业 务 量 来 增 减 m i r r o r 服 务 器 的 数 量 ， 另 一 方 面 为 减 轻 各 个 s l a v e   w o r k e r 的 漏 洞 分 析 压 力 ， 可 根 据 实 际 情 况 拓 展 分 布 式 任 务 节 点 的 数 量 。 当 然 ， 重 要 的 一 点 是 要 对 数 据 包 进 行 去 重 处 理 ， 否 则 会 增 加 任 务 节 点 的 检 测 压 力 。 脏 数 据 解 决 方 案 讨 论 脏 数 据 解 决 方 案 讨 论
在 进 行 被 动 式 漏 洞 分 析 检 测 过 程 中 ， 如 果 某 些 p o s t 请 求 数 据 包 具 有 存 储 功 能 的 话 ， 那 么 大 量 的 带 有 攻 击 性 的 数 据 包 ， 无 疑 会 带 来 大 量 的 脏 数 据 ， 这 也 是 很 多 安 全 人 员 在 推 一 些 安 全 检 测 产 品 的 时 候 比 较 经 常 考 虑 的 一 个 问 题 。 本 人 在 推 的 时 候 也 担 心 因 为 这 个 问 题 会 受 阻 碍 ， 但 其 实 被 动 式 漏 洞 检 测 系 统 主 要 是 接 在 t e s t 环 境 中 的 ， 脏 数 据 影 响 面 比 较 小 ， 几 乎 可 忽 略 不 计 。 如 果 测 试 方 面 觉 得 大 量 的 脏 数 据 会 影 响 测 试 的 效 果 ， 那 么 这 里 我 们 不 妨 讨 论 下 如 何 处 理 测 试 过 程 中 产 生 的 脏 数 据 问 题 。 网 上 有 些 同 学 的 解 决 方 案 是 对 一 些 可 能 涉 及 存 储 的 接 口 进 行 一 些 过 滤 ， 不 过 个 人 觉 得 这 个 得 慎 重 考 虑 ， 因 为 你 无 法 保 证 这 些 接 口 没 有 存 在 漏 洞 ， 容 易 造 成 漏 报 。 而 如 果 不 想 脏 数 据 误 导 测 试 同 学 的 话 ， 可 以 在 p a y l o a d 中 插 入 特 定 的 识 别 码 ， 以 便 测 试 同 学 辨 认 。 但 是 我 觉 得 最 好 的 方 法 是 将 安 全 检 测 排 在 测 试 环 节 之 后 ， 在 测 试 环 节 中 只 进 行 流 量 的 收 集 而 不 进 行 安 全 检 测 分 析 ， 等 测 试 同 学 确 保 功 能 测 试 没 问 题 之 后 ， 再 通 过 向 检 测 服 务 端 发 送 相 应 的 检 测 指 令 ， 进 行 安 全 检 测 分 析 。 四 、 插 件 模 块 设 计 四 、 插 件 模 块 设 计 1 、 支 持 动 态 加 载 的 指 纹 识 别 模 块 、 支 持 动 态 加 载 的 指 纹 识 别 模 块 0 x 1   指 纹 识 别 模 块 加 载 执 行 流 程 图 示 意 图 2 、 支 持 动 态 加 载 的 漏 洞 检 测 模 块 、 支 持 动 态 加 载 的 漏 洞 检 测 模 块 0 x 0   a e a c u s 漏 洞 检 测 模 块 动 态 插 件 加 载 原 理 说 明 插 件 加 载 在 扫 描 作 业 的 初 始 化 阶 段 进 行 ， 通 过 p y t h o n 中 的 动 态 导 入 模 块 技 术 ， 将 指 定 文 件 中 的 模 块 导 入 到 当 前 进 程 中 ， 然 后 对 导 入 到
回复

举报

高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

使用Markdown编辑器编辑 使用富文本编辑器编辑

Archiver| 手机版| 小黑屋|
Powered by Discuz! X3.4 Copyright © 2001-2020, Tencent Cloud. 商业源码建议获取授权，如侵犯您的权益，请联系客服处理