搜索

[13264] 2018-10-04_自动化Web渗透Payload提取技术

文档创建者：s7ckTeam
浏览次数：119
最后更新：2025-01-18
2018-10-04_自动化Web渗透Payload提取技术 自 动 化 W e b 渗 透 P a y l o a d 提 取 技 术 z h a n g h a o y i l   F r e e B u f   2 0 1 8 - 1 0 - 0 4 本 文 仅 作 技 术 讨 论 ， 禁 止 用 于 其 他 非 法 用 途 本 文 仅 作 技 术 讨 论 ， 禁 止 用 于 其 他 非 法 用 途 0 x 0   写 在 前 面 写 在 前 面 做 做 W e b 安 全 已 经 三 四 年 了 ， 从 最 初 的 小 白 到 今 天 的 初 探 门 路 ， 小 鲜 肉 已 经 熬 成 了 油 腻 大 叔 。 安 全 已 经 三 四 年 了 ， 从 最 初 的 小 白 到 今 天 的 初 探 门 路 ， 小 鲜 肉 已 经 熬 成 了 油 腻 大 叔 。 W e b 安 全 是 一 个 日 安 全 是 一 个 日 新 月 异 的 朝 阳 领 域 ， 每 天 的 互 联 网 上 都 在 发 生 着 从 未 暴 露 的 新 月 异 的 朝 阳 领 域 ， 每 天 的 互 联 网 上 都 在 发 生 着 从 未 暴 露 的 0   D a y 和 和 N   D a y 攻 击 。 这 时 一 个 大 家 都 意 识 到 的 重 要 攻 击 。 这 时 一 个 大 家 都 意 识 到 的 重 要 问 题 就 浮 出 水 面 了 ： 如 何 能 从 海 量 问 题 就 浮 出 水 面 了 ： 如 何 能 从 海 量 W e b 访 问 日 志 中 把 那 一 小 撮 异 常 请 求 捞 出 来 ， 供 安 全 人 员 分 析 或 进 行 自 动 化 访 问 日 志 中 把 那 一 小 撮 异 常 请 求 捞 出 来 ， 供 安 全 人 员 分 析 或 进 行 自 动 化 实 时 阻 断 和 报 警 ？ 实 时 阻 断 和 报 警 ？ 对 于 这 个 问 题 ， 传 统 的 方 法 是 利 用 传 统 的 传 统 的 W A F （ 无 机 器 学 习 引 擎 ） ， 进 行 规 则 匹 配 规 则 匹 配 。 传 统 W A F 有 其 存 在 的 意 义 ， 但 也 有 其 掣 肘 。 首 先 ， 安 全 从 业 人 员 都 懂 ， 基 于 黑 名 单 的 防 御 往 往 存 在 各 种 被 绕 过 的 风 险 ， 看 看 安 全 论 坛 里 各 式 花 样 打 狗 （ 安 全 狗 ） 秘 籍 就 可 见 一 斑 。 其 次 ， 传 统 W A F 只 能 发 现 已 知 的 安 全 攻 击 行 为 或 类 型 ， 对 于 新 出 现 的 攻 击 存 在 更 新 延 迟 ， 维 护 上 也 有 比 较 大 的 成 本 。 我 认 为 这 些 问 题 都 源 于 一 个 现 实 — — 传 统 W A F 不 能 对 其 保 护 的 网 站 进 行 建 模 ， 因 此 只 能 基 于 已 知 规 则 ， 对 各 式 各 样 的 W e b 系 统 进 行 统 一 的 无 差 别 无 差 别 的 保 护 。 近 年 来 ， 机 器 学 习 （ 包 括 深 度 学 习 ） 高 调 闯 入 人 们 的 视 野 ， 也 逐 步 应 用 在 了 信 息 安 全 领 域 。 基 于 机 器 学 习 的 W A F 相 关 论 文 和 文 章 也 看 了 一 些 ， 似 乎 大 家 都 主 要 应 用 了 有 监 督 机 器 学 习 ， 也 都 提 到 了 一 个 问 题 ： 有 标 记 的 攻 击 数 据 集 （ 黑 样 本 ） 难 于 大 量 获 取 。 而 一 小 波 提 出 无 监 督 异 常 检 测 思 路 的 文 章 ， 又 会 遇 到 精 确 度 低 的 问 题 。 针 对 这 些 问 题 ， 我 决 定 先 进 行 一 些 分 解 。 既 然 直 接 预 测 整 个 请 求 是 否 是 攻 击 很 难 做 到 可 接 受 的 准 确 率 ， 不 妨 就 先 把 异 常 的 攻 击 P a y l o a d 找 出 来 。 找 出 来 后 ， 就 可 以 用 来 进 行 精 准 的 攻 击 分 析 ， 还 可 以 帮 助 优 化 W A F 规 则 等 。 本 文 所 述 的 技 术 最 大 的 优 势 是 无 监 督 ， 无 需 先 验 规 则 即 可 自 动 提 取 异 常 P a y l o a d 。 项 目 G i t H u b ：   h t t p s : / / g i t h u b . c o m / z h a n g h a o y i l / H a w k - I   （ 不 断 完 善 中 ， 欢 迎 贡 献 代 码 ） 0 x 1   思 路 思 路 要 把 异 常 参 数 找 出 来 ， 最 显 而 易 见 要 解 决 的 问 题 就 是 如 何 量 化 请 求 中 各 参 数 的 异 常 程 度 。 为 了 最 大 化 利 用 日 志 中 蕴 含 的 需 要 保 护 的 W e b 系 统 自 身 的 结 构 信 息 ， 我 决 定 对 请 求 按 访 问 路 径 进 行 拆 解 ， 即 分 析 参 数 参 数 v a l u e 在 同 路 径 同 参 数 在 同 路 径 同 参 数 K e y 的 其 他 参 数 值 中 的 异 常 程 度 的 其 他 参 数 值 中 的 异 常 程 度 。 具 体 算 法 步 骤 是 ： 1 ）   基 于 T F - I D F 对 不 同 路 径 下 的 样 本 分 别 进 行 特 征 向 量 化 ， 按 参 数 维 度 对 特 征 向 量 进 行 汇 聚 汇 聚 。 2 ）   基 于 特 征 向 量 提 取 出 样 本 参 数 在 同 路 径 同 参 数 K e y 的 其 他 参 数 值 中 异 常 分 数 A S （ A n o m a l y   S c o r e ） 。
3 ）   设 置 阈 值 T ， 取 出 A S 大 于 T 的 异 常 参 数 值 作 为 输 出 。 0 x 2   数 据 集 及 预 处 理 数 据 集 及 预 处 理 本 文 使 用 H T T P   C S I C   2 0 1 0 数 据 集 。 该 数 据 集 由 西 班 牙 最 高 科 研 理 事 会 C S I C 在 论 文 A p p l i c a t i o n   o f   t h e   G e n e r i c   F e a t u r e S e l e c t i o n   M e a s u r e   i n   D e t e c t i o n   o f   W e b   A t t a c k s 中 作 为 附 件 给 出 的 ， 是 一 个 电 子 商 务 网 站 的 访 问 日 志 ， 包 含 3 6 0 0 0 个 正 常 请 求 和 2 5 0 0 0 多 个 攻 击 请 求 。 异 常 请 求 样 本 中 包 含 S Q L 注 入 、 文 件 遍 历 、 C R L F 注 入 、 X S S 、 S S I 等 攻 击 样 本 。 数 据 集 下 载 链 接 ： h t t p : / / w w w . i s i . c s i c . e s / d a t a s e t /   。 在 本 项 目 G i t h u b 中 也 准 备 好 了 。 H T T P   C S I C   2 0 1 0 数 据 集 单 个 样 本 为 如 下 格 式 ： 根 据 观 察 ， 该 数 据 集 除 路 径 （ U R I ） 和 参 数 外 其 他 H e a d e r 无 任 何 攻 击 P a y l o a d ， 具 有 很 多 冗 余 信 息 。 因 此 对 该 数 据 集 进 行 格 式 化 ， 只 保 留 H T T P 方 法 、 路 径 和 参 数 ， 转 为 J S O N 格 式 方 便 后 面 使 用 。 具 体 进 行 了 如 下 预 处 理 ， 具 体 代 码 见 d a t a / p a r s e . p y ： 1 ）   去 除 冗 余 信 息 。 2 ）   执 行 迭 代 的 u r l d e c o d e 。 3 ）   生 成 标 准 化 的 参 数 ， 将 大 小 写 字 母 、 数 字 分 别 转 换 为 a 和 n 。 同 时 保 留 原 始 参 数 和 标 准 化 的 参 数 ， 用 于 最 终 的 P a y l o a d 提 取 。
0 x 3   实 现 实 现 根 据 算 法 步 骤 ， 项 目 主 要 分 为 向 量 化 和 参 数 异 常 评 估 和 异 常 P a y l o a d 提 取 两 部 分 。 0 x 3 a   向 量 化 和 参 数 异 常 分 数 向 量 化 和 参 数 异 常 分 数 一 个 W e b 访 问 记 录 的 成 分 是 比 较 固 定 的 ， 每 个 部 分 （ 方 法 、 路 径 、 参 数 、 H T T P 头 、 C o o k i e 等 ） 都 有 比 较 好 的 结 构 化 特 点 。 因 此 可 以 把 W e b 攻 击 识 别 任 务 抽 象 为 文 本 分 类 任 务 ， 而 且 这 种 思 路 应 用 在 了 安 全 领 域 ， 如 有 监 督 的 攻 击 识 别 [ 1 ] 、   X S S 识 别 [ 2 ]   等 。 文 本 分 类 任 务 中 常 用 的 向 量 化 手 段 有 词 袋 模 型 （ B a g   o f   W o r d ， B O W ） 、 T F - I D F 模 型 、 词 向 量 化 （ w o r d 2 v e c ） 等 ， 兜 哥 的 文 章 [ 3 ] 已 经 做 了 详 细 的 讲 解 。 经 过 对 W e b 日 志 特 点 的 分 析 ， 本 文 认 为 使 用 T F - I D F 来 对 样 本 进 行 向 量 化 效 果 更 好 。 一 是 经 过 标 准 化 后 请 求 参 数 的 值 仍 会 有 非 常 多 的 可 能 性 ， 这 种 情 况 下 词 袋 模 型 生 成 的 特 征 向 量 长 度 会 非 常 大 ， 而 且 没 法 收 缩 ； 二 是 每 个 请 求 中 参 数 个 数 有 大 有 小 ， 绝 大 多 数 不 超 过 1 0 个 ， 这 个 时 候 词 向 量 能 表 达 的 信 息 非 常 有 限 ， 并 不 能 反 映 出 参 数 v a l u e 的 异 常 性 ； 三 是 T F - I D F 可 以 表 达 出 不 同 请 求 同 一 参 数 的 值 是 否 更 有 特 异 性 ， 尤 其 是 I D F 项 。 举 个 例 子 ，   h t t p : / / i p . t a o b a o . c o m / i p S e a r c h . h t m l ? i p A d d r = 8 . 8 . 8 . 8   是 一 个 查 询 I P 详 细 信 息 的 页 面 （ 真 实 存 在 ） ， 在 某 一 段 时 间 内 收 到 了 1 0 0 0 0 个 请 求 ， 其 中 9 9 9 0 个 请 求 中 i p A d d r 参 数 值 是 符 合 x x . x x . x x . x x 这 个 I P 的 格 式 的 ， 通 过 0 x 2 中 提 到 的 标 准 化 之 后 ， 也 就 是 9 9 9 0 个 请 求 的 i p A d d r 参 数 为 n + . n + . n + . n +   （ 当 然 这 里 做 了 简 化 ， 数 字 不 一 定 为 多 位 ） 。 此 外 有 1 0 个 请 求 的 i p A d d r 是 形 如 、 之 类 的 不 同 的 攻 击 P a y l o a d 。 经 过 T F - I D F 向 量 化 后 ， 那 9 9 0 0 个 请 求 i p A d d r = n + . n + . n + . n + 这 一 项 的 T F - I D F 值 ： T F - I D F   n o r m a l   =   T F   I D F   =   1   l o g ( 1 0 0 0 0 / ( 9 9 9 0 + 1 ) )   =   0 . 0 0 1 而 出 现 i p A d d r = 的 请 求 的 T F - I D F 值 ： T F - I D F   a b n o r m a l   =   T F   I D F   =   1   l o g ( 1 0 0 0 0 / ( 1 + 1 ) )   =   8 . 5 1 7 可 以 看 出 异 常 请 求 参 数 v a l u e 的 T F - I D F 是 远 大 于 正 常 请 求 的 ， 因 此 T F - I D F 可 以 很 好 地 反 映 出 参 数 v a l u e 的 异 常 程 度 。 熟 悉 T F - I D F 的 同 学 一 定 有 疑 问 了 ， 你 这 T F - I D F 的 字 典 也 会 很 大 呀 ， 如 果 样 本 量 很 大 而 且 有 各 式 各 样 的 参 数 v a l u e ， 你 的 特 征 向 量 岂 不 是 稀 疏 得 不 行 了 ？ 对 于 这 个 问 题 ， 我 有 一 个 解 决 方 案 ， 也 就 是 将 所 有 的 T F - I D F 进 一 步 加 以 处 理 ， 对 参 数 k e y 相 同 的 T F - I D F 项 进 行 求 和 。 设 参 数 k e y 集 合 为 K = { k 1 ,   k 2 ,   … ,   k n } ， T F - I D F 字 典 为 集 合 x = { x 1 ,   x 2 ,   … ,   x m } 。 则 每 个 参 数 k e y 的 特 征 值 为 ： a l e r t ( ' X S S ' ) ' o r   ' 1 '   =   ' 1 a l e r t ( ' X S S ' )
v n   =   ∑ T F - I D F x n   x n ∈ { x   |   x   s t a r t s w i t h   ‘ k n = ’ } 具 体 代 码 在 v e c t o r i z e / v e c t o r i z e r . p y 中 ： 这 些 特 征 向 量 能 否 充 分 反 映 样 本 的 异 常 性 呢 ？ 我 使 用 未 调 参 的 随 机 森 林 模 型 进 行 验 证 ， 得 到 了 大 于 9 5 % 准 确 率 的 结 果 ， 比 较 满 意 。 下 图 是 模 型 学 习 曲 线 ， 可 以 看 出 仍 处 于 欠 训 练 的 状 态 ， 如 果 样 本 量 更 充 足 的 话 将 会 得 到 更 好 的 效 果 。
由 于 本 文 所 述 方 法 旨 在 使 用 无 监 督 学 习 提 取 异 常 参 数 ， 并 不 用 纠 结 于 有 监 督 分 类 的 结 果 ， 只 要 验 证 了 提 取 的 特 征 的 确 可 以 反 映 出 参 数 的 异 常 性 即 可 。 0 x 3 b   异 常 参 数 值 提 取 异 常 参 数 值 提 取 得 到 参 数 值 的 异 常 分 数 下 面 的 工 作 就 简 单 多 了 ， 主 要 就 是 ： 1 ） 数 据 的 标 准 化 （ S t a n d a r d i z a t i o n ） 2 ） 根 据 阈 值 确 定 异 常 参 数 3 ） 根 据 异 常 分 数 在 训 练 集 矩 阵 的 位 置 提 取 对 应 的 参 数 值 这 部 分 没 有 什 么 特 别 的 逻 辑 ， 直 接 看 代 码 吧 ： 提 取 结 果 ：



可 以 看 到 ， 至 此 已 经 把 异 常 参 数 值 提 取 出 来 了 ， 包 括 S Q L 注 入 、 X S S 、 命 令 注 入 、 C R L F 注 入 、 文 件 包 含 等 典 型 的 攻 击 P a y l o a d 。 0 x 4   后 续 计 划 后 续 计 划 这 篇 文 章 算 是 我 在 信 息 安 全 领 域 应 用 机 器 学 习 一 系 列 尝 试 的 第 一 篇 ， 思 路 不 算 清 奇 ， 也 没 有 什 么 特 别 的 难 点 。 但 我 个 人 喜 欢 先 抑 后 扬 ， 不 管 怎 么 样 先 把 成 果 搞 出 来 ， 然 后 再 慢 慢 优 化 和 进 步 嘛 。 路 总 是 一 步 一 步 走 的 。 后 面 我 打 算 还 是 在 W e b 安 全 这 个 领 域 做 一 些 机 器 学 习 应 用 尝 试 。 这 篇 文 章 只 是 静 态 地 提 取 出 异 常 P a y l o a d ， 而 没 有 利 用 到 关 键 的 W e b 系 统 结 构 信 息 ， 包 括 访 问 时 序 的 特 征 ， 访 问 来 源 主 体 （ I P 、 U I D 、 设 备 指 纹 等 ） 、 访 问 分 布 的 特 征 ， 我 将 充 分 利 用 这 些 信 息 ， 尝 试 开 发 一 个 无 规 则 化 的 简 易 机 器 学 习 W A F 。 参 考 链 接 ： 参 考 链 接 ： [ 1 ] :   h t t p s : / / g i t h u b . c o m / M o n k e y - D - G r o o t / M a c h i n e - L e a r n i n g - o n - C S I C - 2 0 1 0 [ 2 ] :   h t t p : / / w w w . f r e e b u f . c o m / n e w s / 1 4 2 0 6 9 . h t m l [ 3 ] :   h t t p : / / w w w . f r e e b u f . c o m / c o l u m n / 1 6 7 0 8 4 . h t m l * 本 文 原 创 作 者 ： 本 文 原 创 作 者 ： z h a n g h a o y i l ， 本 文 属 ， 本 文 属 F r e e B u f 原 创 奖 励 计 划 ， 未 经 许 可 禁 止 转 载 原 创 奖 励 计 划 ， 未 经 许 可 禁 止 转 载
阅 读 原 文
回复

举报

高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

Archiver|
Powered by Discuz! X3.4 Copyright © 2001-2020, Tencent Cloud. 商业源码建议获取授权，如侵犯您的权益，请联系客服处理