搜索

[11223] 2017-04-10_用机器学习玩转恶意URL检测

文档创建者：s7ckTeam
浏览次数：2
最后更新：2025-01-18
2017-04-10_用机器学习玩转恶意URL检测 用 机 器 学 习 玩 转 恶 意 U R L 检 测 A n k a 9 0 8 0   F r e e B u f   2 0 1 7 - 0 4 - 1 0 * 原 创 作 者 ： A n k a 9 0 8 0 @ S e c - W i k i ， 本 文 属 F r e e b u f 原 创 奖 励 计 划 ， 未 经 许 可 禁 止 转 载 前 段 时 间 漏 洞 之 王 S t r u t s 2 日 常 新 爆 了 一 批 漏 洞 ， 安 全 厂 商 们 忙 着 配 合 甲 方 公 司 做 资 产 扫 描 ， 漏 洞 排 查 ， 规 则 大 牛 迅 速 的 给 出 ” 专 杀 ” 规 则 强 化 自 家 产 品 的 规 则 库 。 这 种 基 于 规 则 库 的 安 全 防 御 总 是 处 于 被 动 的 ， 所 以 趁 着 小 假 期 对 机 器 学 习 应 用 于 威 胁 检 测 的 这 块 做 了 些 研 究 整 理 了 下 笔 记 ， 以 方 便 大 家 日 后 交 流 学 习 。 本 文 参 考 了 国 外 的 一 篇 博 文 ， 英 语 好 的 可 以 直 接 看 下 原 文 ， 在 这 里 记 录 了 下 研 究 检 测 模 型 实 现 的 过 程 ， 因 为 也 是 最 近 才 接 触 机 器 学 习 这 块 ， 有 啥 问 题 请 大 牛 们 指 出 。 先 说 重 点 ， 这 篇 文 章 使 用 逻 辑 回 归 的 方 式 建 立 检 测 模 型 ， 对 未 知 的   U R L   进 行 恶 意 检 测 。 模 型 建 立 的 整 体 思 路 如 下 ： 1 .   分 别 拿 到 正 常 请 求 和 恶 意 请 求 的 数 据 集 。 2 .   对 无 规 律 的 数 据 集 进 行 处 理 得 到 特 征 矩 阵 。 3 .   使 用 机 器 逻 辑 回 归 方 式 使 用 特 征 矩 阵 训 练 检 测 模 型 。 4 .   最 后 计 算 模 型 的 准 确 度 ， 并 使 用 检 测 模 型 判 断 未 知   U R L   请 求 是 恶 意 的 还 是 正 常 的 。 1 、 收 集 数 据 集 、 收 集 数 据 集 我 们 需 要 分 别 拿 到 恶 意 的 数 据 集 和 正 常 的 数 据 集 用 来 后 期 处 理 ， 在 这 里 恶 意 的 数 据 集 来 自     h t t p s : / / g i t h u b . c o m / f o o s p i d y / p a y l o a d s     中 的 一 些   X S S   S Q L 注 入 等 攻 击 的 p a y l o a d ， 结 合 g i t h u b 上 一 些 知 名 仓 库 的 p a y l o a d ， 一 共 整 理 出   5 0 0 0 0   条 恶 意 请 求 作 为 恶 意 的 数 据 集 ； 正 常 请 求 的 数 据 集 来 自 于     h t t p : / / s e c r e p o . c o m /     ,   攻 击 1 0 0 0 0 0 0 条 日 志 请 求 （ 资 源 有 限 ， 假 定 认 为 这 些 数 据 全 部 都 是 正 常 的 请 求 ， 有 精 力 可 以 进 行 降 噪 处 理 ， 去 除 异 常 的 标 签 数 据 ） 。 恶 意 请 求 部 分 样 如 下 ：
正 常 请 求 部 分 样 本 ： 2 、 计 算 特 征 矩 阵 、 计 算 特 征 矩 阵 无 论 是 恶 意 请 求 数 据 集 还 是 正 常 请 求 数 据 集 ， 都 是 不 定 长 的 字 符 串 列 表 ， 很 难 直 接 用 逻 辑 回 归 算 法 对 这 些 不 规 律 的 数 据 进 行 处 理 ， 所 以 ， 需 要 找 到 这 些 文 本 的 数 字 特 征 ， 用 来 训 练 我 们 的 检 测 模 型 。 在 这 里 ， 我 们 使 用   T D - I D F   来 作 为 文 本 的 特 征 ， 并 以 数 字 矩 阵 的 形 式 进 行 输 出 。 T D - I D F   是 一 种 用 于 资 讯 检 索 与 文 本 挖 掘 的 常 用 加 权 技 术 ， 被 经 常 用 于 描 述 文 本 特 征 。 实 际 上 是 ： T F   *   I D F ， T F   词 频 （ T e r m   F r e q u e n c y ） ， I D F   逆 向 文 件 频 率 （ I n v e r s e   D o c u m e n t   F r e q u e n c y ） 。 这 里 简 单 说 下 他 们 的 概 念 ， 感 兴 趣 的 可 以 搜 搜 资 料 ：
T F 表 示 词 条 在 某 文 档 中 出 现 的 频 率 。 I D F 的 主 要 思 想 是 ： 如 果 包 含 词 条 的 文 档 越 少 ， 则   I D F 越 大 ， 说 明 该 词 条 具 有 很 好 的 类 别 区 分 能 力 。 T F - I D F   倾 向 于 过 滤 掉 常 见 的 词 语 ， 保 留 重 要 的 词 语 。 要 计 算   T D - I D F   之 前 首 先 需 要 对   每 个 文 档 （ U R L 请 求 ） 的 内 容 进 行 分 词 处 理 ， 也 就 是 需 要 定 义 文 档 的 词 条 长 度 ， 这 里 我 们 选 择 长 度 为 3 ， 可 以 根 据 模 型 的 准 确 度 对 这 个 参 数 进 行 调 整 。 比 如 ： / /   U R L   请 求 w w w . f o o . c o m / 1 / /   经 过 分 词 后 [ ' w w w ' , ' w w . ' , ' w . f ' , ' . f o ' , ' f o o ' , ' o o . ' , ' o . c ' , ' . c o ' , ' c o m ' , ' o m / ' , ' m / 1 ' ] 下 面 对 所 有   U R L   请 求 计 算 出   T D - I D F   特 征 矩 阵 ， 输 出 格 式 基 本 上 是 下 面 的 样 子 ： 可 以 看 出 特 征 矩 阵 的 元 素 由 [ ( i , j )   w e i g h t ]   三 个 元 素 组 成 ， 在 矩 阵 中 ： i   对 应 于 集 合 中 的 文 档 编 号 ， j 对 应 于 t e r m 编 号 （ 或 者 说 是 词 片 编 号 ） 矩 阵 元 素 [ ( i , j )   w e i g h t ]   表 示 编 号   为   j   的 词 片   在 编 号 为   i   的 文 档 下 的   f d - i d f   值 （ w e i g h t ） 。 比 如 ：   ( 0 ,   3 1 4 4 5 )   0 . 0 7 3 9 0 2 2 8 1 9 8 1 6   表 示 词 片 编 号 3 1 4 4 5 的 在 第 0 号 文 档 的 权 值 是   0 . 0 7 3 9 0 2 2 8 1 9 8 1 6 3 、 、   训 练 检 测 模 型 训 练 检 测 模 型 现 在 有 了 特 征 矩 阵 作 为 训 练 的 数 据 集 ， 可 以 先 从 中 取 出 一 少 部 分 数 据 （ 大 约 占 总 数 据 的 5 % ， 可 以 自 行 指 定 ） 用 来 测 试 已 经 训 练 好
的 模 型 的 准 确 率 。 至 于 如 何 取 出 测 试 数 据 ， 可 以 直 接 使 用 s c i k i t - l e a r n 提 供 的   t r a i n _ t e s t _ s p l i t   方 法 对 原 始 数 据 集 进 行 分 割 。 有 了 训 练 数 据 ， 可 以 直 接 使 用 逻 辑 回 归 的 方 法 来 训 练 我 们 的 模 型 ， 这 一 步 需 要 电 脑 花 点 时 间 对 数 据 进 行 处 理 ， 但 是 我 们 只 需 要 调 用 s c i k i t - l e a r n   定 义 一 个 逻 辑 模 型 实 例 ， 然 后 调 用 训 练 方 法 ， 传 值 训 练 数 据 即 可 ， 代 码 如 下 ： l g s   =   L o g i s t i c R e g r e s s i o n ( ) l g s . f i t ( x _ t r a i n ,   y _ t r a i n ) 4 、 测 试 模 型 效 果 、 测 试 模 型 效 果 经 过 训 练 之 后 使 用   l g s   实 例 的   s c o r e   方 法   选 择 一 批 测 试 数 据 来 计 算 模 型 的 准 确 度 ， 至 于 测 试 数 据 （ x _ t e s t , y _ t e s t ） 我 们 已 经 在 上 一 步 中 分 割 得 到 l g s . s c o r e ( x _ t e s t ,   y _ t e s t ) 检 测 模 型 的 准 确 度 ： 同 时 ， 可 以 调 用   l g s . p r e d i c t   的 方 法 对   新 的   U R L   是 否 是 恶 意 的 进 行 判 定 。 x _ p r e d i c t   =   [ ' 待 预 测 U R L 列 表 ' ]
x _ p r e d i c t   =   v e c t o r i z e r . t r a n s f o r m ( x _ p r e d i c t ) r e s   =   l g s . p r e d i c t ( x _ p r e d i c t ) 在 这 里 随 机 选 取 一 些   U R L   进 行 预 测 ， 判 断 的 结 果 如 下 ： 5 、 总 结 、 总 结 本 文 的 目 的 是 希 望 从 代 码 的 角 度 上 分 析 如 何 机 器 学 习 算 法 来 训 练 U R L 恶 意 检 测 模 型 ， 当 然 训 练 检 测 模 型 的 方 式 有 许 多 种 ， 比 如 S V M   或 是 其 他 机 器 学 习 算 法 ， 想 了 解   S V M   的 可 以 看 兜 哥 先 前 发 的 文 章 。 基 于 逻 辑 回 归 的 恶 意   U R L   检 测 很 依 赖 于 训 练 数 据 集 ， 有 必 要 保 证 原 始 数 据 集 尽 可 能 的 减 少 噪 点 （ 异 常 数 据 ） ， 以 及 每 条 数 据 之 间 尽 可 能 的 减 少 关 联 性 。 若 能 拿 到 自 身 业 务 中 确 定 正 常 或 者 威 胁 的 请 求 数 据 作 为 训 练 数 据 集 训 练 出 的 模 型 应 该 也 更 加 适 用 于 当 前 环 境 的 检 测 。 同 时 作 为 监 督 式 学 习 ， 可 以 定 期 把 检 测 出 确 定 威 胁 的 请 求 放 入 原 始 数 据 集 中 ， 对 检 测 模 型 进 行 优 化 ， 效 果 会 更 好 。 源 码 地 址 ： h t t p s : / / g i t h u b . c o m / e x p - d b / A I - D r i v e n - W A F 参 考 ： 1 .         h t t p : / / w w w . f r e e b u f . c o m / a r t i c l e s / w e b / 1 2 6 5 4 3 . h t m l 2 .         h t t p : / / f s e c u r i f y . c o m / f w a f - m a c h i n e - l e a r n i n g - d r i v e n - w e b - a p p l i c a t i o n - f i r e w a l l / 3 .   h t t p : / / s c i k i t - l e a r n . o r g / s t a b l e / m o d u l e s / f e a t u r e _ e x t r a c t i o n . h t m l # t e x t - f e a t u r e - e x t r a c t i o n * 原 创 作 者 ： A n k a 9 0 8 0 @ S e c - W i k i ， 本 文 属 F r e e b u f 原 创 奖 励 计 划 ， 未 经 许 可 禁 止 转 载
阅 读 原 文
回复

举报

高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

使用Markdown编辑器编辑 使用富文本编辑器编辑

Archiver| 手机版| 小黑屋|
Powered by Discuz! X3.4 Copyright © 2001-2020, Tencent Cloud. 商业源码建议获取授权，如侵犯您的权益，请联系客服处理