设为首页收藏本站
切换到窄版

 找回密码
 立即注册
搜索
热搜: 活动 交友 discuz
Nmaps Club»论坛 › Pentests Wiki › Wiki › 数据库 › [11366] 2017-05-19_基于大数据和机器学习的Web异常参数 ...
返回列表 发新帖
查看: 0|回复: 0

[11366] 2017-05-19_基于大数据和机器学习的Web异常参数检测系统Demo实现

[复制链接]
s7ckTeam

6万

主题

-6万

回帖

-58

积分

管理员

积分
-58
发表于 5 天前 | 显示全部楼层 |阅读模式
2017-05-19_基于大数据和机器学习的Web异常参数检测系统Demo实现 基 于 大 数 据 和 机 器 学 习 的 W e b 异 常 参 数 检 测 系 统 D e m o 实 现 原 创   f o x s c h e d u l e r   F r e e B u f   2 0 1 7 - 0 5 - 1 9 * 本 文 原 创 作 者 ： f o x s c h e d u l e r ， 本 文 属 F r e e B u f 原 创 奖 励 计 划 ， 未 经 许 可 禁 止 转 载 前 前         言 言 如 何 在 网 络 安 全 领 域 利 用 数 据 科 学 解 决 安 全 问 题 一 直 是 一 个 火 热 的 话 题 ， 讨 论 算 法 和 实 现 的 文 章 也 不 少 。 前 段 时 间 看 到 楚 安 的 文 章 《 数 据 科 学 在 W e b 威 胁 感 知 中 的 应 用 》 ， 其 中 提 到 如 何 用 隐 马 尔 可 夫 模 型 ( H M M ) 建 立 w e b 参 数 模 型 ， 检 测 注 入 类 的 w e b 攻 击 。 获 益 匪 浅 ， 遂 尝 试 用 p y t h o n 实 现 该 算 法 ， 并 尝 试 在 大 数 据 环 境 下 的 部 署 应 用 。 算 法 一 般 过 程 算 法 一 般 过 程 隐 马 尔 可 夫 模 型 是 一 个 统 计 模 型 ， 可 以 利 用 这 个 模 型 解 决 三 类 基 本 问 题 ：   学 习 问 题 ： 给 定 观 察 序 列 ， 学 习 出 模 型 参 数   评 估 问 题 ： 已 知 模 型 参 数 ， 评 估 出 观 察 序 列 出 现 在 这 个 模 型 下 的 概 率   解 码 问 题 ： 已 知 模 型 参 数 和 给 出 的 观 察 序 列 ， 求 出 可 能 性 最 大 的 隐 藏 状 态 序 列 这 里 我 们 是 要 解 决 前 两 类 问 题 ， 使 用 白 样 本 数 据 学 习 出 模 型 和 参 数 基 线 ， 计 算 检 测 数 据 在 该 模 型 下 出 现 的 可 能 性 ， 如 果 得 分 低 于 基 线 就 可 以 认 为 这 个 参 数 异 常 ， 产 出 告 警 。 算 法 可 分 为 训 练 过 程 和 检 测 过 程 ， 算 法 本 身 我 这 里 不 在 细 说 ， 这 里 重 点 讲 一 下 参 数 的 抽 取 和 泛 化 。
参 数 的 抽 取 参 数 的 抽 取 对 h t t p 请 求 数 据 进 行 拆 解 ， 提 取 如 下 参 数 ， 这 部 分 的 难 点 在 于 如 何 正 确 的 识 别 编 码 方 式 并 解 码 ：     G E T 、 P O S T 、 C o o k i e 请 求 参 数     G E T 、 P O S T 、 C o o k i e 参 数 名 本 身     请 求 的 U R L 路 径     h t t p 请 求 头 ， 如 C o n t e n t _ t y p e 、 C o n t e n t - L e n g t h ( 对 应 s t r u s t 2 - 0 4 5 ) 参 数 泛 化 参 数 泛 化 需 要 将 参 数 值 泛 化 为 规 律 性 的 观 测 经 验 ， 并 取 字 符 的 u n i c o d e 数 值 作 为 观 察 序 列 ， 泛 化 的 方 法 如 下 ：     大 小 写 英 文 字 母 泛 化 为 ” A ” ， 对 应 的 u n i c o d e 数 值 为 6 5     数 字 泛 化 为 ” N ” ， 对 应 的 u n i c o d e 数 值 为 7 8     中 文 或 中 文 字 符 泛 化 为 “ C ” ， 对 应 的 u n i c o d e 数 值 为 6 7     特 殊 字 符 和 其 他 字 符 集 的 编 码 不 作 泛 化 ， 直 接 取 u n i c o d e 数 值     参 数 值 为 空 的 取 0 系 统 架 构 系 统 架 构 在 训 练 过 程 中 要 使 用 尽 可 能 多 的 历 史 数 据 进 行 训 练 ， 这 显 然 是 一 个 批 ( b a t c h ) 计 算 过 程 ； 在 检 测 过 程 中 我 们 希 望 能 够 实 时 的 检 测 数 据 ， 及 时 的 发 现 攻 击 ， 这 是 一 个 流 ( s t r e a m i n g ) 计 算 过 程 。 典 型 的 批 + 流 式 框 架 如 C i s c o 的 O p e n s o c 使 用 开 源 大 数 据 架 构 ， k a f k a 作 为 消 息 总 线 ， S t o r m 进 行 实 时 计 算 ， H a d o o p 存 储 数 据 和 批 量 计 算 。 但 是 这 样 的 架 构 有 一 个 缺 点 ， 我 们 需 要 维 护 S t o r m 和 M a p R e d u c e 两 套 不 同 的 代 码 。 考 虑 到 学 习 成 本 ， 使 用 S p a r k 作 为 统 一 的 数 据 处 理 引 擎 ， 即 可 以 实 现 批 处 理 ， 也 可 以 使 用 s p a r k         s t r e a m i n g 实 现 近 实 时 的 计
算 。   系 统 架 构 如 上 图 ， 需 要 在 s p a r k 上 运 行 三 个 任 务 ， s p a r k s t r e a m i n g 将 k a f k a 中 的 数 据 实 时 的 存 入 h d f s ； 训 练 算 法 定 期 加 载 批 量 数 据 进 行 模 型 训 练 ， 并 将 模 型 参 数 保 存 到 H d f s ； 检 测 算 法 加 载 模 型 ， 检 测 实 时 数 据 ， 并 将 告 警 保 存 到 E S 。 S p a r k 简 介 简 介 A p a c h e   S p a r k 是 一 个 快 速 通 用 的 大 数 据 计 算 框 架 ， 由 S c a l a 语 言 实 现 ， 同 时 提 供 J a v a 、 p y t h o n 、 R 语 言 的 A P I 接 口 。 相 比 于 H a d o o p 的 M a p r e d u c e , S p a r k 可 以 实 现 在 内 存 中 计 算 ， 具 有 更 高 的 计 算 速 度 ， 并 且 s p a r k   s t r e a m i n g 提 供 流 数 据 计 算 框 架 ， 以 类 似 批 处 理 的 方 式 处 理 流 数 据 。 R D D R D D 是 S p a r k 中 抽 象 的 数 据 结 构 类 型 ， 是 一 个 弹 性 分 布 式 数 据 集 ， 数 据 在 S p a r k 中 被 表 示 为 R D D 。 R D D 提 供 丰 富 的 A P I 接 口 ， 实 现 对 数 据 的 操 作 ， 如 m a p 、 f l a t m a p 、 r e d u c e 、 f i l t e r 、 g r o u p b y 等 等 。 D S t r e a m D S t r e a m ( 离 散 数 据 流 ) 是 S p a r k   S t r e a m i n g 中 的 数 据 结 构 类 型 ， 它 是 由 特 定 时 间 间 隔 内 的 数 据 R D D 构 成 ， 可 以 实 现 与 R D D 的 互 操 作 ， D s t r e a m 也 提 供 与 R D D 类 似 的 A P I 接 口 。 D a t a F r a m e D a t a F r a m e 是 s p a r k 中 结 构 化 的 数 据 集 ， 类 似 于 数 据 库 的 表 ， 可 以 理 解 为 内 存 中 的 分 布 式 表 ， 提 供 了 丰 富 的 类 S Q L 操 作 接 口 。 数 据 采 集 与 存 储 数 据 采 集 与 存 储
获 取 h t t p 请 求 数 据 通 常 有 两 种 方 式 ， 第 一 种 从 w e b 应 用 中 采 集 日 志 ， 使 用 l o g s t a s h 从 日 志 文 件 中 提 取 日 志 并 泛 化 ， 写 入 K a f k a ( 可 参 见 兜 哥 文 章 ) ； 第 二 种 可 以 从 网 络 流 量 中 抓 包 提 取 h t t p 信 息 。 我 这 里 使 用 第 二 种 ， 用 p y t h o n 结 合 T c p f l o w 采 集 h t t p 数 据 ， 在 数 据 量 不 大 的 情 况 下 可 稳 定 运 行 。 数 据 采 集 数 据 采 集 与 T c p d u m p 以 包 单 位 保 存 数 据 不 同 ， T c p f l o w 是 以 流 为 单 位 保 存 数 据 内 容 ， 分 析 h t t p 数 据 使 用 t c p f l o w 会 更 便 捷 。 T c p f l o w 在 l i n u x 下 可 以 监 控 网 卡 流 量 ， 将 t c p 流 保 存 到 文 件 中 ， 因 此 可 以 用 p y t h o n 的 p y i n o t i f y 模 块 监 控 流 文 件 ， 当 流 文 件 写 入 结 束 后 提 取 h t t p 数 据 ， 写 入 K a f k a ， P y t h o n 实 现 的 过 程 如 下 图 。 核 心 代 码 ： 核 心 代 码 ：
数 据 存 储 数 据 存 储 开 启 一 个 S p a r k S t r e a m i n g 任 务 ， 从 k a f k a 消 费 数 据 写 入 H d f s ， D s t r e a m 的 p y t h o n   A P I 没 有 好 的 入 库 接 口 ， 需 要 将 D s t r e a m 的 R D D 转 成 D a t a F r a m e 进 行 保 存 ， 保 存 为 j s o n 文 件 。 核 心 代 码 ：
算 法 实 现 算 法 实 现 抽 取 器 抽 取 器 ( E x t r a c t o r ) 抽 取 器 实 现 原 始 数 据 的 参 数 提 取 和 数 据 泛 化 ， 传 入 一 条 j s o n 格 式 的 h t t p 请 求 数 据 ， 可 以 返 回 所 有 参 数 的 i d 、 参 数 类 型 、 参 数 名 、 参 数 的 观 察 状 态 序 列 。 代 码 示 例 ：

训 练 器 训 练 器 ( T r a i n e r ) 训 练 器 完 成 对 参 数 的 训 练 ， 传 入 参 数 的 所 有 观 察 序 列 ， 返 回 训 练 好 的 模 型 和 p r o f i l e ， H M M 模 型 使 用 p y t h o n 下 的 h m m l e a r n 模 块 ， p r o f i l e 取 观 察 序 列 的 最 小 得 分 。 核 心 代 码 ： 核 心 代 码 ：      
训 练 任 务 训 练 任 务 S p a r k 训 练 任 务 抽 取 所 有 h t t p 请 求 数 据 的 参 数 ， 并 按 照 参 数 I D 分 组 ， 分 别 进 行 训 练 ， 将 训 练 模 型 保 存 到 H d f s 。 核 心 代 码 ：

回复

举报

返回列表 发新帖
高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

使用Markdown编辑器编辑 使用富文本编辑器编辑

Archiver|手机版|小黑屋|Nmaps Club

GMT+8, 2025-1-23 10:26 , Processed in 0.325447 second(s), 31 queries .

Powered by Discuz! X3.5

© 2001-2025 Discuz! Team.

快速回复 返回顶部 返回列表