搜索

[11015] 2017-02-11_基于机器学习的web异常检测

文档创建者：s7ckTeam
浏览次数：1
最后更新：2025-01-18
2017-02-11_基于机器学习的web异常检测 基 于 机 器 学 习 的 w e b 异 常 检 测 阿 里 聚 安 全   F r e e B u f   2 0 1 7 - 0 2 - 1 1 W e b 防 火 墙 是 信 息 安 全 的 第 一 道 防 线 。 随 着 网 络 技 术 的 快 速 更 新 ， 新 的 黑 客 技 术 也 层 出 不 穷 ， 为 传 统 规 则 防 火 墙 带 来 了 挑 防 火 墙 是 信 息 安 全 的 第 一 道 防 线 。 随 着 网 络 技 术 的 快 速 更 新 ， 新 的 黑 客 技 术 也 层 出 不 穷 ， 为 传 统 规 则 防 火 墙 带 来 了 挑 战 。 传 统 战 。 传 统 w e b 入 侵 检 测 技 术 通 过 维 护 规 则 集 对 入 侵 访 问 进 行 拦 截 。 一 方 面 ， 硬 规 则 在 灵 活 的 黑 客 面 前 ， 很 容 易 被 绕 过 ， 且 入 侵 检 测 技 术 通 过 维 护 规 则 集 对 入 侵 访 问 进 行 拦 截 。 一 方 面 ， 硬 规 则 在 灵 活 的 黑 客 面 前 ， 很 容 易 被 绕 过 ， 且 基 于 以 往 知 识 的 规 则 集 难 以 应 对 基 于 以 往 知 识 的 规 则 集 难 以 应 对 0 d a y 攻 击 ； 另 一 方 面 ， 攻 防 对 抗 水 涨 船 高 ， 防 守 方 规 则 的 构 造 和 维 护 门 槛 高 、 成 本 大 。 攻 击 ； 另 一 方 面 ， 攻 防 对 抗 水 涨 船 高 ， 防 守 方 规 则 的 构 造 和 维 护 门 槛 高 、 成 本 大 。   基 于 机 器 学 习 技 术 的 新 一 代 基 于 机 器 学 习 技 术 的 新 一 代 w e b 入 侵 检 测 技 术 有 望 弥 补 传 统 规 则 集 方 法 的 不 足 ， 为 入 侵 检 测 技 术 有 望 弥 补 传 统 规 则 集 方 法 的 不 足 ， 为 w e b 对 抗 的 防 守 端 带 来 新 的 发 展 和 突 对 抗 的 防 守 端 带 来 新 的 发 展 和 突 破 。 破 。 机 器 学 习 方 法 能 够 基 于 大 量 数 据 进 行 自 动 化 学 习 和 训 练 ， 已 经 在 图 像 、 语 音 、 自 然 语 言 处 理 等 方 面 广 泛 应 用 。 然 而 ， 机 器 学 习 应 用 于 w e b 入 侵 检 测 也 存 在 挑 战 ， 其 中 最 大 的 困 难 就 是 标 签 数 据 的 缺 乏 。 尽 管 有 大 量 的 正 常 访 问 流 量 数 据 ， 但 w e b 入 侵 样 本 稀 少 ， 且 变 化 多 样 ， 对 模 型 的 学 习 和 训 练 造 成 困 难 。 因 此 ， 目 前 大 多 数 w e b 入 侵 检 测 都 是 基 于 无 监 督 的 方 法 ， 针 对 大 量 正 常 日 志 建 立 模 型 ( P r o f i l e ) ， 而 与 正 常 流 量 不 符 的 则 被 识 别 为 异 常 。 这 个 思 路 与 拦 截 规 则 的 构 造 恰 恰 相 反 。 拦 截 规 则 意 在 识 别 入 侵 行 为 ， 因 而 需 要 在 对 抗 中 “ 随 机 应 变 ” ； 而 基 于 p r o f i l e 的 方 法 旨 在 建 模 正 常 流 量 ， 在 对 抗 中 “ 以 不 变 应 万 变 ” ， 且 更 难 被 绕 过 。 基 于 异 常 检 测 的 w e b 入 侵 识 别 ， 训 练 阶 段 通 常 需 要 针 对 每 个 u r l ， 基 于 大 量 正 常 样 本 ， 抽 象 出 能 够 描 述 样 本 集 的 统 计 学 或 机 器 学 习 模 型 ( P r o f i l e ) 。 检 测 阶 段 ， 通 过 判 断 w e b 访 问 是 否 与 P r o f i l e 相 符 ， 来 识 别 异 常 。 对 于 对 于 P r o f i l e 的 建 立 ， 主 要 有 以 下 几 种 思 路 ： 的 建 立 ， 主 要 有 以 下 几 种 思 路 ： 对 于 对 于 P r o f i l e 的 建 立 ， 主 要 有 以 下 几 种 思 路 ： 的 建 立 ， 主 要 有 以 下 几 种 思 路 ： 1 .   基 于 统 计 学 习 模 型 基 于 统 计 学 习 模 型 基 于 统 计 学 习 的 w e b 异 常 检 测 ， 通 常 需 要 对 正 常 流 量 进 行 数 值 化 的 特 征 提 取 和 分 析 。 特 征 例 如 ， U R L 参 数 个 数 、 参 数 值 长 度 的 均 值 和 方 差 、 参 数 字 符 分 布 、 U R L 的 访 问 频 率 等 等 。 接 着 ， 通 过 对 大 量 样 本 进 行 特 征 分 布 统 计 ， 建 立 数 学 模 型 ， 进 而 通 过 统 计 学 方 法 进 行 异 常 检 测 。 2 .   基 于 文 本 分 析 的 机 器 学 习 模 型 基 于 文 本 分 析 的 机 器 学 习 模 型 W e b 异 常 检 测 归 根 结 底 还 是 基 于 日 志 文 本 的 分 析 ， 因 而 可 以 借 鉴 N L P 中 的 一 些 方 法 思 路 ， 进 行 文 本 分 析 建 模 。 这 其 中 ， 比 较 成 功 的 是 基 于 隐 马 尔 科 夫 模 型 ( H M M ) 的 参 数 值 异 常 检 测 。
3 .   基 于 单 分 类 模 型 基 于 单 分 类 模 型 由 于 w e b 入 侵 黑 样 本 稀 少 ， 传 统 监 督 学 习 方 法 难 以 训 练 。 基 于 白 样 本 的 异 常 检 测 ， 可 以 通 过 非 监 督 或 单 分 类 模 型 进 行 样 本 学 习 ， 构 造 能 够 充 分 表 达 白 样 本 的 最 小 模 型 作 为 P r o f i l e ， 实 现 异 常 检 测 。 4 .   基 于 聚 类 模 型 基 于 聚 类 模 型 通 常 正 常 流 量 是 大 量 重 复 性 存 在 的 ， 而 入 侵 行 为 则 极 为 稀 少 。 因 此 ， 通 过 w e b 访 问 的 聚 类 分 析 ， 可 以 识 别 大 量 正 常 行 为 之 外 ， 小 搓 的 异 常 行 为 ， 进 行 入 侵 发 现 。 基 于 统 计 学 习 模 型 基 于 统 计 学 习 模 型 基 于 统 计 学 习 模 型 基 于 统 计 学 习 模 型 基 于 统 计 学 习 模 型 的 方 法 ， 首 先 要 对 数 据 建 立 特 征 集 ， 然 后 对 每 个 特 征 进 行 统 计 建 模 。 对 于 测 试 样 本 ， 首 先 计 算 每 个 特 征 的 异 常 程 度 ， 再 通 过 模 型 对 异 常 值 进 行 融 合 打 分 ， 作 为 最 终 异 常 检 测 判 断 依 据 。 这 里 以 斯 坦 福 大 学 C S 2 5 9 D :   D a t a   M i n i n g   f o r   C y b e r S e c u r i t y 课 程 [ 1 ] 为 例 ， 介 绍 一 些 行 之 有 效 的 特 征 和 异 常 检 测 方 法 。 特 征 特 征 1 ： 参 数 值 ： 参 数 值 v a l u e 长 度 长 度 模 型 ： 长 度 值 分 布 ， 均 值 μ ， 方 差 σ 2 ， 利 用 切 比 雪 夫 不 等 式 计 算 异 常 值 p 特 征 特 征 2 ： 字 符 分 布 ： 字 符 分 布 模 型 ： 对 字 符 分 布 建 立 模 型 ， 通 过 卡 方 检 验 计 算 异 常 值 p
特 征 特 征 3 ： 参 数 缺 失 ： 参 数 缺 失 模 型 ： 建 立 参 数 表 ， 通 过 查 表 检 测 参 数 错 误 或 缺 失 特 征 特 征 4 ： 参 数 顺 序 ： 参 数 顺 序 模 型 ： 参 数 顺 序 有 向 图 ， 判 断 是 否 有 违 规 顺 序 关 系 特 征 特 征 5 ： 访 问 频 率 （ 单 ： 访 问 频 率 （ 单 i p 的 访 问 频 率 ， 总 访 问 频 率 ） 的 访 问 频 率 ， 总 访 问 频 率 ） 模 型 ： 时 段 内 访 问 频 率 分 布 ， 均 值 μ ， 方 差 σ 2 ， 利 用 切 比 雪 夫 不 等 式 计 算 异 常 值 p 特 征 特 征 6 ： 访 问 时 间 间 隔 ： 访 问 时 间 间 隔 模 型 ： 间 隔 时 间 分 布 ， 通 过 卡 方 检 验 计 算 异 常 值 p 最 终 ， 通 过 异 常 打 分 模 型 将 多 个 特 征 异 常 值 融 合 ， 得 到 最 终 异 常 打 分 ：   基 于 文 本 分 析 的 机 器 学 习 模 型 基 于 文 本 分 析 的 机 器 学 习 模 型 基 于 文 本 分 析 的 机 器 学 习 模 型 基 于 文 本 分 析 的 机 器 学 习 模 型 U R L 参 数 输 入 的 背 后 ， 是 后 台 代 码 的 解 析 ， 通 常 来 说 ， 每 个 参 数 的 取 值 都 有 一 个 范 围 ， 其 允 许 的 输 入 也 具 有 一 定 模 式 。 比 如 下 面 这 个 例 子 ：
例 子 中 ， 绿 色 的 代 表 正 常 流 量 ， 红 色 的 代 表 异 常 流 量 。 由 于 异 常 流 量 和 正 常 流 量 在 参 数 、 取 值 长 度 、 字 符 分 布 上 都 很 相 似 ， 基 于 上 述 特 征 统 计 的 方 式 难 以 识 别 。 进 一 步 看 ， 正 常 流 量 尽 管 每 个 都 不 相 同 ， 但 有 共 同 的 模 式 ， 而 异 常 流 量 并 不 符 合 。 在 这 个 例 子 中 ， 符 合 取 值 的 样 本 模 式 为 ： 数 字 数 字 _ 字 母 字 母 _ 数 字 数 字 ， 我 们 可 以 用 一 个 状 态 机 来 表 达 合 法 的 取 值 范 围 ：   对 文 本 序 列 模 式 的 建 模 ， 相 比 较 数 值 特 征 而 言 ， 更 加 准 确 可 靠 。 其 中 ， 比 较 成 功 的 应 用 是 基 于 隐 马 尔 科 夫 模 型 ( H M M ) 的 序 列 建 模 ， 这 里 仅 做 简 单 的 介 绍 ， 具 体 请 参 考 推 荐 文 章 [ 2 ] 。 基 于 H M M 的 状 态 序 列 建 模 ， 首 先 将 原 始 数 据 转 化 为 状 态 表 示 ， 比 如 数 字 用 N 表 示 状 态 ， 字 母 用 a 表 示 状 态 ， 其 他 字 符 保 持 不 变 。 这 一 步 也 可 以 看 做 是 原 始 数 据 的 归 一 化 ( N o r m a l i z a t i o n ) ， 其 结 果 使 得 原 始 数 据 的 状 态 空 间 被 有 效 压 缩 ， 正 常 样 本 间 的 差 距 也 进 一 步 减 小 。 紧 接 着 ， 对 于 每 个 状 态 ， 统 计 之 后 一 个 状 态 的 概 率 分 布 。 例 如 ， 下 图 就 是 一 个 可 能 得 到 的 结 果 。 “ ^ ” 代 表 开 始 符 号 ， 由 于 白 样 本 中 都 是 数 字 开 头 ， 起 始 符 号 ( 状 态 ^ ) 转 移 到 数 字 ( 状 态 N ) 的 概 率 是 1 ； 接 下 来 ， 数 字 ( 状 态 N ) 的 下 一 个 状 态 ， 有 0 . 8 的 概 率 还 是 数 字 ( 状 态 N ) ， 有 0 . 1 的 概 率 转 移 到 下 划 线 ， 有 0 . 1 的 概 率 转 移 到 结 束 符 ( 状 态 $ ) ， 以 此 类 推 。
  利 用 这 个 状 态 转 移 模 型 ， 我 们 就 可 以 判 断 一 个 输 入 序 列 是 否 符 合 白 样 本 的 模 式 ： 正 常 样 本 的 状 态 序 列 出 现 概 率 要 高 于 异 常 样 本 ， 通 过 合 适 的 阈 值 可 以 进 行 异 常 识 别 。 基 于 单 分 类 模 型 基 于 单 分 类 模 型 基 于 单 分 类 模 型 基 于 单 分 类 模 型 在 二 分 类 问 题 中 ， 由 于 我 们 只 有 大 量 白 样 本 ， 可 以 考 虑 通 过 单 分 类 模 型 ， 学 习 单 类 样 本 的 最 小 边 界 ， 边 界 之 外 的 则 识 别 为 异 常 。
这 类 方 法 中 ， 比 较 成 功 的 应 用 是 单 类 支 持 向 量 机 ( o n e - c l a s s   S V M ) 。 这 里 简 单 介 绍 该 类 方 法 的 一 个 成 功 案 例 M c P A D 的 思 路 ， 具 体 方 法 关 注 文 章 [ 3 ] 。 M c P A D 系 统 首 先 通 过 N - G r a m 将 文 本 数 据 向 量 化 ， 对 于 下 面 的 例 子 ， 首 先 通 过 长 度 为 N 的 滑 动 窗 口 将 文 本 分 割 为 N - G r a m 序 列 ， 例 子 中 ， N 取 2 ， 窗 口 滑 动 步 长 为 1 ， 可 以 得 到 如 下 N - G r a m 序 列 。 下 一 步 要 把 N - G r a m 序 列 转 化 成 向 量 。 假 设 共 有 2 5 6 种 不 同 的 字 符 ， 那 么 会 得 到 2 5 6 * 2 5 6 种 2 - G R A M 的 组 合 ( 如 a a ,   a b ,   a c   …   ) 。 我 们 可 以 用 一 个 2 5 6 * 2 5 6 长 的 向 量 ， 每 一 位 o n e - h o t 的 表 示 ( 有 则 置 1 ， 没 有 则 置 0 ) 文 本 中 是 否 出 现 了 该 2 - G R A M 。 由 此 得 到 一 个 2 5 6 * 2 5 6 长 的 0 / 1 向 量 。 进 一 步 ， 对 于 每 个 出 现 的 2 - G r a m ， 我 们 用 这 个 2 - G r a m 在 文 本 中 出 现 的 频 率 来 替 代 单 调 的 “ 1 ” ， 以 表 示 更 多 的 信 息 ：   至 此 ， 每 个 文 本 都 可 以 通 过 一 个 2 5 6 * 2 5 6 长 的 向 量 表 示 。
现 在 我 们 得 到 了 训 练 样 本 的 2 5 6 * 2 5 6 向 量 集 ， 现 在 需 要 通 过 单 分 类 S V M 去 找 到 最 小 边 界 。 然 而 问 题 在 于 ， 样 本 的 维 度 太 高 ， 会 对 训 练 造 成 困 难 。 我 们 还 需 要 再 解 决 一 个 问 题 ： 如 何 缩 减 特 征 维 度 。 特 征 维 度 约 减 有 很 多 成 熟 的 方 法 ， M c P A D 系 统 中 对 特 征 进 行 了 聚 类 达 到 降 维 目 的 。 上 左 矩 阵 中 黑 色 表 示 0 ， 红 色 表 示 非 零 。 矩 阵 的 每 一 行 ， 代 表 一 个 输 入 文 本 ( s a m p l e ) 中 具 有 哪 些 2 - G r a m 。 如 果 换 一 个 角 度 来 看 这 个 矩 阵 ， 则 每 一 列 代 表 一 个 2 - G r a m 有 哪 些 s a m p l e 中 存 在 ， 由 此 ， 每 个 2 - G r a m 也 能 通 过 s a m p l e 的 向 量 表 达 。 从 这 个 角 度 我 们 可 以 获 得 2 - G r a m 的 相 关 性 。 对 于 2 - G r a m 的 向 量 进 行 聚 类 ， 指 定 的 类 别 数 K 即 为 约 减 后 的 特 征 维 数 。 约 减 后 的 特 征 向 量 ， 再 投 入 单 类 S V M 进 行 进 一 步 模 型 训 练 。 再 进 一 步 ， M c P A D 采 用 线 性 特 征 约 减 加 单 分 类 S V M 的 方 法 解 决 白 模 型 训 练 的 过 程 ， 其 实 也 可 以 被 深 度 学 习 中 的 深 度 自 编 码 模 型 替 代 ， 进 行 非 线 性 特 征 约 减 。 同 时 ， 自 编 码 模 型 的 训 练 过 程 本 身 就 是 学 习 训 练 样 本 的 压 缩 表 达 ， 通 过 给 定 输 入 的 重 建 误 差 ， 就 可 以 判 断 输 入 样 本 是 否 与 模 型 相 符 。
  我 们 还 是 沿 用 M c P A D 通 过 2 - G r a m 实 现 文 本 向 量 化 的 方 法 ， 直 接 将 向 量 输 入 到 深 度 自 编 码 模 型 ， 进 行 训 练 。 测 试 阶 段 ， 通 过 计 算 重 建 误 差 作 为 异 常 检 测 的 标 准 。 基 于 这 样 的 框 架 ， 异 常 检 测 的 基 本 流 程 如 下 ， 一 个 更 加 完 善 的 框 架 可 以 参 见 文 献 [ 4 ] 。
本 文 管 中 窥 豹 式 的 介 绍 了 机 器 学 习 用 于 w e b 异 常 检 测 的 几 个 思 路 。 w e b 流 量 异 常 检 测 只 是 w e b 入 侵 检 测 中 的 一 环 ， 用 于 从 海 量 日 志 中 捞 出 少 量 的 “ 可 疑 ” 行 为 ， 但 是 这 个 “ 少 量 ” 还 是 存 在 大 量 误 报 ， 只 能 用 于 检 测 ， 还 远 远 不 能 直 接 用 于 W A F 直 接 拦 截 。 一 个 完 备 的 w e b 入 侵 检 测 系 统 ， 还 需 要 在 此 基 础 上 进 行 入 侵 行 为 识 别 ， 以 及 告 警 降 误 报 等 环 节 。 2 0 1 7 阿 里 聚 安 全 算 法 挑 战 赛 将 收 集 从 网 上 真 实 访 问 流 量 中 提 取 的 U R L ， 经 过 脱 敏 和 混 淆 处 理 ， 让 选 手 利 用 机 器 学 习 算 法 提 高 检 测 精 度 ， 真 实 体 验 这 一 过 程 。 并 有 机 会 获 得 3 0 万 元 奖 金 ， 奔 赴 加 拿 大 参 加 K D D - - - - 国 际 最 负 盛 名 的 数 据 挖 掘 会 议 ！ 点 击 阅 读 原 文 查 看 报 名 地 址 点 击 阅 读 原 文 查 看 报 名 地 址 推 荐 阅 读 推 荐 阅 读 推 荐 阅 读 推 荐 阅 读 1 .   C S 2 5 9 D :   D a t a   M i n i n g   f o r   C y b e r S e c u r i t y ,   课 程 网 址 ： h t t p : / / w e b . s t a n f o r d . e d u / c l a s s / c s 2 5 9 d / 2 .   楚 安 ， 数 据 科 学 在 W e b 威 胁 感 知 中 的 应 用 ， h t t p : / / w w w . j i a n s h u . c o m / p / 9 4 2 d 1 b e b 7 f d d 3 .   M c P A D   :   A   M u l t i p l e   C l a s s i f i e r   S y s t e m   f o r   A c c u r a t e   P a y l o a d - b a s e d   A n o m a l y   D e t e c t i o n ,   R o b e r t o   P e r d i s c i 4 .   A I 2   :   T r a i n i n g   a   b i g   d a t a   m a c h i n e   t o   d e f e n d ,   K a l y a n   V e e r a m a c h a n e n i 作 者 ： 七 雨 @ 阿 里 聚 安 全 ， 更 多 阿 里 安 全 类 技 术 文 章 ， 请 访 问 阿 里 聚 安 全 博 客
阅 读 原 文
回复

举报

高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

使用Markdown编辑器编辑 使用富文本编辑器编辑

Archiver| 手机版| 小黑屋|
Powered by Discuz! X3.4 Copyright © 2001-2020, Tencent Cloud. 商业源码建议获取授权，如侵犯您的权益，请联系客服处理