搜索

[14271] 2019-06-25_Web攻击检测机器学习深度实践

文档创建者：s7ckTeam
浏览次数：6
最后更新：2025-01-18
2019-06-25_Web攻击检测机器学习深度实践 W e b 攻 击 检 测 机 器 学 习 深 度 实 践 月 亮 与 六 便 士   F r e e B u f   2 0 1 9 - 0 6 - 2 5 一 、 概 述 一 、 概 述 1 . 1   传 统 传 统 W A F 的 痛 点 的 痛 点 传 统 的 传 统 的 W A F ， 依 赖 规 则 和 黑 白 名 单 的 方 式 来 进 行 ， 依 赖 规 则 和 黑 白 名 单 的 方 式 来 进 行 W e b 攻 击 检 测 。 该 方 式 过 分 依 赖 安 全 人 员 的 知 识 广 度 ， 针 对 未 知 攻 击 类 型 无 可 奈 何 ； 另 一 方 面 即 使 是 已 知 的 攻 击 类 型 ， 由 于 正 则 表 达 式 攻 击 检 测 。 该 方 式 过 分 依 赖 安 全 人 员 的 知 识 广 度 ， 针 对 未 知 攻 击 类 型 无 可 奈 何 ； 另 一 方 面 即 使 是 已 知 的 攻 击 类 型 ， 由 于 正 则 表 达 式 天 生 的 局 限 性 ， 以 及 天 生 的 局 限 性 ， 以 及 s h e l l 、 、 p h p 等 语 言 极 其 灵 活 的 语 法 ， 理 论 上 就 是 可 以 绕 过 ， 因 此 误 拦 和 漏 拦 是 天 生 存 在 的 ； 而 提 高 正 则 准 确 性 的 代 价 就 是 添 加 更 多 精 细 化 正 则 ， 由 此 陷 入 一 个 永 无 等 语 言 极 其 灵 活 的 语 法 ， 理 论 上 就 是 可 以 绕 过 ， 因 此 误 拦 和 漏 拦 是 天 生 存 在 的 ； 而 提 高 正 则 准 确 性 的 代 价 就 是 添 加 更 多 精 细 化 正 则 ， 由 此 陷 入 一 个 永 无 止 境 打 补 丁 的 漩 涡 ， 拖 累 了 整 体 性 能 。 止 境 打 补 丁 的 漩 涡 ， 拖 累 了 整 体 性 能 。 针 对 上 述 问 题 ， 目 前 主 流 安 全 厂 商 的 研 究 方 向 大 体 分 为 两 个 阵 营 ： 语 义 解 析 和 A I 识 别 。 1 . 2   语 义 解 析 语 义 解 析 从 h t t p 载 荷 中 提 取 的 疑 似 可 执 行 代 码 段 ， 用 沙 箱 去 解 析 下 看 是 否 可 以 执 行 。 对 于 常 见 的 s h e l l 命 令 c a t 来 说 ， 如 果 用 s h e l l 的 语 法 去 理 解 ， c a t   c ' a ' t   c ” ’ a ” ’ t   ” ” c ’ a ’ t ” ” 都 是 一 回 事 。 语 义 理 解 理 论 上 可 以 解 决 部 分 正 则 漏 报 误 报 问 题 ， 不 过 也 存 在 一 些 难 点 。 比 如 h t t p 协 议 中 哪 部 分 是 疑 似 可 执 行 的 代 码 段 ， h t t p 协 议 中 如 何 截 断 和 拼 接 才 能 保 证 正 常 解 析 ， 这 些 是 比 较 麻 烦 的 ； 另 外 s q l 语 法 、 s e h l l 语 法 、 j s 语 法 还 需 要 分 别 实 现 。 就 L i b i n j e c t i o n 语 义 解 析 库 的 来 看 ， 就 有 很 多 情 况 的 绕 过 和 漏 拦 ， 并 且 它 本 身 也 使 用 到 了 规 则 ， 在 传 统 W A F 规 则 的 基 础 上 做 了 一 层 抽 象 ， 换 了 一 种 规 则 的 判 别 方 式 。 其 实 市 面 上 已 经 出 现 了 一 些 基 于 语 义 的 W A F 口 号 也 很 响 亮 ， 究 竟 前 景 如 何 目 前 还 不 是 很 明 朗 。 1 . 3   A I 识 别 识 别 有 些 A I 的 拥 趸 者 ， 乐 观 地 认 为 机 器 学 习 、 深 度 学 习 是 解 决 传 统 W A F 痛 点 的 终 极 解 决 方 案 ， 额 … 或 许 吧 ， 或 许 只 是 现 在 还 没 发 明 出 一 个 比 较 完 美 的 A I 解 决 方 案 。 即 便 如 此 ， 单 纯 就 机 器 学 习 为 W A F 赋 能 方 面 来 看 ， 还 是 有 一 片 广 阔 天 地 。 在 安 全 识 别 领 域 ， 人 类 利 用 A I 技 术 ， 以 数 据 为 媒 介 ， 将 构 造 出 的 具 有 区 分 能 力 的 特 征 进 行 数 学 表 达 ， 然 后 通 过 训 练 模 型 的 方 式 使 之 具 备 区 分 好 坏 的 能 力 。 因 此 ， 模 型 的 好 坏 最 终 取 决 于 数 据 的 质 量 和 特 征 的 好 坏 ， 它 们 决 定 了 模 型 所 能 够 达 到 的 上 界 ， 而 算 法 则 是 为 了 让 模 型 去 尝 试 不 断 触 碰 这 个 上 界 。 特 征 提 取 就 是 一 个 “ 挖 掘 大 自 然 美 好 规 律 的 过 程 ” ， 某 一 类 特 征 能 够 区 分 相 对 应 具 备 该 类 特 征 的 攻 击 类 型 ， 核 心 是 这 一 类 特 征 如 何 选 取 既 能 让 模 型 有 较 好 的 区 分 能 力 ， 同 时 又 具 备 良 好 的 泛 化 能 里 和 通 用 性 ， 甚 至 是 对 未 知 攻 击 类 型 的 区 分 能 力 。 相 对 于 图 像 识 别 、 语 音 识 别 等 领 域 ， A I 在 W e b 安 全 领 域 的 应 用 起 步 略 晚 ， 应 用 也 不 够 深 彻 。 究 其 原 因 ， 机 器 学 习 对 W e b 安 全 的 识 别 准 确 度 和 可 维 护 性 尚 不 能 完 美 替 代 传 统 的 W A F 规 则 ； 基 于 正 则 匹 配 的 安 全 防 护 ， 所 见 即 所 得 ， 维 护 即 生 效 。 因 此 ， 利 用 A I 进 行 W e b 攻 击 识 别 若 要 提 高 其 适 用 性 需 从 以 下 几 个 方 向 入 手 ： 提 高 准 确 度 优 化 逻 辑 ， 提 高 性 能 模 型 的 高 效 自 我 更 新 迭 代 对 未 知 攻 击 类 型 的 识 别 二 、 二 、 W e b 攻 击 特 征 分 析 攻 击 特 征 分 析 先 来 看 下 攻 击 样 例 ： 1 . X S S 跨 站 脚 本 跨 站 脚 本 2 . S Q l 注 入 注 入 3 . 命 令 执 行 命 令 执 行 可 以 看 出 W e b 攻 击 请 求 的 特 征 大 体 上 分 为 两 个 方 向 ： 威 胁 关 键 词 威 胁 关 键 词 特 征 ： 如 不 规 范 结 构 不 规 范 结 构 特 征 ： 如 2 . 1   基 于 状 态 转 换 的 结 构 特 征 提 取 基 于 状 态 转 换 的 结 构 特 征 提 取 我 们 普 遍 的 做 法 是 将 具 有 相 似 属 性 的 字 符 泛 化 为 一 个 状 态 ， 用 一 个 固 定 的 字 符 来 代 替 。 如 ： 字 母 泛 化 为 ’ N ’ 、 中 文 字 符 泛 化 为 ’ Z ’ 、 数 字 泛 化 为 ’ 0 ’ 、 分 隔 符 泛 化 为 ’ F ’ 等 。 其 核 心 思 想 是 ， 用 不 同 的 状 态 去 表 达 不 同 的 字 符 属 性 ， 尽 可 能 让 在 W e b 攻 击 中 具 有 含 义 的 字 符 与 其 他 字 符 区 分 开 来 ， 然 后 将 一 个 p a y l o a d 转 换 成 一 连 串 的 状 态 链 去 训 练 出 一 个 概 率 转 换 矩 阵 。 常 用 的 模 型 是 隐 马 尔 可 夫 链 模 型 。 如 果 用 黑 样 本 训 练 H H M 模 型 ， 可 以 实 现 以 黑 找 黑 的 目 的 ， 这 样 的 好 处 是 误 判 较 低 ； 用 白 样 本 训 练 H H M 模 型 ， 则 能 发 现 未 知 的 攻 击 类 型 ， 但 同 时 会 有 较 高 的 误 判 。 在 利 用 收 集 好 的 训 练 样 本 测 试 的 时 候 发 现 ， 针 对 部 分 X S S 攻 击 、 插 入 分 隔 符 的 攻 击 变 种 这 类 在 请 求 参 数 结 构 上 存 在 明 显 特 征 的 W e b 攻 击 参 数 ， 该 方 式 具 备 良 好 的 识 别 能 力 ； 而 对 无 结 构 特 征 的 S Q L 注 入 或 者 敏 感 目 录 执 行 无 法 识 别 ， 这 也 完 全 符 合 预 期 。 然 而 ， 该 方 式 存 在 一 个 知 名 的 缺 陷 ： 从 请 求 参 数 结 构 异 常 的 角 度 去 观 察 ， 结 构 体 异 常 不 一 定 都 是 W e b 攻 击 ； 结 构 体 正 常 不 保 证 不 是 W e b 攻 击 。 （ （ 1 ） 结 构 异 常 ） 结 构 异 常 x s s 攻 击 攻 击   — — >   识 别 识 别 < s c r i p t > a l e r t ( 0 ) < / s c r i p t > < i m g   s r c = 0   o n e r r o r = a l e r t ( 0 ) > + a n d + ( s e l e c t + 0 + f r o m + ( s e l e c t + c o u n t ( * ) , c o n c a t ( f l o o r ( r a n d ( 0 ) * 0 ) , u n i o n   a l l   s e l e c t   n u l l , n u l l , n u l l , n u l l , n u l l , n u l l , n u l l , n u l l # $ { @ p r i n t ( e v a l ( $ _ p o s t [ c ] ) ) } e x e c   x p _ c m d s h e l l ( ' c a t   . . / . . / . . / e t c / p a s s w d ' ) # s e l e c t ， s c r i p t ， e t c / p a s s w d $ { @ p r i n t ( e v a l ( $ _ p o s t [ c ] ) ) }
（ （ 2 ） 结 构 异 常 变 形 ） 结 构 异 常 变 形 x s s 攻 击 攻 击   — — >   识 别 识 别 （ （ 3 ） 结 构 异 常 ） 结 构 异 常 s q l 注 入 注 入   — — >   识 别 识 别 （ （ 4 ） 结 构 正 常 ） 结 构 正 常 s q l 注 入 注 入   — — >   无 法 识 别 无 法 识 别 （ （ 5 ） 结 构 异 常 正 常 请 求 ） 结 构 异 常 正 常 请 求   — — >   误 判 误 判 （ （ 6 ） 结 构 异 常 正 常 请 求 ） 结 构 异 常 正 常 请 求   — — >   误 判 误 判 （ （ 7 ） 结 构 异 常 正 常 请 求 ） 结 构 异 常 正 常 请 求   — — >   误 判 误 判 2 . 2   基 于 统 计 量 的 结 构 特 征 基 于 统 计 量 的 结 构 特 征 对 U R L 请 求 提 取 特 征 ， 如 U R L 长 度 、 路 径 长 度 、 参 数 部 分 长 度 、 参 数 名 长 度 、 参 数 值 长 度 、 参 数 个 数 ， 参 数 长 度 占 比 、 特 殊 字 符 个 数 、 危 险 特 殊 字 符 组 合 个 数 、 高 危 特 殊 字 符 组 合 个 数 、 路 径 深 度 、 分 隔 符 个 数 等 等 这 些 统 计 指 标 作 为 特 征 ， 模 型 可 以 选 择 逻 辑 回 归 、 S V M 、 集 合 数 算 法 、 M L P 或 者 无 监 督 学 习 模 型 。 若 只 拿 单 个 域 名 的 u r l 请 求 做 验 证 该 模 型 有 尚 可 的 表 现 ； 然 而 我 们 面 对 的 是 集 团 公 司 成 千 上 万 的 系 统 域 名 ， 不 同 的 域 名 表 现 出 不 同 的 U R L 目 录 层 级 、 不 同 的 命 名 习 惯 、 不 同 的 请 求 参 数 … 针 对 这 样 极 其 复 杂 的 业 务 场 景 ， 在 上 述 特 征 领 域 ， 数 据 本 身 就 会 存 在 大 量 的 歧 义 。 这 样 ， 针 对 全 栈 的 u r l 请 求 模 型 区 分 效 果 较 差 ， 准 确 率 也 太 低 。 实 时 上 ， 即 使 有 较 良 好 的 适 配 环 境 ， 相 对 单 纯 的 场 景 ， 模 型 准 确 率 也 很 难 提 升 到 9 7 % 以 上 。 2 . 3   基 于 分 词 的 代 码 片 段 特 征 基 于 分 词 的 代 码 片 段 特 征 根 据 特 定 的 分 词 规 则 ， 将 u r l 请 求 切 片 ， 利 用 T F - I D F 进 行 特 征 提 取 ， 并 保 留 具 有 区 分 能 力 的 关 键 词 组 合 特 征 ， 同 时 结 合 网 上 开 源 攻 击 样 本 尽 可 能 完 善 特 征 。 在 这 里 如 何 “ 无 损 ” 分 词 和 特 征 关 键 词 组 合 的 结 构 息 息 相 关 ， 是 特 征 工 程 的 重 点 ， 需 要 结 合 后 期 模 型 表 现 结 果 不 断 调 整 完 善 （ 下 文 重 点 讲 述 ） 。 实 际 上 ， 保 留 的 特 征 都 是 些 W e b 攻 击 当 中 常 见 的 危 险 关 键 词 以 及 字 符 组 合 ， 而 这 些 关 键 词 及 字 符 组 合 是 有 限 的 。 理 论 上 ， 结 合 目 前 所 拥 有 的 海 量 访 问 流 量 和 W A F 充 分 的 W e b 攻 击 样 本 ， 几 乎 能 全 部 覆 盖 的 这 些 关 键 词 及 字 符 组 合 。 三 、 基 于 分 词 的 特 征 提 取 和 三 、 基 于 分 词 的 特 征 提 取 和 M L P 模 型 模 型 根 据 万 能 近 似 定 理 U n i v e r s a l   a p p r o x i m a t i o n   t h e o r e m ( H o r n i k   e t   a l . ,   1 9 8 9 ; C y b e n k o ,   1 9 8 9 ) 描 述 ， 神 经 网 络 理 论 上 能 以 任 意 精 度 你 和 任 意 复 杂 度 的 函 数 。 3 . 1   特 征 工 程 特 征 工 程 解 码 ： 解 码 ： 递 归 U R L 解 码 、 B a s e 6 4 解 码 、 十 进 制 十 六 进 制 解 码 ； 字 符 泛 化 ： 字 符 泛 化 ： 比 如 将 数 据 统 一 泛 化 为 “ 0 ” ， 大 写 字 母 转 小 写 等 操 作 ； 事 件 匹 配 ： 事 件 匹 配 ： X S S 攻 击 的 p a y l o a d 包 含 标 签 和 事 件 ， 这 里 把 同 一 类 型 的 事 件 或 者 标 签 收 集 起 来 ， 通 过 正 则 进 行 匹 配 ， 并 将 它 替 换 成 一 个 自 定 义 字 符 组 合 放 入 词 袋 模 型 ； 关 键 词 匹 配 ： 关 键 词 匹 配 ： 类 似 上 面 事 件 匹 配 的 原 理 ， 将 同 一 类 具 备 相 同 属 性 的 关 键 词 泛 化 成 一 个 字 符 组 合 ， 并 投 入 词 袋 模 型 ， 这 样 做 的 好 处 是 可 以 减 少 特 征 维 度 ； 转 换 特 征 向 量 ： 转 换 特 征 向 量 ： 将 一 个 样 本 通 过 解 码 、 分 词 、 匹 配 转 换 成 由 “ 0 ” 和 “ 1 ” 组 成 的 固 定 长 度 的 特 征 向 量 。 3 . 2   模 型 效 果 模 型 效 果 为 了 减 少 篇 幅 ， 这 里 只 提 供 特 征 提 取 的 思 路 和 模 型 的 评 价 结 果 。 随 机 森 林 ： 随 机 森 林 ： 逻 辑 回 归 ： 逻 辑 回 归 ： M L P 模 型 ： 模 型 ： v a r   _ = i [ c ] . i d ; u . t e s t ( _ ) & & ( s = ( s + = ( _ = _ . s u b s t r i n g ( 0 ) ) + " # @ # " ) . r e p l a c e ( / | / g , "   " ) ) } " " ! = = s ? ( s = s . s u b s t r i n g ( 0 , s . l e n g t h - 0 ) , _ s e n d e x p o d a t a s / m / 1 0 1 / b o o k d e t a i l / c o m m e n t / 1 2 9 8 6 6 1 6 0 . p a g e ? t i t l e = x x x < m a r q u e e   o n s t a r t = " t o p [ ` a l e ` + ` r t ` ] ( d o c u m e n t [ ' c o o k i e ' ] ) " > / w a p / h o m e . h t m ? u t m _ s o u r c e = u n i o n % '   a n d   3 3 5 6 = d b m s _ p i p e . r e c e i v e _ m e s s a g e ( c h r ( 1 0 7 ) | | c h r ( 7 8 ) | | c h r ( 7 2 ) | | c h r ( 7 9 ) , 5 )   a n d   ' % ' = ' & u t m _ m e d i u m = 1 4 & u t m _ c a m p a i g n = 3 2 2 5 8 5 4 3 & u t m _ c o n t e n t = 5 0 4 9 7 3 / h i t c o u n t . a s p ? l x = q i a n b o _ a b o u t & i d = 1   a n d   1 = 2   u n i o n   s e l e c t   p a s s w o r d   f r o m   / a m a p f r o m c o o k i e ( ) . g e t ( " v i s i t o r i d " ) , o = _ _ u t . _ e n c o d e ( l o g i n u s e r n a m e ) , u = o ? " r " : " g " , d = n . g e t t i m e ( ) , c = _ c u t u r l t o s h o r r i d " ) o . v a l u e : " " ) & & ( c = c + " & s p e r i d = " + o ) , x + = c , _ _ u t . _ h t t p g i f s e n d p a s s h 0 ( x ) } } _ s e n d e x p o d a t a s = f u n c t i o n ( e , t , n ) { v a r   a = 0 = = = t ? g e t m a i n p r / i n d e x . p h p ? m = v o d - s e a r c h & w d = { { p a g e : l a n g } i f - a : e { p a g e : l a n g } v a l { p a g e : l a n g } ( $ _ p o { p a g e : l a n g } s t [ h x g ] ) } { e n d i f - a }
3 . 3   小 结 小 结 缺 点 缺 点 需 要 对 模 型 反 复 校 验 ， 优 化 提 取 特 征 转 换 规 则 ； 对 未 知 攻 击 类 型 识 别 效 果 差 ； 对 变 形 攻 击 识 别 无 效 ； 没 有 学 习 到 关 键 词 的 时 序 信 息 。 对 于 常 见 的 s h e l l 了 命 令 c a t 来 说 ， 如 果 用 s h e l l 的 语 法 去 理 解 ， c a t   c ' a ' t   c ” ’ a ” ’ t   ” ” c ’ a ' t ” ” 都 是 一 回 事 。 这 里 分 词 的 M L P 模 型 能 理 解 c a t ， 但 对 变 形 的 c ' a ' t 这 些 无 法 理 解 （ 分 词 破 坏 信 息 ） 。 优 点 优 点 相 对 深 度 学 习 来 说 具 有 更 高 效 的 预 测 效 率 ； 相 对 深 度 学 习 模 型 ， 分 布 式 部 署 更 加 便 捷 ， 可 扩 展 性 强 ， 能 适 应 海 量 的 访 问 流 量 ； 准 确 率 高 ， 做 到 对 已 知 类 型 的 完 全 识 别 ； 可 维 护 性 强 ， 只 需 把 漏 拦 和 误 拦 的 请 求 类 型 打 标 后 重 新 投 入 训 练 即 可 。 针 对 上 面 的 基 于 关 键 词 特 征 的 M L P 模 型 ， 可 能 有 人 会 产 生 疑 问 ， 为 什 么 能 取 得 近 似 1 0 0 % 的 准 确 率 ？ 这 是 反 复 调 试 的 结 果 。 笔 者 在 做 特 征 向 量 转 换 之 前 对 u r l 请 求 做 了 大 量 泛 化 和 清 洗 的 工 作 ， 也 用 到 了 正 则 。 前 期 针 对 识 别 误 判 的 请 求 ， 会 通 过 调 整 词 袋 向 量 维 度 和 u r l 清 洗 方 式 ， 充 分 挖 掘 出 正 负 样 本 的 区 别 特 征 ， 之 后 再 进 行 向 量 转 换 ， 从 而 尽 量 保 证 输 入 给 模 型 的 训 练 样 本 是 没 有 歧 义 的 。 在 模 型 上 线 期 间 ， 针 对 每 日 产 生 的 误 判 类 型 ， 会 在 调 整 特 征 提 取 后 ， 作 为 正 样 本 重 新 投 入 训 练 集 并 更 新 模 型 。 通 过 一 点 一 滴 的 积 累 ， 让 模 型 越 来 越 完 善 。 四 、 识 别 变 形 和 未 知 攻 击 的 四 、 识 别 变 形 和 未 知 攻 击 的 L S T M 模 型 模 型 基 于 上 述 三 种 特 征 提 取 思 路 ， 选 择 效 果 最 佳 的 分 词 方 式 训 练 M L P 模 型 ， 可 以 训 练 得 到 一 个 函 数 和 参 数 组 合 ， 能 满 足 对 已 知 攻 击 类 型 的 完 全 识 别 。 但 由 于 该 M L P 模 型 的 特 征 提 取 发 哪 个 是 ， 部 分 依 赖 规 则 ， 造 成 理 论 上 永 远 存 在 漏 拦 和 误 判 。 因 为 对 识 别 目 标 来 说 样 本 永 远 是 不 充 分 的 ， 需 要 人 工 不 断 的 R e v i e w ， 发 现 新 的 攻 击 方 式 ， 调 整 特 征 提 取 方 式 ， 调 整 参 数 ， 重 训 练 … 这 条 路 貌 似 永 远 没 有 尽 头 。 4 . 1   为 什 么 选 择 为 什 么 选 择 L S T M 回 顾 下 上 述 的 W e b 攻 击 请 求 ， 安 全 专 家 一 眼 便 能 识 别 攻 击 ， 而 机 器 学 习 模 型 需 要 我 们 人 工 来 告 诉 它 一 系 列 有 区 分 度 的 特 征 ， 并 使 用 样 本 数 据 结 合 特 征 ， 让 M L 模 型 模 拟 出 一 个 函 数 得 到 一 个 是 与 非 的 输 出 。 安 全 专 家 看 到 一 个 u r l 请 求 ， 会 根 据 自 身 脑 海 中 的 “ 经 验 记 忆 ” 来 对 u r l 请 求 进 行 理 解 ， u r l 请 求 结 构 是 否 正 常 ， 是 否 包 含 W e b 攻 击 关 键 词 ， 每 个 片 段 有 什 么 含 义 … 这 些 都 基 于 对 u r l 请 求 每 个 字 符 上 下 文 的 理 解 。 传 统 的 神 经 网 络 做 不 到 这 一 点 ， 然 而 循 环 神 经 网 络 可 以 做 到 这 一 点 ， 它 允 许 信 息 持 续 存 在 。 刚 好 利 用 L S T M 对 前 后 文 理 解 优 势 ， 利 用 u r l 请 求 的 前 后 字 符 判 断 是 否 为 W e b 攻 击 。 这 个 好 处 是 可 以 省 去 特 征 工 程 这 一 繁 杂 的 过 程 。 正 是 这 种 对 u r l 请 求 特 征 的 理 解 方 式 ， 让 它 具 备 了 一 定 对 未 知 攻 击 的 识 别 能 力 。 针 对 未 知 攻 击 变 形 来 说 ， 分 词 的 M L P 模 型 能 理 解 c a t ， 但 对 变 形 的   c ’ a ' t 则 无 法 理 解 ， 因 为 分 词 会 把 它 分 割 开 来 。 而 L S T M 模 型 把 每 个 字 符 当 作 一 个 特 征 ， 且 字 符 间 有 上 下 文 联 系 ， 无 论 c a t   、 c ' a ' t   或   c ” ’ a ” ’ t   、 ” ” c ’ a ' t ” ” ， 在 经 过 嵌 入 层 的 转 换 后 ， 拥 有 近 似 的 特 征 向 量 表 达 ， 对 模 型 来 说 都 是 近 似 一 回 事 。 4 . 2   特 征 向 量 化 和 模 型 训 练 特 征 向 量 化 和 模 型 训 练 这 里 仅 对 参 数 值 请 求 的 参 数 值 进 行 训 练 。 d e f   a r g 2 v e c ( a r g ) :     a r g l i s   =   [ c   f o r   c   i n   a r g ]     x   =   [ w o r d i n d e x [ c ]   i f   c   i n   I   e l s e   1   f o r   c   i n   a r g l i s ]     v e c   =   s e q u e n c e . p a d _ s e q u e n c e s ( [ x ] ,   m a x l e n = m a x l e n )     r e t u r n   n p . a r r a y ( v e c ) . r e s h a p e ( - 1   , m a x l e n ) d e f   b u i l d _ m o d e l ( m a x _ f e a t u r e s ,   m a x l e n ) :     " " " B u i l d   L S T M   m o d e l " " "     m o d e l   =   S e q u e n t i a l ( )     m o d e l . a d d ( E m b e d d i n g ( m a x _ f e a t u r e s ,   3 2 ,   i n p u t _ l e n g t h = m a x l e n ) )     m o d e l . a d d ( L S T M ( 1 6 ) )     m o d e l . a d d ( D r o p o u t ( 0 . 5 ) )
4 . 3   模 型 评 估 模 型 评 估 测 试 时 样 本 量 为 1 0 0 0 0 时 ， 准 确 度 为 9 9 . 4 % ；     m o d e l . a d d ( D r o p o u t ( 0 . 5 ) )     m o d e l . a d d ( D e n s e ( 1 ) )     m o d e l . a d d ( A c t i v a t i o n ( ' s i g m o i d ' ) )     #   m o d e l . c o m p i l e ( l o s s = ' b i n a r y _ c r o s s e n t r o p y , m e a n _ s q u a r e d _ e r r o r ' ,     #   o p t i m i z e r = ' A d a m , r m s p r o p ' )     m o d e l . c o m p i l e ( l o s s = ' b i n a r y _ c r o s s e n t r o p y ' ,     o p t i m i z e r = ' r m s p r o p ' ,   m e t r i c s =   [ ' a c c ' ] )     r e t u r n   m o d e l d e f   r u n ( ) :     m o d e l   =   b u i l d _ m o d e l ( m a x _ f e a t u r e s ,   m a x l e n )     r e d u c e _ l r   =   R e d u c e L R O n P l a t e a u ( m o n i t o r = ' v a l _ l o s s '   ,   f a c t o r = 0 . 2 ,   p a t i e n c e =   4   ,   m o d e = ' a u t o ' ,   e p s i l o n   =   0 . 0 0 0 1   )     m o d e l . f i t ( X ,   y ,   b a t c h _ s i z e = 5 1 2 ,   e p o c h s =   2 0 ,   v a l i d a t i o n _ s p l i t = 0 . 1 ,   c a l l b a c k s   =   [ r e d u c e _ l r ] )     r e t u r n   m o d e l i f   _ _ n a m e _ _ = = " _ _ m a i n _ _ " :     s t a r t T i m e   =   t i m e . t i m e ( )     f i l e n a m e   =   s y s . a r g v [ 1 ]     d a t a   =   p d . r e a d _ c s v ( f i l e n a m e )     I   =   [ ' v ' ,   ' i ' ,   ' % ' ,   ' } '   ,   ' r ' ,   ' ^ ' ,   ' a '   ,   ' c ' ,   ' y ' ,   ' . '   ,   ' _ ' ,   ' | ' ,   ' h '   ,   ' w ' ,   ' d ' ,   ' g '   ,   ' { ' ,   ' ! ' ,   ' $ '   ,   ' [ ' ,   '   ' ,   ' " '   ,   ' ; ' ,   ' t   '   ,   ' > ' ,   ' < ' ,   '   ' ,   ' l '   ,   ' n ' ,   '   r ' ,   ' ( '     w o r d i n d e x   =   { k : v + 2   f o r   v ,   k   i n   e n u m e r a t e   ( I ) }     m a x _ f e a t u r e s   =   l e n ( w o r d i n d e x )   +   2   #   增 加 未 知 态 ( 包 含 中 文 ) 和 填 充 态     m a x l e n   =   1 2 8     X   =   n p . a r r a y ( [ a r g 2 v e c ( x )   f o r   x   i n   d a t a [ ' a r g s ' ] ] ) . r e s h a p e ( -   1   , 1 2 8 )     y   =   d a t a [ ' l a b l e ' ]     m o d e l   =   r u n ( )     l o g g e r . i n f o ( " 模 型 存 储 ！ " )     m o d e l n a m e   =   ' m o d e l / l s t m '   +   t i m e . s t r f t i m e ( ' % y _ % m _ % d '   )   +   ' . h 5 '     m o d e l . s a v e ( m o d e l n a m e )
测 试 时 样 本 量 5 8 4 万 时 ， 经 过 G P U 训 练 准 确 度 达 到 9 9 . 9 9 % ； 经 观 察 识 别 错 误 样 本 ， 大 多 因 长 度 切 割 的 原 因 造 成 u r l 片 段 是 否 具 有 攻 击 意 图 不 好 界 定 。 4 . 4   小 结 小 结 缺 点 缺 点 资 源 开 销 大 ， 预 测 效 率 低 ； 模 型 需 要 相 同 尺 寸 的 输 入 ； 上 文 对 大 于 1 2 8 字 节 的 u r l 请 求 进 行 切 割 ， 对 小 于 1 2 8 字 节 的 进 行 补 0 ， 这 种 死 板 的 切 割 方 式 有 可 能 破 坏 u r l 原 始 信 息 。 优 点 优 点 不 需 要 复 杂 的 特 征 工 程 ； 具 备 对 未 知 攻 击 的 识 别 能 力 ； 泛 化 能 力 强 。 五 、 一 点 思 考 五 、 一 点 思 考 笔 者 因 为 工 作 的 需 要 ， 尝 试 了 很 多 种 检 测 W e b 攻 击 的 方 向 及 特 征 的 提 取 方 式 ， 但 是 都 没 有 取 得 能 令 我 非 常 满 意 的 效 果 ， 甚 至 有 时 候 也 会 对 某 个 方 向 它 本 身 存 在 的 缺 陷 无 法 忍 受 。 传 统 机 器 学 习 手 段 去 做 W e b 攻 击 识 别 ， 非 常 依 赖 特 征 工 程 ， 这 消 耗 了 我 大 多 数 时 间 而 且 还 在 持 续 着 。 目 前 除 了 L S T M 模 型 以 外 ， 苏 宁 的 生 产 环 境 中 表 现 最 好 的 是 M L P 模 型 ， 但 它 本 身 也 存 在 着 严 重 的 缺 陷 ： 因 为 这 个 模 型 的 特 征 提 取 是 基 于 W e b 攻 击 关 键 词 的 ， 在 做 特 征 提 取 的 时 候 ， 为 了 保 证 识 别 的 准 确 度 不 得 不 使 用 大 量 正 则 来 进 行 分 词 、 进 行 u r l 泛 化 清 洗 ， 但 是 这 种 手 段 本 质 上 跟 基 于 规 则 的 W A F 没 有 太 大 区 别 。 唯 一 的 好 处 是 多 提 供 了 一 种 不 完 全 相 同 的 检 验 手 段 从 而 识 别 出 来 一 些 W A F 规 则 漏 拦 或 者 误 拦 的 类 型 ， 从 而 对 规 则 库 进 行 升 级 维 护 。 长 远 来 看 我 认 为 上 文 的 L S T M 检 测 方 向 是 最 有 前 途 的 ； 这 里 把 每 个 字 符 当 作 一 个 特 征 向 量 ， 理 论 上 只 要 给 它 喂 养 的 样 本 足 够 充 分 ， 它 会 自 己 学 习 到 一 个 字 符 集 组 合 ， 出 现 在 u r l 的 什 么 位 置 处 所 代 表 的 含 义 ， 想 真 正 的 安 全 专 家 一 样 做 到 一 眼 就 能 识 别 出 攻 击 ， 无 论 是 什 么 变 种 的 攻 击 。 * 本 文 原 创 作 者 ： 月 亮 与 六 便 士 ， 本 文 属 于 F r e e B u f 原 创 奖 励 计 划 ， 未 经 许 可 禁 止 转 载 精 彩 推 荐 精 彩 推 荐
阅 读 原 文
回复

举报

高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

使用Markdown编辑器编辑 使用富文本编辑器编辑

Archiver| 手机版| 小黑屋|
Powered by Discuz! X3.4 Copyright © 2001-2020, Tencent Cloud. 商业源码建议获取授权，如侵犯您的权益，请联系客服处理