搜索

[13199] 2018-09-18_基于机器学习的WEB攻击分类检测模型

文档创建者：s7ckTeam
浏览次数：4
最后更新：2025-01-18
2018-09-18_基于机器学习的WEB攻击分类检测模型 基 于 机 器 学 习 的 W E B 攻 击 分 类 检 测 模 型 王 S i r _ 甜 橙 金 融   F r e e B u f   2 0 1 8 - 0 9 - 1 8 机 器 学 习 目 前 已 有 很 多 创 新 应 用 ， 例 如 攻 防 对 抗 、 机 器 学 习 目 前 已 有 很 多 创 新 应 用 ， 例 如 攻 防 对 抗 、 U E B A 以 及 金 融 反 欺 诈 等 。 基 于 机 器 学 习 的 新 一 代 以 及 金 融 反 欺 诈 等 。 基 于 机 器 学 习 的 新 一 代 W E B 攻 击 检 测 攻 击 检 测 技 术 有 望 弥 补 传 统 规 则 集 方 法 的 不 足 ， 为 技 术 有 望 弥 补 传 统 规 则 集 方 法 的 不 足 ， 为 W E B 对 抗 的 防 守 端 带 来 新 的 发 展 和 突 破 。 对 抗 的 防 守 端 带 来 新 的 发 展 和 突 破 。 本 文 是 作 者 近 十 年 安 全 领 域 工 作 总 结 出 的 人 工 智 能 实 战 初 探 ， 首 先 采 用 聚 类 模 型 ， 将 正 常 数 据 和 已 知 攻 击 类 型 的 数 据 形 成 样 本 簇 ， 过 滤 掉 异 常 数 据 之 后 送 入 分 类 模 型 对 数 据 进 行 分 类 ， 从 而 发 现 新 型 W E B 攻 击 行 为 。 系 统 架 构 图 设 计 系 统 架 构 图 设 计
分 类 检 测 流 程 图 分 类 检 测 流 程 图 一 、 日 志 预 处 理 一 、 日 志 预 处 理 目 前 常 见 的 网 络 安 全 攻 击 类 型 主 要 包 括 ： 编 号 编 号 攻 击 类 型 攻 击 类 型 0 正 常 1 S Q L   注 入 2 缺 失 报 头 3 爬 虫 4 跨 站 脚 本 攻 击 5 漏 洞 防 护 6 扫 描 工 具 7 协 议 违 规 8 针 对 i e 8 的 跨 站 攻 击 本 文 主 要 针 对 最 常 见 的 S Q L 注 入 攻 击 和 跨 站 脚 本 攻 击 进 行 介 绍 。 1 . S Q L   注 入 ： 注 入 ： S Q L   注 入 其 实 就 是 攻 击 者 通 过 操 作 输 入 修 改 后 台 数 据 库 的 语 句 ， 执 行 代 码 从 而 达 到 攻 击 的 目 的 。 U R L 地 址 中 的 参 数 经 常 与 数 据 库 S Q L 语 句 中 各 参 数 相 关 联 ， 攻 击 者 通 过 构 造 参 数 很 容 易 会 引 起 S Q L 注 入 的 问 题 ， 所 以 攻 击 者 通 常 会 在 参 数 中 注 入 数 据 库 专 用 语 言 和 关 键 字 。 2 . X S S   攻 击 ： 攻 击 ： 即 跨 站 脚 本 攻 击 ， 曾 被 O W A S P 评 为 W e b 攻 击 中 最 危 险 的 攻 击 ， X S S 攻 击 可 分 为 存 储 型 X S S 和 反 射 型 X S S ， 其 构 造 方 法 是 在 U R L 地 址 的 请 求 参 数 中 加 入 脚 本 代 码 ， 本 质 上 是 一 种 针 对 H T M L 的 注 入 攻 击 。
基 于 机 器 学 习 的 W E B 攻 击 分 类 检 测 模 型 主 要 对 U R L 进 行 分 析 ： 包 括 数 字 处 理 、 字 母 处 理 、 字 符 处 理 及 文 本 结 构 分 析 ， S Q L 注 入 和 X S S 攻 击 具 有 关 键 词 、 数 字 占 比 较 高 等 显 著 特 征 ， 通 过 文 本 分 析 进 行 统 计 处 理 ， 将 明 显 的 特 征 点 提 取 出 来 作 为 后 续 分 类 的 特 征 向 量 。 二 、 聚 类 模 型 构 建 ： 二 、 聚 类 模 型 构 建 ： 监 督 学 习 都 需 要 一 个 训 练 阶 段 , 牵 涉 到 缺 陷 学 习 阶 段 的 引 入 ， 使 得 基 于 监 督 学 习 的 W E B 攻 击 检 测 模 型 设 计 变 得 较 为 复 杂 。 首 先 需 要 为 模 型 的 学 习 准 备 训 练 样 本 集 , 并 对 训 练 样 本 分 类 打 标 记 , 这 些 都 需 要 大 量 的 人 工 参 与 。 监 督 学 习 方 法 的 检 测 性 能 对 训 练 的 好 坏 具 有 很 大 的 依 赖 性 ， 训 练 样 本 集 的 完 备 性 和 训 练 样 本 标 记 的 正 确 性 都 会 影 响 方 法 在 检 测 阶 段 的 性 能 表 现 。 通 过 对 日 志 和 流 量 数 据 进 行 分 析 发 现 以 下 特 征 ： 1 )   9 0 %   以 上 都 是 正 常 的 访 问 请 求 , 恶 意 的 攻 击 行 为 占 总 请 求 量 很 小 一 部 分 ； 2 )   正 常 访 问 的 参 数 形 式 之 间 变 化 很 小 , 具 有 很 好 的 聚 类 特 性 ； 3 )   恶 意 攻 击 与 正 常 样 本 模 式 之 间 有 较 大 的 差 异 , 聚 类 特 性 较 差 。 通 常 正 常 流 量 是 大 量 重 复 性 存 在 的 ， 而 入 侵 行 为 则 极 为 稀 少 。 因 此 我 们 选 取 K - m e a n s 构 造 能 够 充 分 表 达 白 样 本 的 最 小 模 型 作 为 P r o f i l e ， 实 现 异 常 检 测 。
我 们 通 过 训 练 大 量 正 常 样 本 以 及 已 知 的 攻 击 类 型 样 本 ， 过 滤 掉 未 知 的 攻 击 行 为 ， 为 我 们 后 续 分 类 器 的 准 确 度 提 供 了 保 证 。 以 下 代 码 实 现 了 如 何 使 用 聚 类 算 法 形 成 样 本 簇 ， 判 断 是 否 异 常 ， 过 滤 掉 异 常 数 据 并 将 数 据 送 入 分 类 器 模 型 。
三 、 分 类 检 测 模 型 构 建 三 、 分 类 检 测 模 型 构 建 以 上 介 绍 了 如 何 利 用 聚 类 算 法 对 异 常 攻 击 行 为 进 行 过 滤 ， 为 下 一 步 构 造 多 分 类 检 测 模 型 打 好 基 础 ， 目 前 主 流 分 类 器 包 括 S V M 、 随 机 森 林 、 x g b o o s t 等 算 法 ， 本 文 选 择 随 机 森 林 算 法 ， 后 续 也 会 增 加 x g b o o s t 的 实 现 。 随 机 森 林 算 法 把 分 类 树 组 合 成 随 机 森 林 ， 即 在 变 量 （ 列 ） 的 使 用 和 数 据 （ 行 ） 的 使 用 上 进 行 随 机 化 ， 生 成 很 多 分 类 树 ， 再 汇 总 分 类 树 的 结 果 。 随 机 森 林 在 运 算 量 没 有 显 著 提 高 的 前 提 下 提 高 了 预 测 精 度 。 随 机 森 林 对 多 元 共 线 性 不 敏 感 ， 结 果 对 缺 失 数 据 和 非 平 衡 的 数 据 比 较 稳 健 ， 可 以 很 好 地 预 测 多 达 几 千 个 解 释 变 量 的 作 用 。 随 机 森 林 的 主 要 优 点 有 ： 1 )   训 练 可 以 高 度 并 行 化 ， 对 于 大 数 据 时 代 的 大 样 本 训 练 速 度 有 优 势 ； 2 )   由 于 可 以 随 机 选 择 决 策 树 节 点 划 分 特 征 ， 这 样 在 样 本 特 征 维 度 很 高 的 时 候 ， 仍 然 能 高 效 的 训 练 模 型 ；
3 )   在 训 练 后 ， 可 以 给 出 各 个 特 征 对 于 输 出 的 重 要 性 ； 4 )   由 于 采 用 了 随 机 采 样 ， 训 练 出 的 模 型 的 方 差 小 ， 泛 化 能 力 强 ； 5 )   相 对 于 B o o s t i n g 系 列 的 A d a b o o s t 和 G B D T ， 随 机 森 林 实 现 比 较 简 单 ； 6 )   对 部 分 特 征 缺 失 不 敏 感 ； 7 )   对 数 据 集 的 适 应 能 力 强 ： 既 能 处 理 离 散 型 数 据 ， 也 能 处 理 连 续 型 数 据 ， 数 据 集 无 需 规 范 化 ； 8 )   在 创 建 随 机 森 林 的 时 候 ， 对 g e n e r l i z a t i o n   e r r o r 使 用 的 是 无 偏 估 计 ； 9 )   训 练 过 程 中 ， 能 够 检 测 到 f e a t u r e 间 的 互 相 影 响 。 随 机 森 林 也 有 一 些 缺 点 ， 包 括 ： 1 )   在 某 些 噪 音 比 较 大 的 样 本 集 上 ， 随 机 森 林 模 型 容 易 陷 入 过 拟 合 ； 2 )   取 值 划 分 比 较 多 的 特 征 容 易 对 随 机 森 林 的 决 策 产 生 更 大 的 影 响 ， 从 而 影 响 拟 合 的 模 型 的 效 果 。 将 已 知 W E B 攻 击 和 正 常 访 问 文 本 抽 象 成 多 个 特 征 向 量 ， 再 将 特 征 向 量 输 送 到 随 机 森 林 中 ， 对 其 进 行 分 类 得 出 分 类 模 型 ， 最 后 对 新 的 访 问 文 本 进 行 模 式 识 别 ， 发 现 新 型 W E B 攻 击 行 为 。 整 个 分 类 检 测 模 型 由   3   个 组 件 组 成 ： 1 ) 文 本 分 析   ： 包 括 数 字 处 理 、 字 母 处 理 、 字 符 处 理 及 文 本 结 构 分 析 ， 针 对 W E B 攻 击 类 型 中 的 每 种 工 具 ， 如 S Q L 注 入 ， 典 型   S Q L   注 入 具 有 包 含 S Q L 关 键 词 、 数 字 占 比 较 高 等 显 著 特 征 ， 文 本 分 析 主 要 进 行 一 些 统 计 上 的 处 理 ， 将 一 些 明 显 的 特 征 点 提 取 出 来 作 为 分 类 的 特 征 向 量 。 2 ) 特 征 提 取   ： 包 括 特 征 词 及 权 重 、 关 键 词 和 特 定 信 息 ， 特 征 提 取 主 要 是 将 W E B 攻 击 类 型 中 的 每 种 攻 击 ， 如 S Q L 注 入 的 关 键 词 作 为 空 间 向 量 模 型 的 关 键 词 ， 采 用 分 词 的 方 法 将 字 符 串 的 词 语 剥 离 出 来 ， 再 统 计 词 频 ， 映 射 到 空 间 向 量 中 。 3 ) 分 类   ： 包 括 随 机 森 林 算 法 、 模 型 训 练 、 分 类 器 和 分 类 结 果 ， 分 类 主 要 是 选 取 i m p u r i t y ,   m a x D e p t h ,   m a x B i n s ,   n u m T r e e s 的 一 些 参 数 ， 经 过 训 练 产 生 分 类 器 ， 得 出 分 类 结 果 。 3 . 1   文 本 分 析 文 本 分 析 文 本 分 析 对 样 本 进 行 数 据 统 计 并 将 样 本 映 射 为 空 间 向 量 。 统 计 项 主 要 有 ： 典 型   S Q L 注 入 关 键 词 是 否 存 在 、 样 本 文 本 中 数 字 字 符 百 分 比 、 大 写 字 符 百 分 比 、 截 断 字 符 百 分 比 、 特 殊 字 符 百 分 比 等 。 应 用 空 间 向 量 模 型 对 文 本 样 本 进 行 映 射 可 以 得 出 此 文 本 空 间 的 特 征 向 量 值 。 3 . 2   基 本 特 征 的 提 取 基 本 特 征 的 提 取 级 别 级 别 S Q l   恶 意 关 键 字 恶 意 关 键 字 H i g h a n d , o r , x p , s u b s t r , u t l , b e n c h m a r k , s h u t d o w n , @ @ v e r s i o n , m f o r m a t i o n _ s c h e m a , h e x ( M i d d l e S e l e c t , i f ( , u n i o n , g r o u p , b y , — , c o u n t ( , / * * / , c h a r ( , d r o p , d e l e t e , c o n c a t , o r d e r b y , c a s e   w h e n , a s s i c ( , e x e c ( , l e n g t h L o w a n d , o r , l i k e , f r o m , i n s e r t ,   u p d a t e , c r e a t e , e l s e ,   e x i s t , t a b l e , d a t a b a s e , W h e r e , s l e e p , m i d , u p d a t e x m l ( , n u l l , s q l m a p , m d 5 ( , f l o o r m , r a n d , c a s t , d u a l , f e t c h , p r i n t , d e c l a r e , c u r s o r , e x t r a c t v a l u e ( , u p p e r j o i n , e x e c , i n n i e r , c o n v e r t , d i s t i n c t 级 别 级 别 X s s   恶 意 关 键 字 恶 意 关 键 字 H i g h < s c r i p ,   < / s c r i p t ,   < i f r a m e ,   < / i f r a m e , r e s p o n s e , w r i t e ( , e v a l ( , p r o m p t ( , a l e r t ( , j a v a s c r i p t ; , d o c u m e n t , c o o k i e M i d d l e O n c l i c k = , o n e r r o r = , , < b a s e , <   b a s e = " " > > , l o c a t i o n , h a s h , w i n d o w , n a m e , < f o r m , < / f o r m < / b a s e , < > L o w e c h o , p r i n t , h r e f = , s l e e p 样 本 数 据 中 如 果 存 在 S Q L 注 入 常 用 关 键 词 则 特 征 值 为 1 ， 如 果 不 存 在 则 特 征 值 为 0 。 但 是 通 常 访 问 文 本 是 一 串 字 符 串 ， 而 且
字 符 串 的 内 容 因 网 站 设 计 的 不 同 差 异 性 很 大 ， 因 此 首 先 要 对 访 问 文 本 进 行 分 词 处 理 。 因 为 U R L 字 符 串 只 能 是   A S C I I   码 ， 而 且 不 同 的 应 用 对 数 据 进 行 了 不 同 的 封 装 和 显 示 处 理 ， 如 果 根 据 其 他 的 规 则 分 词 ， 准 确 率 就 会 大 大 降 低 。 所 以 本 文 只 采 用 3   种 字 符 进 行 分 词 ： “ 空 格 ” 、 “ / ” 和 “ & ”   。 S Q L   注 入 和 X S S 攻 击 的 基 本 类 型 和 变 形 的 内 容 可 以 通 过 统 计 的 方 法 对 访 问 字 符 串 进 行 词 频 统 计 ， 统 计 内 容 包 括 ： 1 ) 大 写 字 符 在 字 符 串 中 所 占 的 比 例 ， 根 据   S Q L   注 入 中 的 变 形 攻 击 将 查 询 语 句 中 部 分 字 符 的 大 小 写 进 行 转 化 ， 来 避 开 过 滤 器 的 检 测 ； 2 ) 空 格 字 符 在 字 符 串 中 所 占 的 比 例 ， 主 要 针 对 空 字 符 攻 击 ； 3 ) 特 殊 字 符 在 字 符 串 中 所 占 的 比 例 ， 主 要 是 闭 合 截 断 字 符 ， 常 见 的 闭 合 截 断 字 符 有 ：   “ { } ” “ [ ] ” “ = ” “ ?   ” “ # ” “ / ”   “   s t y l e = ” f o n t - s i z e :   1 6 p t ;   c o l o r :   b l a c k ; ” > <   ”   “   >   s t y l e = ” f o n t - s i z e :   1 6 p t ;   c o l o r :   b l a c k ; ” > ”   “   !   ” #   %   &   ’   :   ;   <   >   =   ?   @   [   ]   /   { }   $   ,   *   +   -   ” 等 。 主 要 针 对 内 联 注 释 序 列 和 截 断 字 符 变 形 攻 击 ； 4 ) 数 字 字 符 在 字 符 串 中 所 占 的 比 例 ， 主 要 针 对 动 态 查 询 变 形 攻 击 。 类 别 类 别 序 号 序 号 特 征 名 称 特 征 名 称 特 征 描 述 特 征 描 述 语 法 特 征 1 U R L _ l e n U R L   长 度 2 P a t h _ l e n 路 径 长 度 3 P a t h 路 径 最 大 长 度 4 P a t h _ M a x l e n 路 径 平 均 长 度 5 A r g u m e n t _ l e n 参 数 部 分 长 度 6 N a m e _ M a x _ l e n 参 数 名 最 大 长 度 7 N a m e _ A v g l e n 参 数 名 平 均 长 度 8 V a l u e _ M a x _ l e n 参 数 值 最 大 长 度 9 V a l u e _ A v g _ l e n 参 数 值 平 均 长 度 1 0 A r g u m e n t _ l e n 参 数 个 数 1 1 S t r i n g _ M a x _ l e n 字 符 串 最 大 长 度 1 2 N u m b e r _ M a x l e n 连 续 数 字 最 大 长 度 1 3 P a t h _ n u m b e r 路 径 中 的 数 字 个 数 1 4 U n k n o w _ l e n 特 殊 字 符 的 个 数 1 5 N u m b e r _ P e r c e n t a g e 参 数 值 中 数 字 占 有 比 例 1 6 S t r i n g _ P e r c e n t a g e 参 数 值 字 母 占 有 比 例 1 7 U n k o w n _ P e r c e n t a g e 参 数 值 中 特 殊 字 符 的 比 例 1 8 B i g S t r i n g _ P e r c e n t a g e 大 写 字 符 所 占 比 例 1 9 S p a c i n g _ P r e c e n t a g e 空 格 字 符 所 占 比 例 领 域 特 征 1 9 C o n t a i n I P 参 数 值 是 否 包 含 I P 2 0 S q l _ R i s k _ l e v e l S Q L   类 型 危 险 等 级 2 1 X s s _ R i s k _ l e v e l X s s   类 型 危 险 等 级 2 2 O t h e r s _ R i s k _ l e v e l 其 他 类 型 危 险 等 级 初 始 提 取 的 特 征 如 表 初 始 提 取 的 特 征 如 表 3 . 3   词 袋 模 型 词 袋 模 型 机 器 学 习 算 法 的 实 现 首 先 是 要 构 造 好 的 特 征 向 量 ， 在 类 似 的 分 类 算 法 中 比 较 好 的 是 首 先 通 过 N - G r a m 将 文 本 数 据 ( U R L ) 向 量 化 ， 比 如 对 于 下 面 的 例 子 , 如 果 N 取 2 ， 步 长 为 1 ， 则 ： 去 掉 主 机 名 得 到 ： s t y l e = " c o l o r :   b l a c k ; " > w w w . x x x . c o m . c n / a p i / u s e r / g e t M e s s a g e h t t p
用 ’   /   ’ 分 词   得 到 ： 然 后 计 算 T F - I D F ， 词 频 — 逆 文 档 频 率 （ 简 称 T F - I D F ） 是 一 种 用 来 从 文 本 文 档 （ 例 如 U R L ） 中 生 成 特 征 向 量 的 简 单 方 法 。 它 为 文 档 中 的 每 个 词 计 算 两 个 统 计 值 ： 一 个 是 词 频 （ T F ） ， 也 就 是 每 个 词 在 文 档 中 出 现 的 次 数 ， 另 一 个 是 逆 文 档 频 率 （ I D F ） ， 用 来 衡 量 一 个 词 在 整 个 文 档 语 料 库 中 出 现 的 （ 逆 ） 频 繁 程 度 。 这 些 值 的 积 ， 也 就 是 T F × I D F ， 展 示 了 一 个 词 与 特 定 文 档 的 相 关 程 度 （ 比 如 这 个 词 在 某 文 档 中 很 常 见 ， 但 在 整 个 语 料 库 中 却 很 少 见 ） 。 N - G r a m   的 分 词 方 法 乍 一 看 好 像 没 什 么 道 理 ， 因 为 一 般 的 特 征 向 量 的 构 造 是 提 取 的 特 征 关 键 词 。 比 如 如 果 我 们 将 向 量 定 义 为 s c r i p t 、 s e l e c t 、 u n i o n 、 e v a l 等 词 出 现 的 词 频 ， 那 就 很 好 理 解 ， 因 为 那 些 词 都 是 恶 意 关 键 词 ， 在 正 则 匹 配 中 一 般 也 会 拦 截 。 但 其 实 N - G r a m 也 是 一 样 的 效 果 ， 一 个 特 定 的 关 键 词 会 被 切 分 成 特 定 的 序 列 ， 比 如 s e l e c t 被 分 成 [ s e l , e l e , l e c , e c t ] , 而 其 他 的 正 常 的 词 一 般 不 会 出 现 这 样 的 序 列 。 其 中 N 的 取 值 需 要 进 行 多 次 试 验 ， 不 同 的 算 法 最 佳 值 不 同 。 特 征 提 取 主 要 是 将 S Q L 注 入 的 关 键 词 作 为 空 间 向 量 模 型 的 关 键 词 ， 采 用 分 词 的 方 法 将 字 符 串 的 词 语 剥 离 出 来 ， 再 统 计 词 频 ， 映 射 到 空 间 向 量 中 ， S Q L   注 入 的 主 要 载 体 为 访 问 的 U R L 字 符 串 ， 将 这 段 字 符 串 看 成 是 一 个 文 本 ， 首 先 进 行 分 词 ， 分 词 之 后 就 可 以 构 建   U R L 字 符 串 所 对 应 的 空 间 向 量 ， 空 间 向 量 中 的 每 个 特 征 即 是 所 存 在 的 S Q L 注 入 特 征 关 键 词 ， 词 频 可 以 用 来 统 计 ， 而 权 重 则 取 决 于 逆 文 档 率 。 最 终 特 征 ： 最 终 特 征 ： 【 分 词 生 成 特 征 向 量 【 分 词 生 成 特 征 向 量   +   统 计 特 征 统 计 特 征   +   基 本 特 征 基 本 特 征 ( 敏 感 关 键 词 个 数 敏 感 关 键 词 个 数 )   】 】 目 前 存 在 的 问 题 是 利 用 T F - I D F 产 生 的 特 征 向 量 极 度 依 赖 训 练 集 ， 当 测 试 机 中 某 一 关 键 字 未 出 现 ， 则 T F - I D F 产 生 的 特 征 向 量 也 将 不 包 含 ， 而 提 取 的 统 计 特 征 现 在 只 针 对 S Q L 注 入 及 X S S 攻 击 有 领 域 特 征 ， 对 于 其 他 攻 击 类 型 的 特 征 提 取 直 接 决 定 了 W E B 攻 击 检 测 精 度 。 四 、 分 类 检 测 模 型 训 练 四 、 分 类 检 测 模 型 训 练 4 . 1   分 类 检 测 模 型 实 现 分 类 检 测 模 型 实 现 随 机 森 林 是 一 个 包 含 多 个 决 策 树 的 分 类 器 ， 其 输 出 的 类 别 是 由 个 别 树 输 出 的 类 别 的 众 数 而 定 。 决 策 树 算 法 家 族 能 自 然 地 处 理 类 别 型 和 数 值 型 特 征 。 决 策 树 算 法 容 易 并 行 化 ， 它 们 对 数 据 中 的 离 群 点 （ o u t l i e r ） 具 有 鲁 棒 性 （ r o b u s t ） ， 这 意 味 着 一 些 极 端 或 可 能 错 误 的 数 据 点 根 本 不 会 对 预 测 产 生 影 响 。 算 法 可 以 接 受 不 同 类 型 和 量 纲 的 数 据 ， 对 数 据 类 型 和 尺 度 不 相 同 的 情 况 不 需 要 做 预 处 理 或 规 范 化 。 在 决 策 树 的 每 层 ， 算 法 并 不 会 考 虑 所 有 可 能 的 决 策 规 则 。 如 果 在 每 层 上 都 要 考 虑 所 有 可 能 的 决 策 规 则 ， 算 法 的 运 行 时 间 将 无 法 想 象 。 对 一 个 有   N   个 取 值 的 类 别 型 特 征 ， 总 共 有   2 N   –   2   s t y l e = ” f o n t - s i z e :   1 6 p t ;   c o l o r :   b l a c k ; ” > 个 可 能 的 决 策 规 则 （ 除 a p i / u s e r / g e t M e s s a g e h t t p a p i , u s e r ,   g e t M e s s a g e h t t p [ a p i   u s e r   和 u s e r   g e t M e s s a g e h t t p ]
空 集 和 全 集 以 外 的 所 有 子 集 ） 。 即 使 对 于 一 个 一 般 大 的   N ， 这 也 将 创 建 数 十 亿 候 选 决 策 规 则 。 相 反 ， 决 策 树 使 用 一 些 启 发 式 策 略 ， 能 够 聪 明 地 找 到 需 要 实 际 考 虑 的 少 数 规 则 。 在 选 择 规 则 的 过 程 中 也 涉 及 一 些 随 机 性 ； 每 次 只 考 虑 随 机 选 择 少 数 特 征 ， 而 且 只 考 虑 训 练 数 据 中 一 个 随 机 子 集 。 在 牺 牲 一 些 准 确 度 的 同 时 换 回 了 速 度 的 大 幅 提 升 ， 但 也 意 味 着 每 次 决 策 树 算 法 构 造 的 树 都 不 相 同 。
4 . 2   交 叉 验 证 与 评 价 指 标 交 叉 验 证 与 评 价 指 标 本 文 对 W E B 攻 击 分 类 检 测 模 型 评 估 指 标 选 用 的 是 精 确 率 （ P r e c i s i o n ） 、 召 回 率 （ R e c a l l ） 和 F 1 值 （ F - M e a s u r e ） ， 在 二 分 类 问 题 中 ， 一 个 样 本 的 检 测 结 果 通 常 会 出 现 四 种 情 况 ： 1 . T P : （ T r u e P o s i t i v e ） 正 样 本 被 模 型 预 测 为 正 ， 称 作 判 断 为 真 的 正 确 率 ； 2 . T N : （ T r u e N e g a t i v e ） ： 负 样 本 被 模 型 预 测 为 负 ， 称 作 判 断 为 假 的 正 确 率 ； 3 . F P : （ F a l s e P o s i t i v e ） ： 负 样 本 被 模 型 预 测 为 正 ， 称 作 误 报 率 ； 4 . F N : （ F a s l e N e g a t i v e ） ： 正 样 本 被 模 型 预 测 为 负 ， 称 作 漏 报 率 。 评 估 指 标 用 上 述 名 词 表 示 如 下 ： F _ M e a s u r e   则 是 P r e c i s i o n 与 R e c a l l 的 加 权 平 均 。 当 精 确 率 和 召 回 率 同 时 都 高 的 时 候 ， F 1 值 才 会 高 ， 因 此 F 1 值 能 够 全 面 的 评 估 U R L 分 类 模 型 的 性 能 ， 即 在 满 足 高 准 确 率 的 情 况 下 也 要 保 证 高 召 回 率 。 多 类 分 类 评 估 指 标 和 二 分 类 评 估 指 标 计 算 方 式 有 所 不 同 ， 多 分 类 时 把 每 个 类 别 分 别 看 做 正 样 本 ， 所 有 其 它 样 本 视 为 负 样 本 ， 分 别 计 算 各 个 类 别 的 精 确 率 、 召 回 率 和 F 1 值 ， 然 后 再 对 所 有 类 的 指 标 求 算 术 平 均 值 作 为 多 分 类 模 型 的 最 后 评 估 结 果 。 攻 击 类 型 编 号 ： 攻 击 类 型 编 号 ： 编 号 编 号 攻 击 类 型 攻 击 类 型 0 正 常 1 S Q L   注 入 2 缺 失 报 头 3 爬 虫 4 跨 站 脚 本 攻 击 5 漏 洞 防 护 6 扫 描 工 具 7 协 议 违 规 8 针 对 i e 8 的 跨 站 攻 击 训 练 集 训 练 集 正 常 流 量 F 1 P r e c i s i o n （ 精 确 率 ） ＝ T P / ( T P + F P )   R e c a l l （ 召 回 率 ） ＝ T P / ( T P + F N )
回复

举报

高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

使用Markdown编辑器编辑 使用富文本编辑器编辑

Archiver| 手机版| 小黑屋|
Powered by Discuz! X3.4 Copyright © 2001-2020, Tencent Cloud. 商业源码建议获取授权，如侵犯您的权益，请联系客服处理