搜索

[11206] 2017-04-05_学点算法搞安全之SVM

文档创建者：s7ckTeam
浏览次数：4
最后更新：2025-01-18
2017-04-05_学点算法搞安全之SVM 学 点 算 法 搞 安 全 之 S V M 兜 哥   F r e e B u f   2 0 1 7 - 0 4 - 0 5 * 原 创 作 者 ： 兜 哥 ， 本 文 属 F r e e b u f 原 创 奖 励 计 划 ， 未 经 许 可 禁 止 转 载 规 则   V S   算 法 传 统 安 全 几 乎 把 规 则 的 能 力 基 本 发 挥 到 了 极 致 ， 成 熟 企 业 的 W A F 、 I P S 、 杀 毒 甚 至 可 以 达 到 两 个 九 以 上 的 准 确 度 ， 很 好 的 做 到 了 ” 我 知 道 的 我 都 能 拦 截 ” 。 但 是 规 则 都 是 基 于 已 有 的 安 全 知 识 ， 对 于 0 d a y 甚 至 被 忽 略 的 N d a y ， 基 本 没 有 发 现 能 力 ， 即 所 谓 的 ” 我 不 知 道 我 不 知 道 ” 。 这 时 候 算 法 或 者 说 机 器 学 习 就 发 挥 作 用 了 ， 机 器 学 习 的 优 势 就 是 可 以 从 大 量 的 黑 白 样 本 中 ， 挖 掘 潜 在 的 规 律 ， 识 别 出 异 常 ， 然 后 通 过 半 自 动 或 者 人 工 的 分 析 ， 进 一 步 确 认 异 常 是 误 报 还 是 漏 报 。 总 之 ， 精 准 判 断 入 侵 ， 不 是 机 器 学 习 的 长 项 ， 识 别 漏 报 是 一 把 好 手 。 S c i k i t - l e a r n S c i k i t - l e a r n 是 闻 名 遐 迩 的 机 器 学 习 库 ， 具 有 丰 富 的 模 型 支 持 以 及 详 细 的 在 线 文 档 ， 支 持 p y t h o n 语 言 ， 开 发 周 期 短 ， 特 别 适 合 原 理 验 证 。 环 境 支 持 为 ： P y t h o n   ( > =   2 . 6   o r   > =   3 . 3 ) , N u m P y   ( > =   1 . 6 . 1 ) , S c i P y   ( > =   0 . 9 ) . 安 装 命 令 为 ： p i p   i n s t a l l   s c i k i t - l e a r n S V M 支 持 向 量 机 S V M 是 机 器 学 习 领 域 使 用 最 广 泛 的 算 法 之 一 ， 通 常 用 来 进 行 模 式 识 别 、 分 类 以 及 回 归 分 析 ， 它 特 别 适 合 安 全 世 界 里 面 的 非 黑 即 白 ， 所 以 我 们 重 点 介 绍 分 类 相 关 的 知 识 。 前 言 在 企 业 安 全 建 设 专 题 中 偶 尔 有 次 提 到 算 法 的 应 用 ， 不 少 同 学 想 深 入 了 解 这 块 ， 所 以 我 专 门 开 了 一 个 子 专 题 用 于 介 绍 安 全 领 域 经 常 用 到 的 机 器 学 习 模 型 ， 从 入 门 级 别 的 S V M 、 贝 叶 斯 等 到 H M M 、 神 经 网 络 和 深 度 学 习 （ 其 实 深 度 学 习 可 以 认 为 就 是 神 经 网 络 的 加 强 版 ） 。
假 设 只 有 二 维 的 特 征 向 量 ， 我 们 需 要 解 决 一 个 分 类 问 题 ， 需 要 通 过 将 正 常 用 户 和 黑 客 区 分 开 来 ， 如 果 确 实 可 以 通 过 一 条 直 线 区 分 ， 那 么 这 个 问 题 成 为 可 以 线 性 可 区 分 （ l i n e a r   s e p a r a b l e ） ， 如 果 不 行 则 成 为 不 可 线 性 区 分 （ l i n e a r   i n s e p a r a b l e ） 。 讨 论 最 简 单 的 情 况 ， 假 设 这 个 分 类 问 题 是 可 以 线 性 区 分 的 ， 那 么 这 个 区 分 的 直 线 成 为 超 平 面 ， 距 离 超 平 面 最 近 的 样 本 成 为 支 持 向 量 （ S u p p r o t   V e r c t o r ） 。 如 上 图 ， 对 于 不 可 线 性 区 分 的 情 况 ， 需 要 升 级 到 更 高 的 平 面 进 行 区 分 ， 比 如 二 维 平 面 搞 不 定 就 需 要 升 级 到 三 维 平 面 来 区 分 ， 这 个 升 级 就 需 要 依 靠 核 函 数 。 监 督 学 习 与 无 监 督 学 习 监 督 学 习 （ s u p e r v i s e d   l e a r n i n g ） 简 单 讲 是 拿 标 记 过 的 数 据 去 训 练 ； 无 监 督 学 习 （ u n s u p e r v i s e d   l e a r n i n g ） 简 单 讲 是 拿 没 有 标 记 的 数 据 去 训 练 ， S V M 训 练 时 需 要 提 供 标 记 ， 所 以 属 于 监 督 学 习 。 监 督 学 习 的 一 般 步 骤
示 例 ： 在 二 维 平 面 假 设 只 有 两 个 训 练 样 本 [ [ 0 ,   0   ] ,   [ 1 ,   1 ] ] ， 对 应 的 标 记 分 别 为   [ 0 ,   1 ] ， 需 要 你 预 测   [ 2 . ,   2 . ] 的 标 记 ， 代 码 实 现 为 ： f r o m   s k l e a r n   i m p o r t   s v m X   =   [ [ 0 , 0 ] ,   [ 1 , 1 ] ] y   =   [ 0 , 1 ] c l f   =   s v m . S V C ( ) c l f . f i t ( X ,   y ) p r i n t   c l f . p r e d i c t ( [ [ 2 . , 2 . ] ] ) 运 行 结 果 是 a r r a y ( [ 1 ] ) ， 符 合 预 期 ， 下 面 以 常 见 的 X S S 检 测 来 说 明 下 S V M 的 简 单 应 用 。 数 据 搜 集   &   数 据 清 洗 由 于 我 们 的 例 子 比 较 简 单 ， 把 上 述 两 个 步 骤 合 并 即 可 ， 准 备 数 量 相 等 的 正 常 w e b 访 问 日 志 和 X S S 攻 击 的 w e b 日 志 ， 最 简 单 的 方 法 是 参 考 我 以 前 的 文 章 《 基 于 W A V S E P 的 靶 场 搭 建 指 南 》 ， 使 用 W V S 等 扫 描 器 仅 扫 描 X S S 相 关 漏 洞 即 可 获 取 X S S 攻 击 的 w e b 日 志 。 特 征 化 实 践 中 数 据 搜 集 & 数 据 清 洗 是 最 费 时 间 的 ， 特 征 化 是 最 烧 脑 的 ， 因 为 世 界 万 物 是 非 常 复 杂 的 ， 具 有 很 多 属 性 ， 然 而 机 器 学 习 通 常 只 能 理 解 数 字 向 量 ， 这 个 从 现 实 世 界 的 物 体 转 变 成 计 算 世 界 的 数 字 的 过 程 就 是 特 征 化 ， 也 叫 向 量 化 。 比 如 要 你 特 征 化 你 前 女 友 ， 你 总 不 能 说 漂 亮 、 温 柔 这 些 词 ， 需 要 最 能 代 表 她 的 特 点 的 地 方 进 行 数 字 化 ， 下 面 是 一 个 举 例 ：
你 会 发 现 各 个 向 量 之 间 的 数 据 范 围 差 别 很 大 ， 一 个 月 消 费 能 力 可 能 就 干 掉 其 他 特 征 对 结 果 的 影 响 了 ， 虽 然 现 实 生 活 中 这 个 指 标 确 实 影 响 很 大 ， 但 是 不 足 以 干 掉 其 他 全 部 特 征 ， 所 以 我 们 还 需 要 对 特 征 进 行 标 准 化 ， 常 见 的 方 式 为 ： 标 准 化 均 方 差 缩 放 去 均 值 回 到 X S S 的 问 题 上 ， 我 们 需 要 针 对 w e b 日 志 进 行 特 征 化 ， 以 下 特 征 是 个 举 例 ： 特 征 提 取 的 示 例 代 码 如 下 ：        
数 据 标 准 化 使 用 如 下 代 码 即 可 ： m i n _ m a x _ s c a l e r   =   p r e p r o c e s s i n g . M i n M a x S c a l e r ( ) x _ m i n _ m a x = m i n _ m a x _ s c a l e r . f i t _ t r a n s f o r m ( x ) 数 据 打 标 这 一 步 非 常 容 易 ， 因 为 我 们 已 经 清 楚 知 道 哪 些 是 X S S 哪 些 不 是 。 数 据 拆 分 这 一 步 是 为 了 随 机 把 数 据 区 分 成 训 练 组 和 测 试 组 ， 通 常 直 接 使 用 c r o s s _ v a l i d a t i o n . t r a i n _ t e s t _ s p l i t 即 可 ， 通 常 使 用 4 0 % 作 为 测 试 样 本 ， 6 0 % 作 为 训 练 样 本 ， 这 个 比 例 可 以 根 据 自 己 需 要 调 节 。 x _ t r a i n ,   x _ t e s t ,   y _ t r a i n ,   y _ t e s t   =   c r o s s _ v a l i d a t i o n . t r a i n _ t e s t _ s p l i t ( x , y ,   t e s t _ s i z e = 0 . 4 ,   r a n d o m _ s t a t e = 0 ) 数 据 训 练 使 用 s c i k i t - l e a r n 的 S V M 模 型 即 可 ， S V M 用 于 分 类 的 模 型 称 为 S V C ， 我 们 使 用 最 简 单 的 核 函 数 l i n e a r c l f   =   s v m . S V C ( k e r n e l = ' l i n e a r '   ,   C = 1 ) . f i t ( x ,   y ) j o b l i b . d u m p ( c l f , " x s s - s v m - 2 0 0 0 0 0 - m o d u l e . m " ) 模 型 验 证 通 过 加 载 训 练 后 的 模 型 ， 针 对 测 试 集 合 进 行 预 测 ， 将 预 测 结 果 与 打 标 结 果 比 对 即 可 。 c l f = j o b l i b . l o a d ( " x s s - s v m - 2 0 0 0 0 0 - m o d u l e . m " ) y _ t e s t = [ ] y _ t e s t = c l f . p r e d i c t ( x ) p r i n t   m e t r i c s . a c c u r a c y _ s c o r e ( y _ t e s t ,   y ) 测 试 环 节 我 们 在 一 个 各 有 2 0 0 0 0 0 个 样 本 黑 白 模 型 上 训 练 ， 在 一 个 各 有 5 0 0 0 0 个 样 本 的 黑 白 测 试 集 上 校 验 ， 任 何 黑 白 预 测 错 都 判 断 为
错 误 ， 最 后 运 行 结 果 准 确 度 率 为 8 0 % ， 对 于 机 器 学 习 而 言 ， 仅 依 靠 模 型 优 化 ， 这 个 比 例 已 经 很 高 了 。 通 过 在 更 大 的 数 据 集 合 上 进 行 训 练 （ 比 如 大 型 C D N & 云 W A F 集 群 的 日 志 ） ， 进 一 步 增 加 特 征 个 数 以 及 增 加 后 面 环 节 的 自 动 化 或 者 半 自 动 化 的 验 证 ， 可 以 进 一 步 提 高 这 个 比 例 ， 最 后 准 确 率 我 们 做 到 了 9 0 % 以 上 。 下 图 是 特 征 扩 展 的 举 例 ， 大 家 可 以 根 据 实 际 情 况 增 加 。 异 常 数 据 通 过 S V M 我 们 识 别 出 了 异 常 数 据 ， 经 过 人 工 确 认 ， 除 了 变 形 的 X S S 以 外 ， 还 有 不 少 其 他 攻 击 行 为 ， 由 于 测 试 时 只 打 开 了 X S S 的 规 则 签 名 ， 所 以 其 他 攻 击 行 为 没 有 拦 截 ， 也 进 入 了 白 样 本 ， 举 例 如 下 ： 我 们 推 测 ， 机 器 从 X S S 样 本 里 面 学 习 的 攻 击 特 征 可 能 部 分 覆 盖 了 S Q L 注 入 等 带 有 代 码 注 入 特 性 的 攻 击 的 特 点 导 致 的 。
总 结 不 少 人 问 过 我 , ” 什 么 样 的 情 况 下 可 以 用 算 法 ? ” 。 这 个 没 有 一 个 统 一 的 答 案 ， 我 认 为 在 规 则 、 沙 箱 都 做 的 比 较 到 位 的 情 况 下 ， 可 以 试 着 使 用 机 器 学 习 ; 如 果 是 已 知 漏 洞 都 没 有 很 好 的 防 御 和 检 测 的 话 ， 使 用 机 器 学 习 确 实 性 价 比 低 。 汽 车 在 刚 出 来 的 时 候 没 有 马 车 快 ， 但 是 是 选 择 造 一 辆 更 快 的 马 车 还 是 选 择 造 属 于 未 来 的 汽 车 ， 这 个 见 仁 见 智 。 * 原 创 作 者 ： 兜 哥 ， 本 文 属 F r e e b u f 原 创 奖 励 计 划 ， 未 经 许 可 禁 止 转 载 阅 读 原 文
回复

举报

高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

使用Markdown编辑器编辑 使用富文本编辑器编辑

Archiver| 手机版| 小黑屋|
Powered by Discuz! X3.4 Copyright © 2001-2020, Tencent Cloud. 商业源码建议获取授权，如侵犯您的权益，请联系客服处理