搜索

[11843] 2017-09-30_基于标记数据学习降低误报率的算法优化

文档创建者：s7ckTeam
浏览次数：3
最后更新：2025-01-18
2017-09-30_基于标记数据学习降低误报率的算法优化 基 于 标 记 数 据 学 习 降 低 误 报 率 的 算 法 优 化 安 恒 A i L P H A 大 数 据   F r e e B u f   2 0 1 7 - 0 9 - 3 0 无 论 是 基 于 规 则 匹 配 的 策 略 ， 还 是 基 于 复 杂 的 安 全 分 析 模 型 ， 安 全 设 备 产 生 的 告 警 都 存 在 大 量 误 报 ， 这 是 一 个 相 当 普 遍 的 问 题 。 其 中 一 个 重 要 的 原 因 是 每 个 客 户 的 应 用 场 景 和 数 据 都 多 多 少 少 有 不 同 的 差 异 ， 基 于 固 定 判 断 规 则 对 有 统 计 涨 落 的 数 据 进 行 僵 化 的 判 断 ， 很 容 易 出 现 误 判 。 在 没 有 持 续 人 工 干 预 和 手 动 优 化 的 情 况 下 ， 策 略 和 模 型 的 误 报 率 不 会 随 着 数 据 的 积 累 而 有 所 改 进 。 也 就 是 说 安 在 没 有 持 续 人 工 干 预 和 手 动 优 化 的 情 况 下 ， 策 略 和 模 型 的 误 报 率 不 会 随 着 数 据 的 积 累 而 有 所 改 进 。 也 就 是 说 安 全 分 析 人 员 通 过 对 告 警 打 标 签 的 方 式 ， 可 以 将 专 业 经 验 传 授 给 智 能 算 法 ， 自 动 得 反 馈 到 策 略 和 模 型 当 中 ， 使 之 全 分 析 人 员 通 过 对 告 警 打 标 签 的 方 式 ， 可 以 将 专 业 经 验 传 授 给 智 能 算 法 ， 自 动 得 反 馈 到 策 略 和 模 型 当 中 ， 使 之 对 安 全 事 件 做 出 更 精 准 的 判 断 。 本 文 介 绍 利 用 专 家 经 验 持 续 优 化 机 器 学 习 的 方 法 ， 对 告 警 数 据 进 行 二 次 分 析 和 对 安 全 事 件 做 出 更 精 准 的 判 断 。 本 文 介 绍 利 用 专 家 经 验 持 续 优 化 机 器 学 习 的 方 法 ， 对 告 警 数 据 进 行 二 次 分 析 和 学 习 ， 从 而 显 著 地 降 低 安 全 威 胁 告 警 的 误 报 率 。 学 习 ， 从 而 显 著 地 降 低 安 全 威 胁 告 警 的 误 报 率 。 为 了 降 低 误 报 率 ， 当 前 大 体 上 有 两 种 技 术 途 径 ： 为 了 降 低 误 报 率 ， 当 前 大 体 上 有 两 种 技 术 途 径 ： 根 据 不 同 客 户 的 各 种 特 定 情 况 修 正 策 略 和 模 型 ， 提 高 策 略 或 者 模 型 的 适 应 能 力 ； 定 期 （ 如 每 月 一 次 ） 对 告 警 进 入 二 次 人 工 分 析 ， 根 据 分 析 结 果 来 调 整 策 略 和 模 型 的 参 数 配 置 。 这 两 种 方 法 对 降 低 误 报 率 都 有 一 定 的 作 用 。 但 是 第 一 种 没 有 自 适 应 能 力 ， 是 否 有 效 果 要 看 实 际 情 况 。 第 二 种 效 果 会 好 一 些 ， 但 是 非 常 耗 时 耗 力 ， 而 且 由 于 是 人 工 现 场 干 预 和 调 整 策 略 和 模 型 ， 出 错 的 概 率 也 非 常 高 。 M I T 的 研 究 人 员 [ 1 ]   介 绍 了 一 种 将 安 全 分 析 人 员 标 记 后 的 告 警 日 志 作 为 训 练 数 据 集 ， 令 机 器 学 习 算 法 学 习 专 家 经 验 ， 使 分 析 算 法 持 续 得 到 优 化 ， 实 现 自 动 识 别 误 报 告 警 ， 降 低 误 报 率 的 方 法 （ 以 下 简 称 “   标 签 传 递 经 验 方 法 ” ） 。 这 种 把 安 全 分 析 人 员 的 专 业 智 能 转 化 成 算 法 分 析 能 力 的 过 程 ， 会 让 分 析 算 法 随 着 数 据 的 积 累 而 更 加 精 确 。 继 而 逐 渐 摆 脱 人 工 干 预 ， 提 高 运 维 效 率 。 如 下 图 所 示 ： 下 面 我 们 通 过 基 于 下 面 我 们 通 过 基 于 “ 频 繁 访 问 安 全 威 胁 告 警 频 繁 访 问 安 全 威 胁 告 警 ” 模 拟 的 场 景 数 据 来 介 绍 一 下 实 现 机 制 。 模 拟 的 场 景 数 据 来 介 绍 一 下 实 现 机 制 。 什 么 是 频 繁 访 问 模 型 ？ 逻 辑 比 较 简 单 ： 一 段 时 间 内 （ 比 如 1 分 钟 ） ， 一 个 攻 击 者 对 系 统 的 访 问 次 数 显 著 高 于 普 通 访 问 者 的 次 数 。 此 告 警 规 则 可 以 用 简 单 的 基 于 阈 值 ， 或 者 是 利 用 统 计 分 布 的 离 异 概 率 。 基 于 此 ， 我 们 先 模 拟 一 些 已 经 被 安 全 分 析 人 员 打 过 标 签 的 告 警 数 据 。 根 据 实 际 应 用 经 验 ， 我 们 尽 量 模 拟 非 常 接 近 实 际 场 景 的 数 据 。 如 下 图 ：
关 于 模 拟 数 据 的 介 绍 ： 关 于 模 拟 数 据 的 介 绍 ： 总 共 模 拟 了 2 0 天 的 告 警 数 据 ， 从 2 0 1 7 - 0 1 - 0 1 到 2 0 1 7 - 0 1 - 2 0 。 前 1 0 天 的 数 据 用 来 训 练 模 型 ， 后 1 0 天 的 数 据 用 来 衡 量 模 型 的 表 现 ； 每 个 告 警 带 有 是 否 误 报 的 标 签 。 红 色 代 表 误 报 ， 蓝 色 代 表 准 确 告 警 。 关 于 模 拟 数 据 的 假 设 ： 关 于 模 拟 数 据 的 假 设 ： 误 报 聚 集 在 某 个 时 间 段 ， 模 拟 数 据 假 设 的 范 围 是 1 8 : 0 0 - 1 9 : 0 0 。 在 安 全 运 维 实 践 中 ， 的 确 存 在 某 个 特 定 的 时 间 段 ， 由 于 业 务 逻 辑 或 者 系 统 原 因 导 致 误 报 增 多 的 现 象 。 所 以 上 述 假 设 是 合 理 的 ， 告 警 时 间 可 以 作 为 有 效 的 特 征 值 。 但 并 不 是 所 有 的 误 报 都 聚 集 在 这 个 时 间 段 ， 同 时 并 不 是 这 个 时 间 段 的 所 有 告 警 都 是 误 报 ； 误 报 大 多 来 自 于 一 批 不 同 的 I P 。 所 以 访 问 来 源 I P 也 是 有 用 的 特 征 值 ； 任 何 数 据 都 不 是 完 美 的 ， 所 以 在 模 拟 数 据 中 加 入 了 ~ 9 % 的 噪 音 。 也 就 是 说 再 完 美 的 智 能 模 型 ， 误 报 率 也 不 会 低 于 9 % 。 这 些 假 设 在 实 际 的 应 用 场 景 中 也 是 相 对 合 理 的 。 如 果 误 报 是 完 全 随 机 产 生 的 ， 那 么 再 智 能 的 模 型 也 不 能 够 捕 捉 到 误 报 的 提 出 信 号 。 所 以 这 些 合 理 的 假 设 帮 助 我 们 模 拟 真 实 的 数 据 ， 并 且 验 证 我 们 的 机 器 学 习 模 型 。 简 要 模 拟 数 据 的 代 码 实 现 ： 简 要 模 拟 数 据 的 代 码 实 现 ：
下 图 显 示 利 用 P C A 降 维 分 析 的 可 视 化 结 果 ， 可 以 看 到 明 显 的 分 类 情 况 ： 红 色 代 表 误 报 ， 蓝 色 代 表 正 确 告 警 。 基 于 设 定 特 征 值 的 降 维 分 析 可 以 得 到 两 个 聚 集 ， 即 误 报 和 非 误 报 有 明 显 的 区 分 的 ， 也 就 是 说 误 报 的 是 有 一 定 规 律 ， 不 是 完 全 随 机 的 ， 因 此 是 可 以 被 机 器 学 习 捕 捉 到 的 。 简 要 代 码 实 现 ： 简 要 代 码 实 现 ： 基 于 模 拟 数 据 ， 我 们 想 要 达 到 的 目 的 是 通 过 持 续 的 强 化 机 器 学 习 能 够 降 低 误 报 率 。 所 以 我 们 采 取 的 策 略 是 ： 训 练 一 天 的 数 据 2 0 1 7 - 0 1 - 0 1 ， 测 试 1 0 天 的 数 据 2 0 1 7 - 0 1 - 1 1 到 2 0 1 7 - 0 1 - 2 0 ； 训 练 两 天 的 数 据 2 0 1 7 - 0 1 - 0 1 到 2 0 1 7 - 0 1 - 0 2 ， 测 试 1 0 天 的 数 据 2 0 1 7 - 0 1 - 1 1 到 2 0 1 7 - 0 1 - 2 0 ； 以 此 类 推 ， 来 看 通 过 学 习 越 来 越 多 的 数 据 ， 在 测 试 数 据 中 的 误 报 率 是 否 能 够 得 到 不 断 的 改 进 。 简 要 代 码 如 下 ： 简 要 代 码 如 下 ： 此 安 全 威 胁 场 景 相 对 简 单 ， 我 们 不 需 要 太 多 的 特 征 值 和 海 量 的 数 据 ， 所 以 机 器 学 习 模 型 选 择 了 随 机 森 林
（ R a n d o m F o r e s t ） ， 我 们 也 尝 试 了 其 他 复 杂 模 型 ， 得 出 的 效 果 区 别 不 大 。 测 试 结 果 如 下 ： 达 到 我 们 所 预 期 的 效 果 ， 当 训 练 数 据 越 来 越 多 的 时 候 ， 测 试 数 据 当 中 的 误 报 率 从 2 0 % 多 降 低 到 了 1 0 % 。 通 过 对 告 警 数 据 和 标 签 的 不 断 自 学 习 ， 可 以 剔 除 很 多 告 警 误 报 。 前 面 提 到 ， 数 据 当 中 引 入 了 9 % 的 噪 音 ， 所 以 误 报 率 不 会 再 持 续 的 降 低 。 在 我 们 的 机 器 学 习 模 型 当 中 ， 我 们 利 用 了 4 个 主 要 的 特 征 值 ： s r c I P ， 访 问 源 I P t i m e o f d a y ， 告 警 产 生 的 时 间 v i s i t s ， 访 问 次 数 d e s t I P ， 被 访 问 I P 下 图 显 示 了 特 征 值 在 模 型 中 的 重 要 性 ： 和 我 们 的 预 期 也 是 一 致 的 ， 访 问 源 I P （ s r c I P ） 和 告 警 发 生 的 时 间 （ t i m e o f d a y ） 是 区 分 出 误 报 告 警 效 果 最 好 的 特 征 值 。
另 外 ， 由 于 随 机 森 林 模 型 以 及 大 部 分 机 器 学 习 模 型 都 不 支 持 分 类 变 量 （ c a t e g o r i c a l v a r i a b l e ） 的 学 习 ， 所 以 我 们 把 s r c I P 和   d e s t I P 这 两 个 特 征 值 做 了 二 值 化 处 理 。 简 要 代 码 如 下 ： 总 结 总 结 本 文 通 过 一 组 模 拟 实 验 数 据 和 随 机 森 林 算 法 ， 从 理 论 上 验 证 了 “ 标 签 传 递 经 验 方 法 ” 的 有 效 性 。 即 通 过 安 全 分 析 专 家 对 告 警 日 志 进 行 有 效 或 误 报 的 标 记 ， 把 专 家 的 知 识 技 能 转 化 成 机 器 学 习 模 型 的 分 析 能 力 。 和 其 他 方 法 相 比 ， 此 方 法 在 完 成 自 动 化 学 习 之 后 就 不 再 需 要 人 工 干 预 ， 而 且 会 随 着 数 据 的 积 累 对 误 报 的 剔 除 会 更 加 精 确 。 具 体 细 节 请 参 考 我 们 的 g i t h u b 源 代 码 ： h t t p s : / / g i t h u b . c o m / a i l p h a / m l - r e d u c e - f a l s e - a l e r t s 参 考 文 献 参 考 文 献 : [ 1 ]   K a l y a n   V e e r a m a c h a n e n i ， I g n a c i o   A r n a l d o   ,   “ A I 2   :   T r a i n i n g   a   b i g   d a t a   m a c h i n e   t o   d e f e n d ” * 本 文 作 者 ： 安 恒 A i L P H A 大 数 据 ， 转 载 请 注 明 来 自   F r e e B u f . C O M 阅 读 原 文
回复

举报

高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

使用Markdown编辑器编辑 使用富文本编辑器编辑

Archiver| 手机版| 小黑屋|
Powered by Discuz! X3.4 Copyright © 2001-2020, Tencent Cloud. 商业源码建议获取授权，如侵犯您的权益，请联系客服处理