搜索

[9660] 2015-12-20_浅析PRODIGAL：真实企业中的内部威胁检测系统

文档创建者：s7ckTeam
浏览次数：4
最后更新：2025-01-18
2015-12-20_浅析PRODIGAL：真实企业中的内部威胁检测系统 浅 析 P R O D I G A L ： 真 实 企 业 中 的 内 部 威 胁 检 测 系 统 w i n d h a w k   F r e e B u f   2 0 1 5 - 1 2 - 2 0 0 x 0 0   写 在 前 面 写 在 前 面 2 0 1 3 年 年 2 月 份 美 国 白 宫 发 布 了 一 份 总 统 备 忘 录 ， 专 门 就 当 前 面 临 的 内 部 威 胁 （ 月 份 美 国 白 宫 发 布 了 一 份 总 统 备 忘 录 ， 专 门 就 当 前 面 临 的 内 部 威 胁 （ I n s i d e r   T h r e a t s ） 进 行 了 分 析 ， 并 且 督 ） 进 行 了 分 析 ， 并 且 督 促 行 政 部 门 紧 急 出 台 一 份 应 对 内 部 威 胁 的 解 决 方 案 。 无 独 有 偶 ， 促 行 政 部 门 紧 急 出 台 一 份 应 对 内 部 威 胁 的 解 决 方 案 。 无 独 有 偶 ， D A R P A 也 在 也 在 2 0 1 2 年 出 台 了 年 出 台 了 A D A M S 项 目 ， 该 项 目 专 项 目 ， 该 项 目 专 门 用 于 美 国 国 内 敏 感 部 门 、 企 业 的 内 部 威 胁 检 测 。 门 用 于 美 国 国 内 敏 感 部 门 、 企 业 的 内 部 威 胁 检 测 。 2 0 1 3 年 ， 美 国 国 际 科 学 应 用 国 际 公 司 S A I C 联 合 C M U 、 O S U 、 G T R I 以 及 U M A S S 四 家 高 校 联 合 开 发 了 P R O D I G A L 系 统 （ P R O a c t i v e   D e t e c t i o n   o f   I n s i d e r   T h r e a t s   w i t h   G r a p h   A n a l y s i s   a n d   L e a r n i n g ） ， 专 门 用 于 美 国 敏 感 部 门 的 内 部 威 胁 检 测 。 目 前 P R O D I G A L 已 经 在 美 国 的 部 分 涉 密 企 业 实 际 部 署 ， 结 果 得 到 部 署 企 业 的 一 致 好 评 。 因 此 今 天 我 们 来 了 解 下 P R O D I G A L ， 希 望 从 中 可 以 为 我 们 研 发 自 主 可 控 的 内 部 威 胁 检 测 系 统 带 来 借 鉴 。 S A I C 公 司 是 美 国 一 家 实 力 雄 厚 的 技 术 公 司 ， 其 每 年 9 0 % 的 业 务 来 自 于 美 国 政 府 和 国 防 部 ， 也 参 与 到 美 国 军 方 的 信 息 系 统 建 设 。 有 兴 趣 的 童 鞋 可 以 参 考 其 官 方 网 站 ： h t t p : / / w w w . s a i c . c o m / 文 章 大 纲 文 章 大 纲 1 .   I n t r o d u c t i o n （ 项 目 背 景 介 绍 ） 2 .   A p p r o a c h   a n d   M e t h o d s （ 检 测 方 法 ） 3 .   A n o m a l y   D e t e c t i o n   L a n g u a g e （ 异 常 检 测 语 言 ） 4 .   E x p e r i m e n t s   a n d   R e s u l t s （ 实 验 和 结 果 ） 5 .   C o n c l u s i o n （ 小 结 ） 0 x 0 1   项 目 背 景 介 绍 项 目 背 景 介 绍 内 部 威 胁 （ I n s i d e r   T h r e a t s ,   I T s ） 已 经 成 为 了 威 胁 美 国 政 府 和 企 业 界 的 主 要 问 题 ， 一 般 来 说 I T s 主 要 有 以 下 几 种 类 型 ： - 破 坏 （ I n f o r m a t i o n   S y s t e m   S a b o t a g e ） ： 以 摧 毁 目 标 的 信 息 系 统 为 目 的 ； - 窃 取 （ I n f o r m a t i o n   P r o p e r t y   T h e f t ,   I P T ） ： 以 窃 取 目 标 的 关 键 信 息 资 产 为 目 的 ， 通 常 也 是 A P T 的 一 个 目 标 ； - 欺 诈 （ F r a u d ） ： 如 假 冒 其 它 内 部 人 员 信 用 欺 诈 等 ； - 国 家 安 全 事 件 （ N a t i o n a l   S e c u r i t y   C r i m e s ） ： 如 “ 斯 诺 登 事 件 ” 泄 露 国 家 安 全 信 息 - - - “ 棱 镜 计 划 ” ； I T s 虽 然 与 I D S 领 域 的 主 动 检 测 有 相 似 之 处 ， 但 是 实 际 比 之 更 加 困 难 ， 主 要 原 因 有 以 下 几 点 ：
- 内 部 攻 击 者 通 常 十 分 了 解 要 攻 击 的 信 息 系 统 ， 也 熟 知 通 常 的 工 作 流 程 和 关 键 信 息 资 产 的 位 置 ， 并 且 本 身 就 具 有 访 问 目 标 信 息 的 授 权 ； - 在 所 收 集 的 计 算 机 使 用 数 据 集 中 有 价 值 的 攻 击 数 据 占 比 例 十 分 小 ， 导 致 数 据 挖 掘 分 析 的 工 作 任 务 十 分 繁 重 ； - 由 于 工 作 环 境 （ 流 程 、 新 的 规 章 制 度 ） 的 改 变 和 攻 击 者 隐 藏 自 己 行 为 的 影 响 ， 导 致 建 立 的 内 部 威 胁 检 测 模 型 需 要 动 态 变 化 ； - 实 际 中 的 I T s 仅 仅 是 用 计 算 机 使 用 的 记 录 数 据 是 远 远 不 够 的 ， 通 常 需 要 结 合 更 多 实 际 数 据 ， 如 雇 员 人 事 记 录 、 组 织 会 议 记 录 、 项 目 分 配 计 划 以 及 工 作 时 间 与 地 点 等 ， 但 是 这 些 信 息 由 于 涉 及 公 司 机 密 或 个 人 隐 私 ， 往 往 不 容 易 获 得 ； 虽 然 I T s 面 临 着 诸 多 挑 战 ， 但 依 旧 没 有 挡 住 美 国 在 这 个 研 究 领 域 中 投 入 立 项 。 2 0 1 2 年 的 A D A M S 立 项 后 ， 由 乔 治 理 工 大 学 的 一 个 团 队 负 责 实 施 ， 并 且 选 择 了 美 国 的 一 家 涉 密 企 业 （ 禁 止 公 开 ） ， 利 用 S u r e V i e w 工 具 收 集 了 9 月 、 1 0 月 两 个 月 的 数 据 建 立 了 初 始 的 用 户 正 常 行 为 数 据 集 ， 这 些 数 据 集 来 源 于 约 5 5 0 0 名 员 工 ， 每 天 产 生 约 5 5 0 万 条 用 户 记 录 。 数 据 集 主 要 记 录 用 户 的 系 统 登 录 / 文 件 访 问 / 邮 件 往 来 / 即 时 消 息 I M / 浏 览 器 使 用 等 行 为 ， A D A M S 就 依 据 这 些 用 户 记 录 开 展 后 续 的 研 究 工 作 。 我 们 今 天 介 绍 的 P R O D I G A L 由 于 其 业 务 的 特 殊 性 以 及 和 D A R P A 的 特 殊 关 系 （ 许 多 S A I C 的 研 究 人 员 以 前 就 职 于 D A R P A ） ， 选 择 了 A D A M S 的 实 验 企 业 来 部 署 分 析 平 台 ， 共 用 这 个 涉 密 企 业 的 用 户 数 据 。 0 x 0 2   检 测 方 法 检 测 方 法 2 . 1   特 征 选 择 特 征 选 择 特 征 选 择 上 ， P R O D I G A L 主 要 根 据 获 得 的 数 据 集 提 取 出 计 数 （ A g g r e g a t i o n ） 和 比 例 （ R a t i o ） 两 类 特 征 ， 这 些 特 征 一 共 分 成 7 大 类 ， 共 计 1 1 1 个 ： 除 了 特 征 ， P R O D I G A L 还 从 数 据 中 挖 掘 出 人 员 关 系 图 作 为 辅 助 信 息 分 析 ， 这 些 关 系 图 主 要 有 ： 邮 件 图 ： 记 录 邮 件 往 来 的 用 户 、 邮 件 地 址 、 使 用 的 计 算 机 以 及 发 送 的 消 息 ； 打 印 机 图 ： 记 录 使 用 打 印 机 的 用 户 和 使 用 的 计 算 机 ； 网 络 图 ： 记 录 用 户 访 问 的 域 名 以 及 使 用 的 计 算 机 ； 登 录 图 ： 记 录 用 户 和 使 用 的 计 算 机 ； 2 . 2   异 常 检 测 框 架 异 常 检 测 框 架 P R O D I G A L 使 用 多 达 1 5 种 异 常 检 测 算 法 来 构 建 分 类 器 ， 这 些 算 法 需 要 一 种 可 以 比 较 和 综 合 分 析 的 通 用 数 据 结 构 ， 该 结 构 中 设 计 有 原 始 分 （ R a w   S c o r e ） 和 标 准 分 （ N o r m a l i z a t i o n   S c o r e ） ， 标 准 分 可 以 比 较 不 同 算 法 对 同 一 个 用 户 行 为 评 定 的 威 胁 等 级 ：
2 . 3   检 测 起 点 检 测 起 点 获 得 的 特 征 集 有 1 1 1 个 之 多 ， 具 体 到 每 个 用 户 则 有 成 千 上 万 的 数 据 要 记 录 处 理 。 为 了 缩 减 每 次 处 理 的 数 据 量 ， 同 时 建 立 多 维 度 的 异 常 检 测 机 制 ， P R O D I G A L 设 计 从 三 个 维 度 来 选 取 特 征 集 训 练 分 类 器 ， 这 三 个 维 度 也 称 之 为 检 测 起 点 （ S t a r t i n g P o i n t s ） ： 指 示 器 、 异 常 和 场 景 三 个 维 度 是 从 特 征 集 中 选 取 特 征 的 三 种 方 式 ， 每 种 选 择 的 特 征 都 会 有 所 不 同 。 指 示 器 用 来 包 括 那 些 明 确 的 数 据 特 征 ， 而 异 常 则 用 来 涵 盖 较 为 抽 象 的 用 户 行 为 （ 如 文 件 访 问 ） ， 场 景 取 自 指 示 器 与 异 常 的 交 集 ， 关 联 特 定 的 攻 击 场 景 ， 三 者 的 关 系 可 以 直 观 地 从 一 个 示 例 图 中 看 出 ：
2 . 4   异 常 检 测 方 法 异 常 检 测 方 法 P R O D I G A L 使 用 了 1 5 种 异 常 检 测 算 法 训 练 分 类 器 ， 这 些 算 法 大 多 是 经 典 的 机 器 学 习 算 法 ， 由 于 数 量 众 多 ， 我 们 这 里 仅 仅 列 举 出 使 用 的 方 法 ， 感 兴 趣 的 童 鞋 可 以 百 度 搜 索 更 进 一 步 了 解 ： 关 系 伪 异 常 检 测 （ R e l a t i o n a l   P s e u d o - A n o m a l y   D e t e c t i o n ,   R P A D ） 关 系 密 度 估 计 （ R e l a t i o n a l   D e n s i t y   E s t i m a t i o n ,   R D E ） 重 复 基 于 格 的 快 速 异 常 检 测 （ G r i d - b a s e d   F a s t   A n o m a l y   D e t e c t i o n ） 高 斯 混 合 模 型 （ G a u s s i a n   M i x t u r e   M o d e l ， G M M ） 整 体 高 斯 混 合 模 型 （ E n s e m b l e   G a u s s i a n   M i x t u r e   M o d e l ,   E G M M ） 重 复 不 可 能 区 分 （ R e p e a t e d   I m p o s s i b l e   D i s c r i m i n a t i o n   E n s e m b l e ,   R I D E ） 交 叉 预 测 （ C r o s s   P r e d i c t i o n ） 向 量 空 间 （ V e c t o r   S p a c e   M o d e l ） 临 时 异 常 检 测 （ T e m p o r a l - b a s e d   A n o m a l y   D e t e c t i o n ） S T I N G E R C o m m u n i t y   D e t e c t i o n S t r e a m   C o m m u n i t y   D e t e c t i o n ] S e e d   S e t   E x p a n s i o n B e t w e e n n e s s   C e n t r a l i t y   o f   S t r e a m i n g   G r a p h s 交 互 式 图 搜 索 （ I n t e r a c t i v e   G r a p h   E x p l o r a t i o n ， A p o l o ） 0 x 0 3   异 常 检 测 语 言 异 常 检 测 语 言 传 统 的 异 常 检 测 方 法 通 常 构 建 一 个 分 类 器 （ 单 一 或 组 合 ） ， 然 后 选 取 特 定 的 特 征 来 检 测 异 常 行 为 模 式 。 由 于 试 图 用 一 个 稳 定 的 算 法 来 检 测 所 有 的 异 常 ， 必 然 导 致 极 高 的 误 报 率 ， 这 也 是 以 往 所 有 主 动 检 测 在 实 际 中 部 署 较 少 的 原 因 。 P R O D I G A L 之 所 以 能 够 在 实 际 企 业 环 境 中 表 现 良 好 ， 缘 于 其 使 用 的 动 态 检 测 架 构 。 P R O D I G A L 不 再 试 图 用 一 个 固 定 的 分 类 器 使 用 架 构 来 检 测 异 常 ， 而 是 根 据 不 同 的 威 胁 类 型 建 立 灵 活 的 检 测 架 构 。 通 俗 地 来 说 ， 以 往 的 异 常 检 测 研 究 都 是 设 定 一 种 分 类 器 固 定 的 使 用 方 法 ， 使 用 什 么 算 法 构 建 分 类 器 ， 如 何 使 用 分 类 器 都 是 固 定 的 ； 而 P R O D I G A L 通 过 设 计 异 常 检 测 语 言 ， 使 得 可 以 表 示 多 种 灵 活 的 分 类 器 使 用 方 式 （ 选 择 与 组 合 ） 。
P R O D I G A L 定 义 的 异 常 检 测 语 言 （ A n o m a l y   D e t e c t i o n   L a n g u a g e ） 具 有 以 下 基 本 的 语 法 要 素 见 下 图 ： 用 图 来 表 示 这 些 语 法 ： 为 了 方 便 大 家 理 解 异 常 检 测 语 言 的 用 处 ， 我 们 给 出 一 个 特 定 攻 击 场 景 检 测 的 语 言 表 示 ， 从 中 我 们 可 以 看 出 针 对 这 种 攻 击 如 何 选 择 分 类 器 以 及 如 何 组 织 分 类 器 进 行 检 测 。 这 里 的 攻 击 场 景 是 有 组 织 的 内 部 信 息 窃 取 ， 即 内 部 的 多 个 人 在 某 个 人 的 授 意 下 ， 秘 密 地 窃 取 组 织 机 密 信 息 ， 发 送 给 组 织 者 ， 由 组 织 者 组 合 信 息 ， 卖 给 竞 争 对 手 ：
检 测 过 程 从 左 侧 开 始 ， 左 上 表 示 首 先 过 滤 记 录 中 的 用 户 访 问 记 录 ， 选 取 超 出 阈 值 的 部 分 数 据 进 入 到 聚 合 器 A 处 理 成 c o o u n t 特 征 ； 与 此 同 时 进 行 的 是 邮 件 、 I M 往 来 关 系 图 的 辅 助 分 析 ， 确 定 出 幕 后 组 织 者 的 存 在 ， 相 关 信 息 也 加 入 到 聚 合 器 A 中 ， 得 到 特 征 。 左 下 方 表 示 由 安 全 分 析 专 家 和 管 理 者 提 供 的 专 业 知 识 ， 这 部 分 作 为 辅 助 数 据 同 样 输 入 到 分 类 器 S 中 ， 最 终 使 用 E G M M 算 法 训 练 分 类 器 ， 得 到 判 定 。 最 下 方 通 过 即 时 消 息 I M 的 内 容 阶 段 来 作 为 辅 助 信 息 帮 助 分 类 器 判 断 。 0 x 0 4 实 验 和 结 果 实 验 和 结 果 P R O D I G A L 使 用 的 数 据 集 就 是 A D A M S 获 得 的 企 业 数 据 集 ， 时 间 跨 度 为 2 0 1 2 年 9 月 - 1 0 月 。 攻 击 数 据 由 U S . C e r 的 R e d T e a m 模 拟 了 三 类 共 6 次 内 部 攻 击 数 据 ， 插 入 到 正 常 数 据 集 中 进 行 检 测 。 P R O D I G A L 的 检 测 效 果 使 用 R O C （ 受 试 者 曲 线 ） 和 A U C （ R O C 曲 线 面 积 ） 来 衡 量 ， A U C 越 大 表 明 检 测 率 越 高 ， 同 时 误 报 率 越 低 。 使 用 关 系 伪 异 常 检 测 时 ， A U C 达 到 了 0 . 7 9 7 ， 如 图 ： 所 有 的 算 法 统 一 比 较 的 结 果 如 图 ，   排 序 根 据 前 5 0 0 个 实 例 中 检 测 出 异 常 行 为 的 个 数 来 标 识 ：
0 x 0 5   小 结 小 结 一 直 以 来 ， 异 常 检 测 由 于 过 高 的 误 报 率 从 而 无 法 在 实 际 中 大 规 模 部 署 应 用 。 美 国 S A I C 和 四 家 高 校 研 发 的 P R O D I G A L 系 统 通 过 多 种 算 法 的 灵 活 使 用 ， 使 得 现 实 中 部 署 内 部 异 常 检 测 系 统 成 为 可 能 。 P R O D I G A L 已 经 在 美 国 的 部 分 涉 密 企 业 中 部 署 ， 在 运 行 中 不 断 改 进 优 化 和 丰 富 攻 击 特 征 语 言 数 据 库 ， 相 信 P R O D I G A L 会 成 为 将 来 第 一 款 部 署 的 强 大 内 部 威 胁 检 测 系 统 。 最 后 ， 为 了 便 于 大 家 理 解 P R O D I G A L 的 工 作 思 路 ， 可 以 参 考 图 ：
0 x 0 6   参 考 资 料 参 考 资 料 可 阅 读 原 文 ， 获 取 链 接 。 *   原 创 作 者 ： w i n d h a w k ， 本 文 属 F r e e B u f 原 创 奖 励 计 划 ， 未 经 许 可 禁 止 转 载
阅 读 原 文
回复

举报

高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

使用Markdown编辑器编辑 使用富文本编辑器编辑

Archiver| 手机版| 小黑屋|
Powered by Discuz! X3.4 Copyright © 2001-2020, Tencent Cloud. 商业源码建议获取授权，如侵犯您的权益，请联系客服处理