搜索

[513] 2017-03-24_利用背景流量数据（contexualflowdata）识别TLS加密恶意流量

文档创建者：s7ckTeam
浏览次数：25
最后更新：2025-01-16
2017-03-24_利用背景流量数据（contexualflowdata）识别TLS加密恶意流量 利 用 背 景 流 量 数 据 （ c o n t e x u a l   f l o w   d a t a ） 识 别 T L S 加 密 恶 意 流 量 原 创   A r i e l   A r k T e a m   2 0 1 7 - 0 3 - 2 4 识 别 出 加 密 流 量 中 潜 藏 的 安 全 威 胁 具 有 很 大 挑 战 ， 现 已 存 在 一 些 检 测 方 法 利 用 数 据 流 的 元 数 据 来 进 行 检 测 ， 包 括 包 长 度 和 到 达 间 隔 时 间 等 。 来 自 思 科 的 研 究 人 员 扩 展 现 有 的 检 测 方 法 提 出 一 种 新 的 思 路 （ 称 之 为 “ d a t a   o m n i a ” ） ， 不 需 要 对 加 密 的 恶 意 流 量 进 行 解 密 ， 就 能 检 测 到 采 用 T L S 连 接 的 恶 意 程 序 ， 本 文 就 该 检 测 方 法 进 行 简 要 描 述 ， 主 要 参 照 思 科 在 A I S e c ’ 1 6 发 表 的 文 章 《 I d e n t i f y i n g   E n c r y p t e d   M a l w a r e   T r a f f i c   w i t h   C o n t e x t u a l   F l o w   D a t a 》 [ 1 ] [ 2 ] [ 3 ] 。 一 、 主 要 思 想 图 1   T L S 加 密 恶 意 流 量 检 测 流 程 首 先 ， 分 析 百 万 级 的 正 常 流 量 和 恶 意 流 量 中 T L S 流 、 D N S 流 和 H T T P 流 的 不 同 之 处 ， 具 体 包 括 未 加 密 的 T L S 握 手 信 息 、 T L S 流 中 与 目 的 I P 地 址 相 关 的 D N S 响 应 信 息 （ 如 图 2 ） 、 相 同 源 I P 地 址 5 m i n 窗 口 内 H T T P 流 的 头 部 信 息 ； 然 后 ， 选 取 具 有 明 显 区 分 度 的 特 征 集 作 为 分 类 器 （ 有 监 督 机 器 学 习 ） 的 输 入 来 训 练 检 测 模 型 ， 从 而 识 别 加 密 的 恶 意 流 量 。 本 方 法 区 别 于 已 有 研 究 方 法 的 地 方 就 是 利 用 T L S 流 相 关 背 景 流 量 信 息 （ 包 括 D N S 响 应 、 H T T P 头 部 等 ） 辅 助 加 密 恶 意 流 量 检 测 。
图 2   T L S 流 和 背 景 D N S 流 量 （ 红 色 数 据 用 于 链 接 T L S 流 和 D N S 流 、 绿 色 数 据 表 示 背 景 信 息 、 未 标 记 颜 色 的 数 据 表 示 T L S 未 加 密 的 头 部 信 息 ）   二 、 流 量 数 据 采 集 思 科 研 究 人 员 自 己 写 了 一 款 基 于 l i b p c a p 的 通 用 工 具 ， 用 于 分 析 并 提 取 捕 获 到 的 数 据 流 （ 恶 意 流 量 和 正 常 流 量 ） 的 数 据 特 征 ， 包 含 c l i e n t H e l l o ,   s e r v e r H e l l o ,   c e r t i f i c a t e 和 c l i e n - t K e y E x c h a n g e 等 信 息 。 1 .   恶 意 流 量 采 集 环 境 ： T h r e a t G R I D [ 4 ] ， 一 种 商 业 的 沙 箱 环 境 ， 提 供 恶 意 软 件 分 析 功 能 采 集 时 间 ： 2 0 1 6 年 1 月 - 2 0 1 6 年 4 月 说 明 ：   沙 箱 环 境 接 受 用 户 提 交 （ u s e r   s u b m i s s i o n s ） ， 每 个 用 户 提 交 允 许 运 行 5 m i n ， 所 有 的 网 络 活 动 被 记 录 用 于 分 析 。 2 .   正 常 流 量 （ D M Z 区 流 量 ， 本 文 认 为 该 区 域 包 含 少 量 的 恶 意 流 量 ） 采 集 环 境 ： 某 大 型 企 业 网 络 的 D M Z 区 某 5 天 的 数 据 量 采 集 时 间 ： 2 0 1 6 年 4 月 三 、 流 量 数 据 特 征 文 中 对 恶 意 / 正 常 流 量 中 T L S 流 及 背 景 流 量 信 息 （ D N S 响 应 信 息 、 H T T P 头 部 信 息 ） 进 行 统 计 分 析 ， 寻 找 恶 意 流 量 和 正 常 流 量 中 具 有 明 显 区 分 度 的 数 据 特 征 以 及 相 应 特 征 值 的 规 律 性 。 1 .   T L S 握 手 信 息 ： 选 取 拥 有 完 整 T L S 握 手 信 息 的 T L S 流 作 为 研 究 对 象 ， 通 过 分 析 T L S 握 手 信 息 发 现 ， 恶 意 流 量 和 正 常 流 量 使 用 的 加 密 套 件 （ c i p h e r s u i t e s ） 、 支 持 的 扩 展 （ e x t e n s i o n s ） 等 方 面 有 很 大 不 同 ， 详 见 表 1 。 表 1   恶 意 流 量 与 正 常 流 量 T L S 握 手 信 息 区 别
2 .   D N S 响 应 信 息 ： 通 过 选 取 和 目 的 I P 地 址 相 关 的 包 含 D N S 响 应 信 息 的 数 据 流 作 为 研 究 对 象 ， 提 取 响 应 的 域 名 信 息 进 行 分 析 。 D N S 域 名 信 息 也 可 以 从 S N I ( S e r v e r   N a m e   I n d i c a t i o n ) 扩 展 和 S A N s （ s u b j e c t   a l t e r n a t i v e   n a m e s ） 中 得 知 ， 但 由 于 T L S 版 本 信 息 等 原 因 ， 这 些 字 段 有 时 候 是 不 存 在 的 。 通 过 分 析 数 据 发 现 ，   恶 意 流 量 与 正 常 流 量 的 区 别 主 要 表 现 在 ：   域 名 的 长 度 、 数 字 字 符 及 非 数 字 或 者 字 母 ( n o n - a l p h a n u m e r i c c h a r a c t e r )   的 字 符 占 比 、 D N S 解 析 出 的 I P 数 量 、 T T L 值 以 及 域 名 是 否 收 录 在 A l e x a 网 站 等 。 域 名 的 长 度 域 名 的 长 度 ： 正 常 流 量 的 域 名 长 度 分 布 为 均 值 为 6 或 7 的 高 斯 分 布 （ 正 态 分 布 ） ； 而 恶 意 流 量 的 域 名 （ F Q D N 全 称 域 名 ） 长 度 多 为 6 （ 1 0 ） 。 数 字 字 符 及 非 字 母 数 字 数 字 字 符 及 非 字 母 数 字 ( n o n - a l p h a n u m e r i c   c h a r a c t e r )   的 字 符 占 比 的 字 符 占 比 ： 正 常 流 量 的 D N S 响 应 中 全 称 域 名 的 数 字 字 符 的 占 比 和 非 字 母 数 字 字 符 的 占 比 要 大 。 D N S 解 析 出 的 解 析 出 的 I P 数 量 数 量 ： 大 多 数 恶 意 流 量 和 正 常 流 量 只 返 回 一 个 I P 地 址 ； 其 它 情 况 ， 大 部 分 正 常 流 量 返 回 2 - 8 个 I P 地 址 ， 恶 意 流 量 返 回 4 或 者 1 1 个 I P 地 址 。 T T L 值 值 ： 正 常 流 量 的 T T L 值 一 般 为 6 0 、 3 0 0 、 2 0 、 3 0 ； 而 恶 意 流 量 多 为 3 0 0 ， 大 约 2 2 % 的 D N S 响 应 汇 总 T T L 为 1 0 0 ， 而 这 在 正 常 流 量 中 很 罕 见 。 域 名 是 否 收 录 在 域 名 是 否 收 录 在 A l e x a 网 站 网 站 ： 恶 意 流 量 域 名 信 息 很 少 收 录 在 A l e x a   t o p - 1 , 0 0 0 , 0 0 0 中 ， 而 正 常 流 量 域 名 多 收 录 在 其 中 。 3 .   H T T P 头 部 信 息 ： 选 取 相 同 源 I P 地 址 5 m i n 窗 口 内 的 H T T P 流 作 为 研 究 对 象 ， 通 过 分 析 H T T P 头 部 信 息 发 现 ， 恶 意 流 量 和 正 常 流 量 所 选 用 的 H T T P 头 部 字 段 有 很 大 区 别 。 详 见 表 2 。 此 外 ， 正 常 流 量 H T T P 头 部 信 息 汇 总 C o n t e n t - T y p e 值 值 多 为 i m a g e / * ， ， 而 恶 意 流 量 为 t e x t / * 、 、 t e x t / h t m l 、 、 c h a r s e t = U T F - 8 或 者 t e x t / h t m l ; c h a r s e t = U T F - 8 。 。 表 2   恶 意 流 量 与 正 常 流 量 H T T P 头 部 信 息 区 别
四 、 建 模 分 类 1 .   实 验 数 据 集 选 取 拥 有 完 整 T L S 握 手 信 息 且 有 D N S 响 应 和 H T T P 头 部 信 息 的 数 据 流 进 行 分 析 建 模 。 选 取 的 特 征 值 包 括 两 部 分 （ 这 里 不 赘 述 数 据 特 征 的 表 示 方 法 ， 详 见 论 文 ） ： （ 1 ） 可 直 接 观 测 到 的 元 数 据 ： 包 长 度 、 包 到 达 间 隔 时 间 以 及 字 节 分 布 。 （ 2 ） 第 三 章 节 提 到 T L S 握 手 信 息 及 对 应 的 背 景 流 量 包 含 的 数 据 特 征 ， 包 括 c i p h e r s u i t e s 、 、 e x t e n s i o n s 、 、 p u b l i c   k e y   l e n g t h 等 。 分 析 工 具 ： P y t h o n   和   S c i k i t - l e a r n [ 5 ] 2 .   实 验 过 程 ： 本 文 利 用 1 0 折 交 叉 验 证 （ 1 0 - f o l d   c r o s s - v a l i d a t i o n ） 和 l 1 正 则 化 的 逻 辑 回 归 算 法 （ l 1 - l o g i s t i c   r e g r e s s i o n ） 来 进 行 分 类 （ 即 判 断 加 密 流 量 是 否 是 恶 意 的 ） 。 文 中 也 针 对 不 同 数 据 特 征 的 组 合 的 分 类 结 果 进 行 了 统 计 （ 图 7 - T a b l e   1 ） ， 可 以 发 现 利 用 背 景 流 量 信 息 进 行 分 类 的 模 型 不 仅 准 确 率 会 更 高 ， 而 且 参 数 会 更 少 （ 根 据 交 叉 验 证 形 成 模 型 参 数 平 均 计 算 可 得 ） 。 图 7 中 T a b l e   2   列 出 了 对 判 别 正 常 流 量 和 异 常 流 量 影 响 权 重 比 较 大 的 数 据 特 征 。 这 些 特 征 很 容 易 解 释 为 什 么 网 络 流 是 恶 意 的 或 者 是 正 常 的 ， 例 如 绝 大 多 数 的 恶 意 流 量 样 本 不 会 和 排 名 t o p - 1 , 0 0 0 , 0 0 0 的 网 站 进 行 通 信 。 图 3   实 验 结 果 分 析 文 中 提 到 ， 使 用 F D R ( 伪 发 现 率 ， F a l s e   D i s c o v e r y   R a t e ) 作 为 假 设 检 验 错 误 率 的 控 制 指 标 （ F D R 不 超 过 0 . 0 0 ％ ） 。 我 们 收 集 的 特 征 数 据 除 了 用 于 构 造 机 器 学 习 模 型 之 外 ， 还 有 其 它 的 一 些 启 示 。 1 .   C l i e n t 端 的 c l i e n t - h e l l o 中 的 S N I 与 s e v e r 端 的 c e r t i f i c a t e 中 包 含 的 S A N 都 表 示 服 务 器 主 机 名 ， 两 者 的 差 异 性 可 以 用 于 恶 意 流 量 检 测 ；
2 .   H T T P 流 中 的 U s e r - A g e n t 和 从 T L S 流 中 c i p h e r s u i t e s 和 a d v e r t i s e d   e x t e n s i o n s 推 测 出 的 U s e r - A g e n t 的 差 异 性 也 可 以 用 于 恶 意 流 量 检 测 。 3 .   实 验 验 证 ： 为 了 防 止 过 拟 合 ， 除 了 上 面 提 到 的 交 叉 验 证 方 法 之 外 ， 我 们 额 外 收 集 了 2 0 1 6 年 5 月 这 个 月 期 间 相 同 企 业 网 络 中 D M Z 区 的 流 量 ， 用 第 五 章 节 训 练 形 成 的 模 型 来 进 行 验 证 。 从 T a b l e   3 中 可 以 看 到 ， 结 合 T L S 流 的 背 景 流 量 信 息 D N S 响 应 和 H T T P 头 部 信 息 进 行 分 类 的 效 果 最 好 ， 即 报 警 数 最 少 。 当 l 1 - l o g i s t i c   r e g r e s s i o n   c l a s s i f i e r 的 阈 值 （ P r o b a b i l i t y   o f   m a l i c i o u s ） 为 0 . 9 5 时 ， 该 分 类 器 只 有 8 6 个 报 警 （ 包 括 2 9 个 独 立 目 的 I P 地 址 和 4 7 个 独 立 的 源 I P 地 址 ） ， 其 中 有 4 2 个 报 警 看 似 是 “ 误 报 ” 。 经 过 分 析 发 现 ， 这 些 “ 误 报 ” 中 ， 主 机 是 一 直 和 G o o l g e 和 A k a m a i 服 务 器 通 信 ， 但 是 从 该 T L S 流 的 背 景 流 量 H T T P 流 （ c o n t e x u a l   H T T P ） 中 发 现 ， 其 与 可 疑 域 名 进 行 通 信 （ H T T P 中 的 H o s t 字 段 ） ， 经 V i r u s T o t a l 确 认 ， 有 5 0 % 的 反 病 毒 引 擎 认 为 和 该 域 名 相 关 的 可 执 行 程 序 是 恶 意 的 ， 这 也 进 一 步 说 明 了 该 模 型 的 有 效 性 。 图 4   实 验 数 据 验 证 五 、 参 考 文 章 [ 1 ]     I d e n t i f y i n g   E n c r y p t e d   M a l w a r e   T r a f f i c   w i t h   C o n t e x t u a l   F l o w   D a t a h t t p : / / d l . a c m . o r g / c i t a t i o n . c f m ? i d = 2 9 9 6 7 6 8 [ 2 ]   不 解 密 数 据 竟 也 能 识 别 T L S 加 密 的 恶 意 流 量 ？ h t t p : / / w w w . f r e e b u f . c o m / n e w s / 1 0 8 6 2 8 . h t m l [ 3 ]   传 输 层 安 全 协 议 抓 包 分 析 S S L / T L S   h t t p : / / w w w . f r e e b u f . c o m / a r t i c l e s / n e t w o r k / 1 1 6 4 9 7 . h t m l [ 4 ]     C i s c o   A M P   T h r e a t   G r i d     h t t p : / / w w w . t h r e a t g r i d . c o m   ,   2 0 1 6 . [ 5 ]     F .   P e d r e g o s a ,   G .   V a r o q u a u x ,   A .   G r a m f o r t ,   V .   M i c h e l ,   B .   T h i r i o n ,   O .   G r i s e l ,   M .   B l o n d e l ,   P .   P r e t t e n h o f e r ,   R .   W e i s s ,   V .   D u b o u r g ,   J . V a n d e r p l a s ,   A .   P a s s o s ,   D .   C o u r n a p e a u ,   M .   B r u c h e r ,   M .   P e r r o t ,   a n d   E .   D u c h e s n a y .   S c i k i t - l e a r n :   M a c h i n e   L e a r n i n g   i n   P y t h o n .   J M L R , 1 2 : 2 8 2 5 - 2 8 3 0 ,   2 0 1 1 . 更 多 精 彩 内 容 ， 请 关 注 ： 1 .   A r k T e a m 官 方 微 信 官 方 微 信 — 公 众 账 号 名 称 ： A r k T e a m
2 .   A r k T e a m 官 方 微 博 ： 官 方 微 博 ： 昵 称 ： A r k T e a m 网 址 ： h t t p : / / w w w . w e i b o . c o m / a r k t e a m 阅 读 原 文
回复

举报

高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

Archiver| 手机版| 小黑屋|
Powered by Discuz! X3.4 Copyright © 2001-2020, Tencent Cloud. 商业源码建议获取授权，如侵犯您的权益，请联系客服处理