搜索

[655] 2018-09-22_利用强化学习来躲避基于机器学习的静态恶意PE文件检测模型

文档创建者：s7ckTeam
浏览次数：29
最后更新：2025-01-16
2018-09-22_利用强化学习来躲避基于机器学习的静态恶意PE文件检测模型 利 用 强 化 学 习 来 躲 避 基 于 机 器 学 习 的 静 态 恶 意 P E 文 件 检 测 模 型 A r k T e a m   2 0 1 8 - 0 9 - 2 2 作 者 ： { W J N } @ A r k T e a m 原 文 标 题 ： L e a r n i n g   t o   E v a d e   S t a t i c   P E   M a c h i n e   L e a r n i n g   M a l w a r e   M o d e l s   v i a   R e i n f o r c e m e n t   L e a r n i n g 原 文 作 者 ： H y r u m   S .   A n d e r s o n ,   A n a n t   K h a r k a r ,   B o b b y   F i l a r ,   D a v i d   E v a n s ,   P h i l   R o t h 原 文 出 处 ： h t t p s : / / a r x i v . o r g / p d f / 1 8 0 1 . 0 8 9 1 7 ( 前 导 文 章 曾 在 B l a k H a t 会 议 上 展 示 ， 链 接 为 h t t p s : / / w w w . b l a c k h a t . c o m / d o c s / u s - 1 7 / t h u r s d a y / u s - 1 7 - A n d e r s o n - B o t - V s - B o t - E v a d i n g - M a c h i n e - L e a r n i n g - M a l w a r e - D e t e c t i o n - w p . p d f   ) 机 器 学 习 常 常 应 用 于 恶 意 软 件 检 测 ， 因 为 它 具 备 检 测 未 知 恶 意 软 件 家 族 和 恶 意 软 件 多 态 的 能 力 。 然 而 最 近 在 对 抗 性 机 器 学 习 方 面 的 研 究 表 明 ， 深 度 学 习 模 型 容 易 受 到 基 于 梯 度 的 攻 击 。 在 本 文 中 ， 作 者 提 出 了 一 个 基 于 强 化 学 习 （ R L ） 的 更 通 用 的 框 架 ， 用 于 攻 击 静 态 可 移 植 可 执 行 （ P E ） 恶 意 软 件 检 测 系 统 。 该 框 架 不 需 要 可 靠 的 模 型 ， 也 不 需 要 目 标 系 统 产 生 分 数 。 相 反 ， R L 代 理 程 序 配 备 了 一 组 可 在 P E 文 件 上 执 行 的 功 能 保 留 操 作 。 通 过 针 对 目 标 恶 意 软 件 检 测 系 统 的 一 系 列 交 互 ， 即 可 了 解 哪 些 操 作 序 列 可 能 导 致 避 开 任 何 给 定 恶 意 软 件 样 本 的 检 测 。 这 样 可 以 对 静 态 P E 恶 意 软 件 检 测 系 统 进 行 完 全 黑 盒 攻 击 ， 并 直 接 产 生 功 能 性 回 避 的 恶 意 软 件 样 本 。 一 、 强 化 学 习 简 介 强 化 学 习 模 型 由 代 理 和 环 境 组 成 ， 他 们 在 一 系 列 轮 转 （ 或 离 散 时 间 步 长 ） 中 相 互 作 用 。 对 于 每 个 轮 转 t ， 代 理 可 以 基 于 策 略 π （ a   |   s t ） 和 可 观 察 的 环 境 状 态 向 量 s t 选 择 动 作 a ∈ A 。 环 境 产 生 奖 励 r t ∈ R 以 响 应 所 选 择 的 动 作 以 及 新 的 环 境 状 态 向 量 s t + 1 。 将 环 境 s t + 1 的 奖 励 r t 和 观 察 状 态 反 馈 给 代 理 ， 以 基 于 策 略 π （ a   | s t + 1 ） 选 择 新 动 作 。 代 理 人 通 过 勘 探 和 利 用 的 妥 协 平 衡 逐 渐 学 习 ， 根 据 环 境 的 状 态 产 生 行 动 。 代 理 的 目 标 是 学 习 导 出 一 个 策 略 ， 该 策 略 最 大 化 由 V π （ s t ） =   E   a t   [ Q π （ s t ， a t ） |   s t ] 定 义 的 预 期 收 益 。 通 过 V π 促 进 不 会 立 即 产 生 奖 励 但 对 最 终 结 果 很 重 要 的 早 期 行 动 ， 这 可 以 预 测 给 定 状 态 的 长 期 回 报 。 该 函 数 估 计 对 给 定 状 态 采 取 给 定 动 作 的 预 期 效 用 称 为 Q 函 数 。 二 、 实 验 场 景 映 射 在 实 验 中 ， 作 者 训 练 A C E R 代 理 （ a c t o r - c r i t i c   m o d e l   w i t h   e x p e r i e n c e   r e p l a y ） 来 学 习 图 1 所 示 框 架 的 策 略 。 在 所 示 的 M a r k o v 决 策 过 程 中 ， 代 理 获 得 环 境 状 态 s ∈ S 的 估 计 ， 由 恶 意 软 件 的 特 征 向 量 s 表 示 （ 不 需 要 与 目 标 恶 意 软 件 检 测 系 统 的 恶 意 软 件 的 任 何 内 部 表 示 相 对 应 ） 。   Q 函 数 和 行 动 政 策 决 定 采 取 什 么 行 动 。 在 我 们 的 框 架 中 ， 动 作 空 间 A 包 含 一 组 对 P E 文 件 的 修 改 ， 它 们 （ a ） 不 破 坏 P E 文 件 格 式 ， （ b ） 不 改 变 恶 意 软 件 样 本 的 预 期 功 能 。 奖 励 函 数 由 恶 意 软 件 检 测 系 统 度 量 ， 如 果 被 修 改 的 恶 意 软 件 样 本 被 判 定 为 恶 意 （ 无 逃 避 ） ， 则 奖 励 为 0 ； 如 果 被 认 为 是 良 性 （ 逃 避 ） 则 为 R 。 然 后 将 奖 励 和 状 态 反 馈 给 代 理 。
图 1   系 统 架 构 图                 1 .   A n t i - m a l w a r e 对 1 0 0 , 0 0 0 个 恶 意 和 良 性 样 本 进 行 训 练 的 梯 度 增 强 决 策 树 模 型 。 2 .   S t a t e 恶 意 软 件 样 本 在 环 境 中 以 原 始 字 节 存 在 。 但 是 ， 为 了 更 简 洁 地 表 示 恶 意 软 件 样 本 的 当 前 状 态 ， 环 境 以 特 征 向 量 的 形 式 反 馈 状 态 。 在 实 验 中 ， 作 者 使 用 2 3 5 0 维 特 征 向 量 ， 该 向 量 由 以 下 一 般 类 别 的 特 征 组 成 ： • P E 标 头 元 数 据 • 节 元 数 据 ： 节 名 称 ， 大 小 和 特 征 • 导 入 和 导 出 表 元 数 据 • 人 类 可 读 字 符 串 的 计 数 （ 例 如 文 件 路 径 ， U R L 和 注 册 表 项 名 称 ） • 字 节 直 方 图 • 2 D 字 节 熵 直 方 图 3 .   a c t i o n 环 境 中 代 理 可 采 取 动 作 的 含 义 为 对 P E 文 件 进 行 适 度 的 不 会 破 坏 P E 文 件 格 式 并 且 不 会 改 变 代 码 执 行 的 修 改 。 文 章 中 采 取 的 动 作 包 括 但 不 限 于 ： • 将 函 数 添 加 到 从 未 使 用 的 导 入 地 址 表 中 • 操 纵 现 有 的 s e c t i o n 的 名 称 • 创 建 新 的 （ 未 使 用 的 ） s e c t i o n • 在 节 的 末 尾 将 字 节 附 加 到 额 外 的 空 格 • 创 建 一 个 新 的 入 口 点 ， 立 即 跳 转 到 原 始 入 口 点 • 删 除 签 名 者 信 息 • 操 纵 调 试 信 息 • 包 装 或 拆 包 • 修 改 （ 中 断 ） 头 部 校 验 和
• 将 字 节 附 加 到 叠 加 层 （ P E 文 件 的 末 尾 ） 本 文 所 实 现 的 是 最 具 挑 战 性 的 攻 击 方 案 ， 即 攻 击 者 可 以 获 得 的 信 息 有 限 制 ： （ 1 ） 目 标 分 类 器 的 输 出 是 严 格 的 布 尔 值 ， 仅 表 明 分 类 器 认 为 样 本 是 良 性 或 恶 意 。 （ 2 ） 目 标 分 类 的 特 征 空 间 和 结 构 完 全 未 知 。 （ 3 ） 没 有 第 三 方 （ 例 如 o r a c l e ） 来 保 证 样 本 有 效 。 三 、 实 验 结 果 展 示 表 1   在 培 训 期 间 发 现 的 规 避 变 种 的 数 量 表 2   交 叉 逃 避 作 者 将 强 化 学 习 代 理 产 生 的 样 本 上 传 到 V i r u s T o t a l ， 发 现 与 原 始 样 本 的 检 测 率 相 比 ， 中 值 检 测 率 下 降 。 该 结 果 说 明 通 过 绕 过 相 对 简 单 的 机 器 学 习 模 型 ， 造 成 商 业 产 品 的 交 叉 逃 避 是 可 能 的 。 阅 读 原 文
回复

举报

高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

Archiver| 手机版| 小黑屋|
Powered by Discuz! X3.4 Copyright © 2001-2020, Tencent Cloud. 商业源码建议获取授权，如侵犯您的权益，请联系客服处理