搜索

[685] 2019-06-14_NIC：基于神经网络不变量检测的对抗样本检测

文档创建者：s7ckTeam
浏览次数：4
最后更新：2025-01-16
2019-06-14_NIC：基于神经网络不变量检测的对抗样本检测 N I C ： 基 于 神 经 网 络 不 变 量 检 测 的 对 抗 样 本 检 测 A r k T e a m   2 0 1 9 - 0 6 - 1 4 作 者 ： { W J N } @ A r k T e a m 原 文 标 题 ： N I C :   D e t e c t i n g   A d v e r s a r i a l   S a m p l e s   w i t h   N e u r a l   N e t w o r k   I n v a r i a n t   C h e c k i n g 原 文 作 者 ： S h i q i n g   M a ,   Y i n g q i   L i u ,   G u a n h o n g   T a o ,   W e n - C h u a n   L e e ,   X i a n g y u   Z h a n g 原 文 出 处 ：   N e t w o r k   a n d   D i s t r i b u t e d   S y s t e m s   S e c u r i t y   ( N D S S )   S y m p o s i u m   2 0 1 9 原 文 链 接 ： h t t p s : / / d x . d o i . o r g / 1 0 . 1 4 7 2 2 / n d s s . 2 0 1 9 . 2 3 4 1 5 深 度 神 经 网 络 ( D N N ) 很 容 易 受 到 对 抗 攻 击 ， 从 而 导 致 D N N 模 型 出 现 误 分 类 等 异 常 行 为 。 现 有 的 防 御 和 检 测 技 术 基 于 特 定 假 设 能 够 实 现 对 某 种 特 定 攻 击 方 法 的 有 效 防 御 和 检 测 ， 但 往 往 不 具 备 普 遍 性 ， 无 法 抵 御 广 泛 多 样 的 攻 击 形 式 。 在 这 样 的 背 景 下 ， 作 者 分 析 了 D N N 模 型 在 各 种 攻 击 下 的 内 部 机 制 ， 确 定 了 两 种 常 用 攻 击 通 道 : 激 活 起 源 通 道 （ p r o v e n a n c e   c h a n n e l ） 和 激 活 值 分 布 通 道 （ a c t i v a t i o n   v a l u e   d i s t r i b u t i o n   c h a n n e l ） 。 并 提 出 一 种 基 于 D N N 不 变 量 的 运 行 时 对 抗 样 本 检 测 技 术 。 激 活 起 源 通 道 激 活 起 源 通 道 ： D N N 的 每 一 ( 隐 藏 ) 层 可 以 看 作 是 将 前 一 层 被 激 活 的 神 经 元 提 取 出 来 ， 与 该 层 的 权 值 进 行 矩 阵 乘 法 ， 然 后 应 用 一 个 激 活 函 数 来 确 定 该 层 中 被 激 活 的 神 经 元 的 函 数 。 因 此 定 义 前 一 层 被 激 活 的 神 经 元 与 某 一 层 被 激 活 的 神 经 元 之 间 的 关 系 即 为 该 层 的 激 活 起 源 。 许 多 攻 击 都 会 改 变 激 活 起 源 。 直 觉 来 讲 , 给 定 一 个 对 抗 样 本 x ′ , 类 似 于 A 类 的 x , 如 果 目 标 是 使 模 型 将 x ′ 分 类 为 B ,   x ′ 的 激 活 起 源 往 往 于 传 统 类 别 A 或 B 的 激 活 起 源 不 同 。 这 通 常 是 由 于 模 型 内 部 不 稳 定 ,   前 层 神 经 元 激 活 值 的 微 小 变 化 可 能 导 致 下 一 层 激 活 神 经 元 集 合 发 生 实 质 性 变 化 。 如 下 图 2 中 左 侧 所 示 ， x ′ 的 O P 与 类 别 A 和 B 的 常 见 P I 都 不 相 同 ， 因 此 导 致 分 类 错 误 。 针 对 D N N 的 木 马 攻 击 和 L 0 攻 击 就 是 这 种 攻 击 的 典 型 。 激 活 值 分 布 通 道 激 活 值 分 布 通 道 ： 有 些 攻 击 可 能 不 会 利 用 激 活 起 源 通 道 。 换 句 话 说 ， 敌 对 样 本 的 激 活 起 源 与 良 性 输 入 的 激 活 起 源 相 同 。 在 这 种 情 况 下 ， 为 了 引 起 分 类 错 误 ， 被 激 活 的 神 经 元 的 激 活 值 分 布 必 须 与 良 性 输 入 的 不 同 。 图 2 右 侧 中 ， 对 抗 样 本 与 正 常 B 类 样 本 的 激 活 起 源 相 同 ， 但 是 层 l 2 中 激 活 值 的 差 异 较 大 ， 导 致 A 类 的 输 出 值 大 于 B 类 ， 最 终 出 现 误 分 类 。 L ∞ 即 为 这 种 攻 击 形 式 。 图 1   正 常 样 本 P I 和 V I
图 2   两 种 攻 击 通 道 基 于 以 上 发 现 ， 作 者 认 为 利 用 激 活 起 源 通 道 的 攻 击 与 控 制 流 劫 持 有 相 似 之 处 ； 利 用 激 活 值 分 布 的 攻 击 类 似 于 状 态 破 坏 攻 击 。 从 而 引 入 检 测 恶 意 代 码 常 用 的 不 变 量 检 测 方 法 来 检 测 D N N 的 对 抗 样 本 。 系 统 如 图 3 所 示 ： 图 3   系 统 概 要 步 骤 A ， 记 录 每 个 正 常 训 练 样 本 在 每 个 层 中 激 活 值 并 训 练 得 到 一 个 分 布 。 这 些 分 布 ( 例 如 ， v i - l 1 和 v i - l 2 ) 即 为 激 活 值 不 变 量 ( v a l u e   i n v a r i a n t s ,   V I ) 。 步 骤 B ， 对 于 每 一 层 l ( 如 L 1 ,   L 2 ) ， 我 们 通 过 将 一 个 子 模 型 从 输 入 层 提 取 到 l ， 并 添 加 与 原 始 模 型 具 有 相 同 输 出 标 签 的 新 s o f t m a x 层 ， 从 而 创 建 一 个 派 生 模 型 。 冻 结 子 模 型 的 权 值 ， 并 在 导 出 的 模 型 中 重 新 训 练 s o f t m a x 层 。 简 单 来 讲 ， l 层 的 派 生 模 型 是 基 于 l 处 提 取 的 特 征 来 预 测 输 出 类 标 签 。 步 骤 C ， 我 们 通 过 所 有 派 生 模 型 运 行 每 个 正 常 训 练 样 本 ， 收 集 这 些 模 型 的 最 终 输 出 ( 即 为 单 个 类 的 输 出 概 率 值 ) 。 对 于 每 一 对 连 续 的 层 ， 我 们 训 练 它 们 的 分 类 结 果 的 分 布 即 为 这 两 层 的 激 活 起 源 不 变
量 ( p r o v e n a n c e   i n v a r i a n t s ,   P I ) 。 本 质 上 是 利 用 派 生 模 型 中 的 s o f t m a x 函 数 来 减 少 P I 模 型 的 维 数 。 利 用 预 测 结 果 如 何 从 使 用 特 定 层 中 的 特 征 到 使 用 下 一 层 中 的 特 征 来 近 似 代 表 P I 。 步 骤 D ， 对 于 每 个 测 试 输 入 t ， 除 了 输 入 原 始 模 型 外 ， 我 们 还 输 入 所 有 派 生 模 型 。 收 集 原 始 模 型 中 各 层 的 激 活 值 作 为 观 测 激 活 值 ( o b s e r v e d   v a l u e s ,   O V ) ( 如 图 3 底 部 的 O V   ( L 1 ,   t ) ) ， 并 将 连 续 层 ( 成 对 ) 派 生 模 型 的 分 类 结 果 作 为 观 测 激 活 起 源 ( o b s e r v e d   p r o v e n a n c e ,   O P ) ( 如 O P ( L 1 , L 2 ,   t ) ) 。 步 骤 E ， 计 算 O V   s 和 O P s 符 合 相 应 V I s 和 P I s 分 布 的 概 率 D 。 将 所 有 这 些 D 值 聚 合 起 来 进 行 联 合 判 断 t 是 否 为 对 抗 样 本 。 在 实 验 部 分 ， 作 者 对 针 对 9 个 目 标 模 型 的 1 1 种 不 同 类 型 的 攻 击 方 法 进 行 了 检 测 并 与 其 他 三 种 检 测 方 法 （ D e n o i s e r s 、 L I D 、 F e a t u r e   S q u e e z i n g ） 进 行 对 比 ， 实 验 结 果 表 明 我 们 的 技 术 能 够 有 效 地 检 测 到 所 有 这 些 攻 击 ( 准 确 率 超 过 9 0 % ) ， 并 且 具 有 较 低 的 假 阳 性 。 阅 读 原 文
回复

举报

高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

使用Markdown编辑器编辑 使用富文本编辑器编辑

Archiver| 手机版| 小黑屋|
Powered by Discuz! X3.4 Copyright © 2001-2020, Tencent Cloud. 商业源码建议获取授权，如侵犯您的权益，请联系客服处理