搜索

[17387] 2017-01-05_机器学习对抗性攻击报告极棒硅谷站深度

文档创建者：s7ckTeam
浏览次数：5
最后更新：2025-01-18
2017-01-05_机器学习对抗性攻击报告极棒硅谷站深度 机 器 学 习 对 抗 性 攻 击 报 告   |   极 棒 硅 谷 站 深 度 曹 跃   仲 震 宇   韦 韬   G e e k P w n   2 0 1 7 - 0 1 - 0 5     转 自 ： 百 度 安 全 实 验 室       作 者 ： 曹 跃   仲 震 宇   韦 韬 从 1 2 月 2 9 日 起 ， 神 秘 的 账 号 M a s t e r 在 弈 城 、 野 狐 等 围 棋 对 战 平 台 上 轮 番 挑 战 各 大 围 棋 高 手 ， 并 取 得 了 不 可 思 议 的 多 连 胜 。 1 月 4 日 ， 聂 卫 平 、 常 昊 、 周 睿 羊 等 高 手 接 连 输 给 M a s t e r ， 到 目 前 截 止 它 已 获 得 6 0 连 胜 。 M a s t e r 在 与 古 力 的 对 决 之 前 终 于 揭 晓 了 自 己 的 身 份 ， 果 然 就 是 去 年 大 出 风 头 的 A l p h a G o （ 升 级 版 ） ， 而 对 阵 古 力 ， 也 提 前 声 明 了 会 是 最 后 一 战 。 我 们 不 妨 将 M a s t e r 的 6 0 连 胜 视 为 人 工 智 能 与 人 类 交 锋 的 信 号 和 警 报 ， 在 人 工 智 能 时 代 人 类 如 何 完 成 自 身 的 “ 刷 新 升 级 ” 值 得 每 个 人 思 考 。 同 时 其 带 来 的 安 全 问 题 也 急 需 安 全 专 家 去 突 破 。 科 技 的 发 展 使 人 工 智 能 离 人 类 的 生 活 越 来 越 近 ， 其 中 隐 含 的 安 全 问 题 也 渐 渐 引 起 顶 级 安 全 专 家 们 的 关 注 。 本 文 由 百 度 安 全 实 验 室 专 家 百 度 安 全 实 验 室 专 家 撰 写 ， 详 细 介 绍 了 在 G e e k P w n 2 0 1 6 硅 谷 分 会 场 硅 谷 分 会 场 上 ， 顶 尖 安 全 专 家 们 针 对 当 前 流 行 的 人 工 智 能 图 形 对 象 识 别 、 语 音 识 别 的 场 景 所 采 用 的 构 造 攻 击 数 据 方 式 和 攻 击 演 示 。 百 度 安 全 实 验 室 的 专 家 对 这 些 攻 击 方 式 提 出 了 独 到 见 解 ， 并 对 未 来 趋 势 进 行 了 预 测 。 随 着 人 工 智 能 和 机 器 学 习 技 术 在 互 联 网 的 各 个 领 域 的 广 泛 应 用 ， 其 受 攻 击 的 可 能 性 ， 以 及 其 是 否 具 备 强 抗 打 击 能 力 一 直 是 安 全 界 一 直 关 注
的 。 之 前 关 于 机 器 学 习 模 型 攻 击 的 探 讨 常 常 局 限 于 对 训 练 数 据 的 污 染 。 由 于 其 模 型 经 常 趋 向 于 封 闭 式 的 部 署 ， 该 手 段 在 真 实 的 情 况 中 并 不 实 际 可 行 。 在 G e e k P w n 2 0 1 6 硅 谷 分 会 场 上 ，   来 自 北 美 工 业 界 和 学 术 界 的 顶 尖 安 全 专 家 们 针 对 当 前 流 行 的 图 形 对 象 识 别 、 语 音 识 别 的 场 景 ， 为 大 家 揭 示 了 如 何 通 过 构 造 对 抗 性 攻 击 数 据 ， 要 么 让 其 与 源 数 据 的 差 别 细 微 到 人 类 无 法 通 过 感 官 辨 识 到 ， 要 么 该 差 别 对 人 类 感 知 没 有 本 质 变 化 ， 而 机 器 学 习 模 型 可 以 接 受 并 做 出 错 误 的 分 类 决 定 ， 并 且 同 时 做 了 攻 击 演 示 。 以 下 将 详 细 介 绍 专 家 们 的 攻 击 手 段 。 1 攻 击 图 像 语 音 识 别 系 统 攻 击 图 像 语 音 识 别 系 统 目 前 人 工 智 能 和 机 器 学 习 技 术 被 广 泛 应 用 在 人 机 交 互 ， 推 荐 系 统 ， 安 全 防 护 等 各 个 领 域 。 具 体 场 景 包 括 语 音 ， 图 像 识 别 ， 信 用 评 估 ， 防 止 欺 诈 ， 过 滤 恶 意 邮 件 ， 抵 抗 恶 意 代 码 攻 击 ， 网 络 攻 击 等 等 。 攻 击 者 也 试 图 通 过 各 种 手 段 绕 过 ， 或 直 接 对 机 器 学 习 模 型 进 行 攻 击 达 到 对 抗 目 的 。 特 别 是 在 人 机 交 互 这 一 环 节 ， 随 着 语 音 、 图 像 作 为 新 兴 的 人 机 输 入 手 段 ， 其 便 捷 和 实 用 性 被 大 众 所 欢 迎 。 同 时 随 着 移 动 设 备 的 普 及 ， 以 及 移 动 设 备 对 这 些 新 兴 的 输 入 手 段 的 集 成 ， 使 得 这 项 技 术 被 大 多 数 人 所 亲 身 体 验 。 而 语 音 、 图 像 的 识 别 的 准 确 性 对 机 器 理 解 并 执 行 用 户 指 令 的 有 效 性 至 关 重 要 。 与 此 同 时 ， 这 一 环 节 也 是 最 容 易 被 攻 击 者 利 用 ， 通 过 对 数 据 源 的 细 微 修 改 ， 达 到 用 户 感 知 不 到 ， 而 机 器 接 受 了 该 数 据 后 做 出 错 误 的 后 续 操 作 的 目 的 。 并 会 导 致 计 算 设 备 被 入 侵 ， 错 误 命 令 被 执 行 ， 以 及 执 行 后 的 连 锁 反 应 造 成 的 严 重 后 果 。 本 文 基 于 这 个 特 定 的 场 景 ， 首 先 简 单 介 绍 下 白 盒 黑 盒 攻 击 模 型 ， 然 后 结 合 专 家 们 的 研 究 成 果 ， 进 一 步 介 绍 攻 击 场 景 ， 对 抗 数 据 构 造 攻 击 手 段 ， 以 及 攻 击 效 果 。 1 . 1   攻 击 模 型 攻 击 模 型 和 其 他 攻 击 不 同 ， 对 抗 性 攻 击 主 要 发 生 在 构 造 对 抗 性 数 据 的 时 候 ， 之 后 该 对 抗 性 数 据 就 如 正 常 数 据 一 样 输 入 机 器 学 习 模 型 并 得 到 欺 骗 的 识 别 结 果 。 在 构 造 对 抗 性 数 据 的 过 程 中 ， 无 论 是 图 像 识 别 系 统 还 是 语 音 识 别 系 统 ， 根 据 攻 击 者 掌 握 机 器 学 习 模 型 信 息 的 多 少 ， 可 以 分 为 如 下 两 种 情 况 ： 白 盒 攻 击 攻 击 者 能 够 获 知 机 器 学 习 所 使 用 的 算 法 ， 以 及 算 法 所 使 用 的 参 数 。 攻 击 者 在 产 生 对 抗 性 攻 击 数 据 的 过 程 中 能 够 与 机 器 学 习 的 系 统 有 所 交 互 。 黑 盒 攻 击 攻 击 者 并 不 知 道 机 器 学 习 所 使 用 的 算 法 和 参 数 ， 但 攻 击 者 仍 能 与 机 器 学 习 的 系 统 有 所 交 互 ， 比 如 可 以 通 过 传 入 任 意 输 入 观 察 输 出 ， 判 断 输 出 。 2 G e e k P w n 现 场 机 器 学 习 对 抗 性 攻 击 现 场 机 器 学 习 对 抗 性 攻 击 2 . 1         P h y s i c a l   A d v e r s a r i a l   E x a m p l e s 在 G e e k P w n 2 0 1 6 硅 谷 分 会 场 上 ， 来 自 O p e n A I 的 I a n   G o o d f e l l o w 和 谷 歌 大 脑 的 A l e x e y   K u r a k i n 分 享 了 “ 对 抗 性 图 像 ” 在 现 实 物 理 世 界 欺 骗 机 器 学 习 的 效 果 。 值 得 一 提 的 是 ， I a n   G o o d f e l l o w 正 是 生 成 式 对 抗 神 经 网 络 模 型 的 发 明 者 。
视 频 1   G e e k P w n 现 场 I a n   G o o d f e l l o w 和 A l e x e y   K u r a k i n 的 分 享 首 先 先 简 单 介 绍 一 下 对 抗 性 图 像 攻 击 。 对 抗 性 图 像 攻 击 是 攻 击 者 构 造 一 张 对 抗 性 图 像 ， 使 人 眼 和 图 像 识 别 机 器 识 别 的 类 型 不 同 。 比 如 攻 击 者 可 以 针 对 使 用 图 像 识 别 的 无 人 车 ， 构 造 出 一 个 图 片 ， 在 人 眼 看 来 是 一 个 s t o p   s i g n ， 但 是 在 汽 车 看 来 是 一 个 限 速 6 0 的 标 志 。 图 1   攻 击 图 像 识 别 场 景 在 会 上 ， I a n 和 A l e x e y 指 出 过 去 的 对 抗 性 图 像 工 作 都 基 于 如 下 的 攻 击 模 型 ， 即 攻 击 者 可 以 直 接 向 机 器 学 习 模 型 输 入 数 据 ， 从 而 保 证 攻 击 者 可 以 随 心 所 欲 地 对 任 意 粒 度 的 图 片 进 行 修 改 ， 而 不 需 要 考 虑 灯 光 ， 图 片 角 度 ， 以 及 设 备 在 读 取 图 片 时 对 对 抗 性 图 像 攻 击 效 果 产 生 变 化 。 因 此 ， 他 们 尝 试 了 对 抗 性 图 片 在 真 实 物 理 世 界 的 表 现 效 果 ， 即 对 抗 性 图 片 在 传 入 机 器 学 习 模 型 之 前 ， 还 经 过 了 打 印 、 外 部 环 境 、 摄 像 头 处 理 等 一 系 列 不 可 控 转 变 。 相 对 于 直 接 给 计 算 机 传 送 一 张 无 损 的 图 片 文 件 ， 该 攻 击 更 具 有 现 实 意 义 。 在 如 何 构 造 对 抗 性 攻 击 图 片 上 ， 他 们 使 用 了 非 定 向 类 攻 击 中 的 F G S 和 F G S 迭 代 方 法 ， 和 定 向 类 的 F G S 迭 代 方 法   [ 1 ] 。 其 中 ， 非 定 向 类 攻 击 是 指 攻 击 者 只 追 求 对 抗 图 像 和 原 图 像 不 同 ， 而 不 在 意 识 别 的 结 果 是 什 么 。 定 向 类 攻 击 则 是 指 攻 击 者 在 构 造 图 像 时 已 经 预 定 目 标 机 器 学 习 模 型 识 别 的 结 果 。 在 定 向 类 攻 击 中 ， 作 者 首 先 根 据 条 件 概 率 找 出 给 定 源 图 像 ， 最 不 可 能 （ l e a s t - l i k e l y ） 被 识 别 的 类 型 y 值 ， 表 示 为 （ 该 种 类 通 常 和 原 种 类 完 全 不 同 ） 。 然 后 采 用 定 向 类 攻 击 方 法 中 的 F G S 迭 代 方 法 ， 产 生 对 抗 性 图 片 。 其 中 非 定 向 类 攻 击 方 法 在 类 型 种 类 比 较 少 并 且 类 型 种 类 差 距 较 大 的 数 据 库 里 ， 比 较 有 效 。 但 是 一 旦 类 型 之 间 比 较 相 关 ， 该 攻 击 图 像 有 极 大 的 可 能 只 会 在 同 一 个 大 类 中 偏 移 。 这 时 候 定 向 类 攻 击 方 法 就 会 有 效 很
多 。 图 2   对 抗 性 图 像 在 现 实 物 理 世 界 欺 骗 机 器 学 习 过 程 为 了 验 证 结 果 ， 作 者 采 用 白 盒 攻 击 模 型 。 其 中 ， 作 者 使 用 谷 歌 I n c e p t i o n   v 3 作 为 目 标 图 像 识 别 模 型 ， 并 选 取 I m a g e N e t 中 的 5 0 ， 0 0 0 个 验 证 图 像 针 对 I n c e p t i o n   v 3 构 造 出 相 对 应 的 对 抗 性 图 像 。 在 实 验 中 ， 他 们 将 所 有 的 对 抗 性 图 片 和 原 始 图 片 都 打 印 出 来 ， 并 手 动 用 一 个 N e x u s   5 智 能 手 机 进 行 拍 照 ， 然 后 将 手 机 里 的 图 像 输 入 I n c e p t i o n   v 3 模 型 进 行 识 别 。 现 场 结 果 表 明 ， 8 7 % 的 对 抗 性 图 像 在 经 过 外 界 环 境 转 化 后 仍 能 成 功 欺 骗 机 器 ， 从 而 证 明 了 物 理 对 抗 性 例 子 在 真 实 世 界 的 可 能 性 。 在 他 们 的 论 文 中 ， 作 者 还 测 试 了 物 理 世 界 造 成 的 图 像 转 化 对 使 用 不 同 方 法 构 造 的 对 抗 性 图 片 的 毁 坏 程 度 。 有 意 思 的 结 论 是 迭 代 方 法 受 图 像 转 化 的 影 响 更 大 。 这 是 因 为 迭 代 方 法 对 原 图 像 使 用 了 更 微 妙 的 调 整 ， 而 这 些 调 整 在 外 界 图 像 转 化 过 程 中 更 容 易 被 毁 坏 。 作 者 还 分 别 测 试 了 亮 度 、 对 比 度 、 高 斯 模 糊 转 化 、 高 斯 噪 音 转 化 和 J P E G 编 码 转 化 量 度 ， 对 各 个 对 抗 性 图 像 方 法 的 毁 坏 程 度 。 具 体 实 验 结 果 请 参 见 他 们 的 论 文   [ 1 ] 。 2 . 2       E x p l o r i n g   N e w   A t t a c k   S p a c e   o n   A d v e r s a r i a l   D e e p   L e a r n i n g 来 自 U C   B e r k e l e y 大 学 的 D a w n   S o n g 教 授 和 刘 畅 博 士 介 绍 了 对 抗 式 深 度 学 习 在 除 了 其 他 领 域 的 攻 击 和 防 御 。 其 中 D a w n   S o n g 教 授 是 T a i n t A n a l y s i s 理 论 的 主 要 贡 献 者 之 一 ， 还 是 美 国 “ 麦 克 阿 瑟 天 才 奖 ” 获 得 者 。 在 现 场 ， 专 家 们 首 先 拓 展 了 对 抗 性 深 度 学 习 在 图 像 识 别 检 测 上 的 应 用 ， 然 后 还 提 出 构 造 对 抗 性 图 片 的 优 化 方 法 － e n s e m b l e 黑 盒 攻 击 算 法 [ 6 ] 。
视 频 2   G e e k P w n 现 场 刘 畅 博 士 的 分 享 在 图 像 识 别 物 体 检 测 中 ， 如 图 3 左 图 所 示 ， 深 度 学 习 可 以 用 来 检 测 图 像 中 不 同 的 物 体 以 及 他 们 之 间 的 关 系 并 自 动 生 成 说 明 ( C a p t i o n )   [ 2 ] 。 在 这 种 场 景 下 ， 对 抗 性 图 像 攻 击 同 样 可 以 欺 骗 机 器 学 习 模 型 ， 并 给 出 异 常 的 说 明 ， 如 图 3 右 图 所 示 。 对 抗 性 图 像 构 建 的 基 本 思 路 是 给 定 C a p t i o n 的 前 缀 后 ， 尽 量 误 导 之 后 的 判 断 。 图 3   对 抗 性 图 片 在 图 像 识 别 检 测 中 的 应 用 同 时 ， 专 家 们 还 研 究 了 对 抗 性 图 像 攻 击 在 黑 盒 分 类 模 型 中 的 表 现 ， 并 且 提 出 了 优 化 算 法 － e n s e m b l e 黑 盒 攻 击 算 法 。 在 通 常 情 况 下 ， 攻 击 者 并 不 知 道 目 标 模 型 使 用 了 什 么 算 法 已 经 相 关 的 参 数 。 这 时 候 攻 击 者 只 能 使 用 黑 盒 模 型 攻 击 。 过 程 如 下 所 示 ： 1 .         攻 击 者 在 目 标 机 器 学 习 模 型 未 知 的 情 况 下 ， 通 过 询 问 黑 盒 子 系 统 所 得 结 果 ， 得 到 一 系 列 训 练 样 本 。 2 .         攻 击 者 任 意 选 取 了 某 机 器 学 习 算 法 并 使 用 训 练 样 本 训 练 得 到 已 知 机 器 学 习 模 型 。 3 .         攻 击 者 针 对 训 练 出 来 的 已 知 机 器 学 习 模 型 构 建 对 抗 数 据 。
图 4   对 抗 性 图 像 黑 盒 攻 击 流 程 这 一 攻 击 基 于 对 抗 性 图 像 的 欺 骗 传 递 性 ， 即 针 对 机 器 学 习 模 型 A 构 造 的 对 抗 性 图 像 ， 也 会 有 很 大 的 比 例 能 欺 骗 机 器 学 习 模 型 B 。 表 1 展 示 了 使 用 单 网 络 优 化 方 法 时 ， 针 对 不 同 元 模 型 构 造 的 非 定 向 对 抗 性 图 像 ， 被 不 同 目 标 模 型 识 别 的 成 功 率 。 每 一 个 格 子 ( i , j ) 代 表 针 对 算 法 模 型 i 产 生 的 对 抗 图 片 ， 在 其 他 算 法 模 型 j 上 验 证 的 结 果 ， 百 分 比 表 示 所 有 对 抗 性 图 片 中 被 识 别 成 原 图 片 类 型 的 比 例 。 可 以 看 出 ， 当 同 一 个 图 像 识 别 系 统 被 用 来 构 造 和 验 证 对 抗 性 图 像 时 （ 白 盒 攻 击 模 型 ） ， 百 分 比 为 0 。 这 说 明 在 白 盒 攻 击 模 型 中 ， 构 建 对 抗 性 图 像 的 效 果 非 常 好 ， 全 部 不 能 正 确 识 别 。 当 验 证 模 型 和 构 造 模 型 并 不 一 致 时 ， 大 部 分 对 抗 性 图 像 的 百 分 比 也 在 1 0 % － 4 0 % 之 间 浮 动 ， 该 结 果 有 效 证 明 了 对 抗 数 据 在 不 同 算 法 之 间 有 一 定 的 传 递 性 。 R M S D R e s N e t - 1 5 2 R e s t N e t - 1 0 1 R e s N e t - 5 0 V G G - 1 6 G o o g L e N e t I n c e p t - v 3 R e s N e t - 1 5 2 2 2 . 8 3 0 % 1 3 % 1 8 % 1 9 % 1 1 % 4 4 % R e s N e t - 1 0 1 2 3 . 8 1 1 9 % 0 % 2 1 % 2 1 % 1 2 % 4 5 % R e s N e t - 5 0 2 2 . 8 6 2 3 % 2 0 % 0 % 2 1 % 1 8 % 3 7 % V G G - 1 6 2 2 . 5 1 2 2 % 1 7 % 1 7 % 0 % 5 % 1 6 % G o o g L e N e t 2 2 . 5 8 3 9 % 3 8 % 3 4 % 1 9 % 0 % 4 9 % I n c e p t - v 3 2 3 . 0 2 5 6 % 5 0 % 4 4 % 3 5 % 2 7 % 0 % 表 1   针 对 不 同 源 机 器 学 习 模 型 构 造 的 非 定 向 对 抗 性 攻 击 方 法 （ 单 网 络 优 化 方 法 ） 在 目 标 模 型 的 攻 击 效 果 。 其 中 ， R e s N e t - 5 0 ,   R e s N e t - 1 0 1 , R e s N e t - 1 5 2 , G o o g L e N e t ， I n c e p t - v 3 和 V G G - 1 6 是 当 下 流 行 的 深 度 神 经 网 络 图 像 识 别 系 统 。 然 而 ， 作 者 还 使 用 了 同 样 的 实 验 方 法 测 试 了 定 向 性 对 抗 性 攻 击 在 目 标 模 型 的 效 果 。 结 果 表 明 定 向 类 标 记 的 传 递 性 差 了 很 多 ， 只 有 小 于 等 于 4 % 的 对 抗 性 图 像 在 源 、 目 标 机 器 学 习 模 型 中 都 识 别 出 相 同 的 定 向 标 记 。 基 于 此 ， 作 者 提 出 了 e n s e m b l e 方 法 。 它 是 以 多 个 深 度 神 经 网 络 模 型 为 基 础 构 造 对 抗 图 片 ， 即 将 图 4 中 单 个 已 知 机 器 学 习 模 型 替 换 成 多 个 不 同 的 已 知 机 器 学 习 模 型 ， 并 共 同 产 生 一 个 对 抗 性 图 像 。 在 实 验 设 计 中 ， 作 者 对 5 个 不 同 的 深 度 神 经 网 络 模 型 一 一 实 施 了 黑 盒 子 攻 击 。 在 对 每 一 个 模 型 攻 击 的 时 候 ， 作 者 假 设 已 知 其 余 的 4 个 模 型 ， 并 用 集 合 的 方 式 作 白 盒 子 对 抗 图 形 的 构 造 。 同 样 的 ， 作 者 分 别 使 用 基 于 优 化 的 攻 击 手 段 ， 和 基 于 F a s t   G r a d i e n t 的 手 段 构 造 对 抗 性 图 片 。 构 造 图 片 依 然 使 用 的 是 A d a m 优 化 器 。 在 算 法 经 过 1 0 0 次 的 迭 代 对 权 重 向 量 的 更 新 ， l o s s   f u n c t i o n 得 以 汇 聚 。 作 者 发 现 有 许 多 攻 击 者 预 先 设 定 的 标 记 也 得 到 了 传 递 。 详 细 结 果 参 见 表 2 。 格 子 ( i , j ) 代 表 用 除 了 模 型 i 之 外 的 4 个 其 他 算 法 生 成 的 对 抗 图 片 ， 用 模 型 j 来 验 证 得 到 的 定 向 标 记 的 准 确 值 。 可 以 看 出 ， 当 目 标 模 型 包 含 在 已 知 模 型 集 合 中 ， 定 向 类 标 记 的 传 递 性 都 在 6 0 % 以 上 。 即 使 目 标 模 型 不 在 已 知 模 型 集 合 中 ， 定 向 标 记 的 准 确 值 也 在 3 0 % 以 上 。 R M S D R e s N e t - 1 5 2 R e s t N e t - 1 0 1 R e s N e t - 5 0 V G G - 1 6 G o o g L e N e t R e s N e t - 1 5 2 3 0 . 6 8 3 8 % 7 6 % 7 0 % 9 7 % 7 6 %
R e s N e t - 1 0 1 3 0 . 7 6 7 5 % 4 3 % 6 9 % 9 8 % 7 3 % R e s N e t - 5 0 3 0 . 2 6 8 4 % 8 1 % 4 6 % 9 9 % 7 7 % V G G - 1 6 3 1 . 1 3 7 4 % 7 8 % 6 8 % 2 4 % 6 3 % G o o g L e N e t 2 9 . 7 0 9 0 % 8 7 % 8 3 % 9 9 % 1 1 % 表 2   针 对 不 同 源 机 器 学 习 模 型 构 造 的 定 向 对 抗 性 攻 击 方 法 （ e n s e m b l e 方 法 ） 在 目 标 模 型 的 攻 击 效 果 。 作 者 同 样 使 用 了 e n s e m b l e 算 法 进 行 非 定 向 攻 击 。 攻 击 结 果 如 表 3 所 示 。 可 以 看 出 和 表 1 相 比 ， e n s e m b l e 算 法 的 欺 骗 性 大 幅 度 提 升 。 R M S D R e s N e t - 1 5 2 R e s t N e t - 1 0 1 R e s N e t - 5 0 V G G - 1 6 G o o g L e N e t R e s N e t - 1 5 2 1 7 . 1 7 0 % 0 % 0 % 0 % 0 % R e s N e t - 1 0 1 1 7 . 2 5 0 % 1 % 0 % 0 % 0 % R e s N e t - 5 0 1 7 . 2 5 0 % 0 % 2 % 0 % 0 % V G G - 1 6 1 7 . 8 0 0 % 0 % 0 % 6 % 0 % G o o g L e N e t 1 7 . 4 1 0 % 0 % 0 % 0 % 5 % 表 3   针 对 不 同 源 机 器 学 习 模 型 构 造 的 非 定 向 对 抗 性 攻 击 方 法 （ e n s e m b l e 方 法 ） 在 目 标 模 型 的 攻 击 效 果 。 2 . 3         H i d d e n   V o i c e   C o m m a n d s 图 5   攻 击 语 音 识 别 场 景 来 自 美 国 G e o r g e t o w n   U n i v e r s i t y 的 T a v i s h   V a i d y a 博 士 分 享 了 隐 匿 的 语 音 命 令 这 一 工 作 。
视 频 3   G e e k P w n 现 场 T a v i s h   V a i d y a 博 士 的 分 享 对 抗 性 语 音 攻 击 则 是 攻 击 者 构 造 一 段 语 音 ， 使 人 耳 和 语 音 识 别 机 器 识 别 的 类 型 不 同 。 语 音 攻 击 和 图 像 攻 击 最 大 的 不 同 在 于 ， 它 希 望 保 证 对 抗 性 语 音 和 原 语 音 差 距 越 远 越 好 ， 而 不 是 保 持 对 抗 性 语 音 和 原 语 音 的 相 似 性 。 该 团 队 依 据 现 实 情 况 ， 分 别 提 出 了 黑 盒 攻 击 和 白 盒 攻 击 两 种 类 型 。 在 他 们 的 实 验 中 ， 扬 声 器 发 出 一 段 人 类 无 法 辨 认 的 噪 音 ， 却 能 够 在 三 星 G a l a x y   S 4 以 及 i P h o n e   6 上 面 被 正 确 识 别 为 相 对 应 的 语 音 命 令 ， 达 到 让 手 机 切 换 飞 行 模 式 、 拨 打 9 1 1 等 行 为   [ 3 ] 。 黑 盒 攻 击 （ 语 音 识 别 ） ： 黑 盒 攻 击 （ 语 音 识 别 ） ： 在 黑 盒 攻 击 模 型 中 ， 攻 击 者 并 不 知 道 机 器 学 习 的 算 法 ， 攻 击 者 唯 一 的 知 识 是 该 机 器 使 用 了 M F C 算 法 。 M F C 算 法 是 将 音 频 从 高 维 度 转 化 到 低 纬 度 的 一 个 变 换 ， 从 而 过 滤 掉 一 些 噪 声 ， 同 时 保 证 机 器 学 习 能 够 操 作 这 些 输 入 。 但 是 从 高 维 到 低 维 的 转 化 过 程 中 ， 不 可 避 免 地 会 丢 失 一 些 信 息 。 相 对 应 的 ， 从 低 维 到 高 维 的 转 化 ， 也 会 多 添 加 一 些 噪 声 。 黑 盒 攻 击 的 原 理 正 是 攻 击 者 通 过 迭 代 , 不 断 调 整 M F C C 的 参 数 并 对 声 音 进 行 M F C C 变 换 和 逆 变 换 ， 过 滤 掉 那 些 机 器 不 需 要 ， 而 人 类 所 必 须 的 信 息 ， 从 而 构 造 出 一 段 混 淆 的 语 音 。 因 为 M F C 算 法 被 大 量 用 于 语 音 识 别 这 个 场 景 ， 所 以 该 攻 击 模 型 仍 保 证 了 很 强 的 通 用 性 。 该 具 体 步 骤 如 图 4 所 示 ， 感 兴 趣 的 读 者 可 以 参 见 他 们 的 论 文   [ 3 ] 。 图 6   对 抗 性 语 音 黑 盒 攻 击 模 型 [ 3 ] 在 实 验 中 ， 作 者 发 现 使 用 的 语 音 识 别 系 统 只 能 识 别 3 . 5 米 之 内 的 语 音 命 令 。 在 扬 声 器 和 手 机 的 距 离 控 制 在 3 米 的 情 况 下 ， 表 4 统 计 了 人 类 和 机
器 对 不 同 命 令 的 识 别 的 比 例 。 平 均 情 况 下 ， 8 5 % 正 常 语 音 命 令 能 被 语 音 识 别 。 在 他 们 的 混 淆 版 本 中 ， 仍 有 6 0 % 的 语 音 命 令 能 被 正 常 识 别 。 在 人 类 识 别 类 别 中 ， 作 者 使 用 A m a z o n   M e c h a n i c a l   T u r k 服 务 ， 通 过 c r o w d   s o u r c i n g 的 形 式 让 检 查 员 猜 测 语 音 的 内 容 。 在 这 种 情 况 下 不 同 的 命 令 混 淆 的 效 果 也 不 尽 相 同 。 对 于 ” O K   G o o g l e ” 和 ” T u r n   o n   a i r p l a n e   m o d e ” 命 令 ， 低 于 2 5 % 的 混 淆 命 令 能 够 被 人 类 正 确 识 别 。 其 中 ， 9 4 % 的 ” C a l l 9 1 1 ” 混 淆 版 本 被 人 类 正 常 识 别 比 较 异 常 。 作 者 分 析 了 两 个 主 要 原 因 。 1 是 该 命 令 太 过 熟 悉 。 2 是 测 试 员 可 多 次 重 复 播 放 语 音 ， 从 而 增 加 了 猜 测 成 功 的 概 率 。 O k   G o o g l e T u r n   o n   a i r p l a n e   m o d e C a l l   9 1 1 机 器 人 类 机 器 人 类 机 器 人 类 正 常 语 音 9 0 % ( 3 6 / 4 0 ) 8 9 % ( 3 5 6 / 4 0 0 ) 7 5 % ( 3 0 / 4 0 ) 6 9 % ( 3 1 5 / 4 5 6 ) 9 0 % ( 3 6 / 4 0 ) 8 7 % ( 2 8 3 / 3 2 4 ) 对 抗 性 语 音 9 5 % ( 3 8 / 4 0 ) 2 2 % ( 8 6 / 3 7 6 ) 4 5 % ( 1 8 / 4 0 ) 2 4 % ( 1 0 9 / 4 4 4 ) 4 0 % ( 1 6 / 4 0 ) 9 4 % ( 2 4 6 / 2 6 0 ) 表 4   对 抗 性 语 音 黑 盒 攻 击 结 果 。 [ 3 ] 白 盒 攻 击 （ 语 音 识 别 ） ： 白 盒 攻 击 （ 语 音 识 别 ） ： 在 白 盒 子 攻 击 中 ， 该 团 队 对 抗 的 目 标 机 器 学 习 算 法 是 开 源 的 C M U   S p h i n x   s p e e c h   r e c o g n i t i o n   s y s t e m   [ 4 ] 。 在 整 个 系 统 中 ， C M U   S p h i n x 首 先 将 整 段 语 音 切 分 成 一 系 列 重 叠 的 帧 ( f r a m e ) ,   然 后 对 各 帧 使 用 M e l - F r e q u e n c y   C e p s t r u m   ( M F C ) 转 换 ， 将 音 频 输 入 减 少 到 更 小 的 一 个 维 度 空 间 ， 即 图 7 中 的 特 征 提 取 。 然 后 ， C M U   S p h i n x 使 用 了 G a u s s i a n   M i x t u r e   M o d e l （ G M M ） 来 计 算 特 定 音 频 到 特 定 音 素 （ p h o n e m e ） 的 一 个 概 率 。 最 后 通 过 H i d d e n   M a r k o v   M o d e l （ H M M ） ， S p h i n x 可 以 使 用 这 些 音 素 （ p h o n e m e ） 的 概 率 转 化 为 最 有 可 能 的 文 字 。 这 里 G M M 和 H M M 都 属 于 图 7 中 的 机 器 学 习 算 法 。 图 7   C M U   S p h i n x   s p e e c h   r e c o g n i t i o n   s y s t e m 模 型 [ 4 ] 在 T a v i s h 的 白 盒 攻 击 模 型 中 ， 他 分 别 提 出 了 两 个 方 法 ： 1 . s i m p l e   a p p r o a c h   2 .   I m p r o v e d   a t t a c k .   第 一 个 方 法 和 黑 盒 方 法 的 不 同 点 在 于 ， 它 已 知 了 M F C C 的 各 参 数 ， 从 而 可 以 使 用 梯 度 下 降 更 有 针 对 性 地 只 保 留 对 机 器 识 别 关 键 的 一 些 关 键 值 。 在 整 个 梯 度 下 降 的 过 程 中 ， i n p u t   f r a m e 不 断 地 逼 近 机 器 识 别 的 目 标 y ， 同 时 人 类 识 别 所 需 的 一 些 多 余 信 息 就 被 不 可 避 免 地 被 剔 除 了 。 第 二 类 白 盒 攻 击 的 基 本 原 理 是 依 据 机 器 和 人 对 音 高 低 起 伏 变 化 （ 音 素 ） 的 敏 感 性 不 同 ， 通 过 减 少 每 个 音 素 对 应 的 帧 （ f r a m e ） 的 个 数 ， 让 这 段 声 音 只 能 被 机 器 识 别 ， 而 人 类 只 能 听 到 一 段 扁 平 混 乱 的 噪 音 。 这 些 特 征 值 再 经 过 M F C C 逆 变 换 ， 最 终 成 为 一 段 音 频 ， 传 到 人 们 耳 中 。 具 体 的 方 法 和 语 音 相 关 的 知 识 更 密 切 一 下 ， 有 兴 趣 的 读 者 可 以 看 他 们 的 论 文 了 解 具 体 的 方 法 。 表 5 展 示 了 他 们 的 攻 击 效 果 。 人 类 机 器 正 常 语 音 7 4 % ( 2 3 0 / 3 1 0 ) - 对 抗 性 语 音 0 % ( 1 / 3 7 7 ) 8 2 % ( 8 2 / 1 0 0 ) 表 5   对 抗 性 语 音 白 盒 攻 击 效 果 。 [ 3 ]
2 . 4     对 抗 性 数 据 的 防 护 对 抗 性 数 据 的 防 护 虽 然 对 抗 性 数 据 攻 击 的 发 现 很 巧 妙 ， 但 是 在 当 前 图 像 语 音 识 别 应 用 的 场 合 上 ， 有 效 的 防 御 并 不 困 难 。 主 要 有 以 下 几 类 ： 1 .   增 加 人 类 交 互 认 证 ， 例 如 机 器 可 以 简 单 地 发 出 一 声 警 报 、 或 请 求 输 入 音 频 验 证 码 等 方 式 。 2 .   增 强 对 抗 性 数 据 作 为 机 器 学 习 模 型 的 输 入 的 难 度 。 例 如 语 音 识 别 系 统 可 以 使 用 声 纹 识 别 、 音 频 滤 波 器 等 方 式 过 滤 掉 大 部 分 恶 意 语 音 。 3 .   从 机 器 学 习 模 型 本 身 训 练 其 辨 别 良 性 、 恶 意 数 据 的 能 力 。 这 时 候 ， 这 些 已 知 的 对 抗 性 数 据 就 提 供 了 珍 贵 的 训 练 数 据 。 4 .   宾 州 州 立 大 学 还 提 出 D i s t i l l a t i o n 的 方 法   [ 5 ] ， 从 深 度 神 经 网 络 提 取 一 些 指 纹 来 保 护 自 己 。 随 着 人 工 智 能 深 入 人 们 的 生 活 ， 人 类 将 越 发 依 赖 人 工 智 能 带 来 的 高 效 与 便 捷 。 同 时 ， 它 也 成 为 攻 击 者 的 目 标 ， 导 致 应 用 机 器 学 习 的 产 品 和 网 络 服 务 不 可 依 赖 。 G e e k P w n 2 0 1 6 硅 谷 分 会 场 所 揭 示 的 是 顶 级 安 全 专 家 对 机 器 学 习 安 全 方 面 的 担 忧 。 硅 谷 分 会 场 所 揭 示 的 是 顶 级 安 全 专 家 对 机 器 学 习 安 全 方 面 的 担 忧 。 随 着 一 个 个 应 用 场 景 被 轻 易 的 攻 破 ， 尽 管 目 前 只 是 在 语 音 ， 图 像 识 别 等 场 景 下 ， 我 们 可 以 清 醒 的 认 识 到 ， 当 这 些 场 景 与 其 他 服 务 相 结 合 的 时 候 ， 攻 击 成 功 的 严 重 后 果 。 人 工 智 能 作 为 未 来 智 能 自 动 化 服 务 不 可 缺 少 的 一 个 重 要 部 分 ， 已 然 是 安 全 行 业 与 黑 产 攻 击 者 抗 争 的 新 战 场 。 B i b l i o g r a p h y [ 1 ]   A .   K u r a k i n ,   I .   J .   G o o d f e l l o w a n d   S .   B e n g i o ,   " A d v e r s a r i a l   e x a m p l e s   i n   t h e   p h y s i c a l   w o r l d , "   c o r r , 2 0 1 6 .   [ 2 ]   J .   J u s t i n ,   K .   A n d r e j   a n d   F . L i ,   " D e n s e c a p :   F u l l y   c o n v o l u t i o n a l   l o c a l i z a t i o n   n e t w o r k s   f o r   d e n s e c a p t i o n i n g . , "   a r X i v   p r e p r i n t   a r X i v : 1 5 1 1 . 0 7 5 7 1   ,   2 0 1 5 . [ 3 ]   N .   C a r l i n i ,   P .   M i s h r a ,   T . V a i d y a ,   Y .   Z h a n g ,   M .   S h e r r ,   C .   S h i e l d s ,   D .   W a g n e r   a n d   W .   Z h o u ,   " H i d d e n V o i c e   C o m m a n d s , "   i n   U S E N I X   S e c u r i t y   1 6 ,   A u s t i n ,   2 0 1 6 . [ 4 ]   P .   L a m e r e ,   P .   K w o r k ,   W . W a l k e r ,   E .   G o u v e a ,   R .   S i n g h ,   B .   R a j   a n d   P .   W o l f ,   " D e s i g n   o f   t h e   C M U S p h i n x - 4   D e c o d e r , "   i n   E i g h t h   E u r o p e a n   C o n f e r e n c e   o n   S p e e c h   C o m m u n i c a t i o n a n d   T e c h n o l o g y ,   2 0 0 3 . [ 5 ]   N .   P a p e r n o t ,   P .   M c D a n i e l ,   X . W u ,   S .   J h a   a n d   A .   S w a m i ,   "   D i s t i l l a t i o n   a s   a   D e f e n s e   t o   A d v e r s a r i a l P e r t u r b a t i o n s   a g a i n s t   D e e p   N e u r a l   N e t w o r k s   A u t h o r s : " . [ 6 ] Y .   L i u ,   X .   C h e n ,   C .   L i u   a n d D .   S o n g ,   " D e l v i n g   i n t o   t r a n s f e r a b l e   a d v e r s a r i a l   e x a m p l e s   a n d   b l a c k - b o x a t t a c k s , "   i n   A R X I V . 阅 读 原 文
回复

举报

高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

使用Markdown编辑器编辑 使用富文本编辑器编辑

Archiver| 手机版| 小黑屋|
Powered by Discuz! X3.4 Copyright © 2001-2020, Tencent Cloud. 商业源码建议获取授权，如侵犯您的权益，请联系客服处理