搜索

[12245] 2018-01-16_机器学习对抗案例愚弄Google图像识别算法

文档创建者：s7ckTeam
浏览次数：17
最后更新：2025-01-18
2018-01-16_机器学习对抗案例愚弄Google图像识别算法 机 器 学 习 对 抗 案 例   |   愚 弄 G o o g l e 图 像 识 别 算 法 原 创   E l a i n e _ z   F r e e B u f   2 0 1 8 - 0 1 - 1 6 2 0 1 8 年 年 C E S 在 美 国 拉 斯 维 加 斯 召 开 ， 站 在 风 口 浪 尖 上 的 科 技 企 业 纷 纷 出 动 ， 在 会 场 各 显 神 通 地 展 示 自 己 的 科 技 在 美 国 拉 斯 维 加 斯 召 开 ， 站 在 风 口 浪 尖 上 的 科 技 企 业 纷 纷 出 动 ， 在 会 场 各 显 神 通 地 展 示 自 己 的 科 技 产 品 和 各 种 智 能 算 法 。 近 年 来 ， 人 工 智 能 的 浪 潮 不 断 拍 打 着 产 品 和 各 种 智 能 算 法 。 近 年 来 ， 人 工 智 能 的 浪 潮 不 断 拍 打 着   I T   领 域 的 海 岸 ， 各 家 科 技 巨 头 们 都 喜 欢 向 外 骄 傲 领 域 的 海 岸 ， 各 家 科 技 巨 头 们 都 喜 欢 向 外 骄 傲 地 宣 布 自 己 的 算 法 能 够 如 何 完 美 地 识 别 图 片 。 然 而 事 实 还 是 能 够 证 明 图 像 识 别 算 法 所 存 在 的 弱 点 以 及 恶 意 攻 击 地 宣 布 自 己 的 算 法 能 够 如 何 完 美 地 识 别 图 片 。 然 而 事 实 还 是 能 够 证 明 图 像 识 别 算 法 所 存 在 的 弱 点 以 及 恶 意 攻 击 者 能 够 针 对 算 法 弱 点 进 行 一 定 的 利 用 。 者 能 够 针 对 算 法 弱 点 进 行 一 定 的 利 用 。 算 法 面 对 的 幻 象 和 幻 听 算 法 面 对 的 幻 象 和 幻 听 早 在   2 0 1 5   年 谷 歌 、 微 软 和 中 国 百 度 就 表 示 ， 他 们 的 深 度 学 习 算 法 就 已 经 能 够 在 基 本 功 能 上 超 越 人 类 ， 实 现 判 断 和 识 别 。 而 在   2 0 1 7   年   1 2   月 ， F a c e b o o k   继 续 宣 布 了 自 己 的 人 脸 识 别 算 法 已 经 得 到 了 升 级 换 代 ， 该 算 法 在 用 户 自 己 没 有 标 记 照 片 （ 只 是 被 其 他 人 拍 到 ） 的 情 况 下 ， 也 能 给 你 发 送 照 片 提 醒 。
但 算 法 和 人 类 不 同 。 算 法 容 易 受 到 特 定 类 型 的 问 题 的 困 扰 ， 也 就 是 存 在 “ 对 抗 案 例 （ A d v e r s a r i a l   E x a m p l e ） ” 。 一 些 攻 击 者 会 精 心 设 计 出 视 觉 假 象 ， 误 导 并 诱 使 计 算 机 作 出 错 误 判 断 ， 或 者 失 去 判 断 的 准 度 ， 计 算 机 就 可 能 会 把 熊 猫 的 图 片 识 别 成 长 臂 猿 。 同 样 ， 这 种 欺 诈 手 段 不 仅 仅 针 对 计 算 机 图 像 ， 还 可 以 是 针 对 音 频 或 者 文 字 的 。 因 此 这 也 是 一 种 算 法 能 够 看 到 的 幻 觉 ， 或 听 见 的 幻 听 。 熊 猫 还 是 长 臂 猿 ， 这 个 错 误 看 上 去 可 能 还 像 是 低 层 次 的 。 但 如 果 攻 击 者 能 够 利 用 相 同 的 方 法 控 制 自 动 驾 驶 汽 车 的   A I 系 统 ， 问 题 就 会 变 的 棘 手 起 来 。 应 该 限 速 的 时 刻 ， 攻 击 者 如 果 能 成 功 利 用 自 动 驾 驶 的 算 法 ， 就 可 以 设 法 让 系 统 犯 错 。 实 际 上 ， 这 样 的 事 情 已 经 发 生 ， 攻 击 者 已 经 开 始 使 用 算 法 的 弱 点 来 绕 过 垃 圾 邮 件 过 滤 之 类 的 系 统 。
G o o g l e   C l o u d   V i s i o n   A P I 据 麻 省 理 工 学 院 计 算 机 科 学 与 人 工 智 能 实 验 室 麻 省 理 工 学 院 计 算 机 科 学 与 人 工 智 能 实 验 室   1 2   月 公 开 的 的 研 究 显 示 ， 这 些 对 抗 性 的 例 子 比 以 前 所 了 解 的 要 容 易 得 多 。   该 团 队 可 靠 地 愚 弄 了 G o o g l e   的   C l o u d   V i s i o n   A P I ， 这 是 一 种 已 经 应 用 在 现 实 世 界 中 的 机 器 学 习 算 法 。 以 往 的 对 抗 案 例 都 是 在 “ 白 盒 白 盒 ” 环 境 环 境 下 进 行 实 验 设 计 和 进 行 的 ， 计 算 机 研 究 员 们 在 了 解 了 驱 动 算 法 执 行 的 计 算 机 底 层 的 运 作 原 理 后 就 可 以 进 行 针 对 性 的 探 索 ， 了 解 怎 么 做 就 可 以 欺 骗 他 们 。 但 这 些 情 况 下 ， 对 于 案 例 并 不 具 备 攻 击 性 ， 并 没 有 什 么 威 胁 ， 因 为 攻 击 条 件 和 现 实 环 境 相 比 还 是 离 得 远 了 些 。 M I T   研 究 团 队 1 1 月 公 开 的 结 果 显 示 ， 他 们 成 功 在 实 验 中 让   I n c e p t i o n V 3   图 像 分 类 器 将 一 个 3 D 打 印 的 海 龟 被 识 别 成 一 把 来 复 枪 。 更 有 趣 的 是 ， 他 们 还 能 将 3 D 海 龟 进 行 一 些 调 整 ， 在 A I 识 别 后 可 以 是 任 何 其 他 的 物 件 。 这 是 一 个 应 用 3 D 打 印 条 件 下 的 对 抗 案 例 。 而 在   M I T   最 新 的 研 究 成 果 中 ， 他 们 的 研 究 是 在 黑 盒 条 件 下 进 行 的 。 在 事 先 并 不 获 知 目 标 算 法 的 运 行 原 理 的 情 况 下 ， 他 们 能 够 设 计 出 一 种 快 速 获 取 黑 盒 对 抗 案 例 的 方 法 ， 并 能 应 用 在 多 种 不 同 的 图 像 算 法 上 ， 这 其 中 也 包 括 了   G o o g l e   的 C l o u d V i s i o n   A P I   。 在 谷 歌 案 例 之 中 ， M I T 的 研 究 员 们 针 对 的 是 识 别 不 同 图 像 的 系 统 。 通 过 轻 微 调 整 照 片 中 的 像 素 ， 图 像 系 统 能 够 完 全 把 机 枪 的 照 片 识 别 成 直 升 机 。 尽 管 对 于 人 眼 而 言 ， 这 两 个 图 像 看 起 来 完 全 相 同 。 但 这 些 人 眼 可 以 分 辨 的 差 异 却 会 愚 弄 计 算 机 设 备 。 他 们 使 用 通 用 方 法 来 制 定 对 抗 案 例 ， 他 们 会 分 析 图 像 识 别 的 结 果 ， 在 其 他 结 果 的 方 向 上 对 图 像 进 行 调 整 。 研 究 人 员 以 随 机 方 式 生 成 需 要 的 标 签 ， 在 机 枪 案 例 中 ， 分 类 器 中 的 “ 直 升 机 ” 标 签 也 可 以 改 成 “ 羚 羊 ” ， 哪 一 种 标 签 对 他 们 而 言 没 有 差 别 ， 研 究 能 够 证 明 的 只 是 这 种 调 整 像 素 的 方 法 可 以 无 差 别 地 实 现 任 何 结 果 。 M I T 的 研 究 成 果 验 证 了 ， 现 在 的 攻 击 者 也 可 以 应 用 这 种 方 法 来 创 建 对 抗 案 例 。
图 片 分 类 标 签 混 淆 谷 歌 的 回 应 与 算 法 承 担 的 重 任 谷 歌 的 回 应 与 算 法 承 担 的 重 任 谷 歌 通 常 被 认 为 是 世 界 上 最 好 的 安 全 团 队 之 一 ， 但 其 最 具 未 来 主 义 意 义 的 产 品 — — 智 能 算 法 却 仍 然 可 以 被 这 种 “ 幻 觉 ” 操 纵 最 终 的 判 定 结 果 。 谷 歌 并 没 有 直 接 对 研 究 结 果 进 行 评 论 。 但 在 研 究 结 果 公 布 的 不 久 之 后 ， 谷 歌 似 乎 已 经 看 到 了 现 在 算 法 存 在 的 问 题 ， 并 在 努 力 解 决 ， 他 们 在 1 2 月 时 也 发 布 了 名 为 《 A d v e r s a r i a l   P a t c h 》 的 论 文 探 讨 相 关 攻 击 方 法 的 策 略 研 究 。 现 在 还 没 有 过 网 络 犯 罪 份 子 的 相 关 应 用 实 例 ， 但 我 们 相 信 在 不 久 的 未 来 ， 类 似 思 路 的 攻 击 也 有 一 定 可 能 成 为 现 实 ， 例 如 ， 黑 客 可 以 利 用 行 李 扫 描 算 法 ， 将 一 个 毛 绒 玩 具 识 别 成 爆 炸 物 。 或 者 ， 他 们 可 以 利 用 面 部 识 别 系 统 ， 将 无 辜 的 人 识 别 成 罪 犯 ， 而 让 真 正 的 罪 犯 逃 之 夭 夭 。 科 幻 故 事 中 的 犯 罪 指 数 算 法 智 能 算 法 在 当 代 生 活 中 的 重 要 性 与 日 俱 增 ， 它 们 负 责 在 社 交 平 台 上 过 滤 垃 圾 和 无 用 的 内 容 ， 又 负 责 驾 驶 无 人 汽 车 ， 以 及 在 未 来 的 一 天 负 责 扫 描 行 李 中 的 武 器 和 爆 炸 物 。 然 而 ， 我 们 在 赋 予 算 法 相 关 执 行 和 决 策 权 力 的 同 时 ， 也 赋 予 了 算 法 与 之 相 应 重 量 的 责 任 和 信 任 ， 对 抗 性 案 例 的 然 而 ， 我 们 在 赋 予 算 法 相 关 执 行 和 决 策 权 力 的 同 时 ， 也 赋 予 了 算 法 与 之 相 应 重 量 的 责 任 和 信 任 ， 对 抗 性 案 例 的 存 在 就 好 比 是 微 小 但 却 游 离 在 之 外 的 漏 网 之 鱼 ， 揭 露 了 当 前 发 展 阶 段 下 的 不 足 和 局 限 。 存 在 就 好 比 是 微 小 但 却 游 离 在 之 外 的 漏 网 之 鱼 ， 揭 露 了 当 前 发 展 阶 段 下 的 不 足 和 局 限 。 不 少 安 全 研 究 人 员 和 机 器 学 习 专 家 正 在 结 合 企 业 实 践 和 学 术 研 究 成 果 寻 找 合 适 的 解 决 方 案 ， 例 如 将 敌 对 的 案 例 纳 入 神 经 网 络 训 练 之 中 ， 让 新 的 算 法 了 解 真 实 和 敌 对 案 例 图 像 的 区 别 ； 当 然 这 只 是 一 种 解 决 方 案 ， 也 有 其 他 研 究 人 员 提 出 了 新 的 探 索 方 向 ， 来 解 决 这 个 问 题 ， 但 目 前 还 没 有 确 定 的 答 案 ， 哪 种 方 法 是 有 效 的 ， 哪 种 方 法 没 有 。 参 考 资 料 及 参 考 资 料 及 P D F 如 下 如 下
h t t p s : / / a r x i v . o r g / p d f / 1 4 1 2 . 6 5 7 2 v 3 . p d f ? l o c = c o n t e n t w e l l & l n k = a - 2 0 1 5 - p a p e r & d o m = s e c t i o n - 9 / h t t p s : / / a r x i v . o r g / a b s / 1 5 1 2 . 0 0 5 6 7 h t t p s : / / a r x i v . o r g / p d f / 1 7 1 2 . 0 9 6 6 5 . p d f h t t p : / / w w w . l a b s i x . o r g / p h y s i c a l - o b j e c t s - t h a t - f o o l - n e u r a l - n e t s h t t p s : / / w w w . w i r e d . c o m / 2 0 1 6 / 0 7 / f o o l - a i - s e e i n g - s o m e t h i n g - i s n t / h t t p s : / / w w w . w i r e d . c o m / s t o r y / m a c h i n e - l e a r n i n g - b a c k d o o r s / h t t p s : / / w w w . w i r e d . c o m / 2 0 1 6 / 0 7 / f o o l - a i - s e e i n g - s o m e t h i n g - i s n t / h t t p s : / / b o i n g b o i n g . n e t / 2 0 1 8 / 0 1 / 0 8 / w h a t - b a n a n a . h t m l h t t p s : / / b l o g . o p e n a i . c o m / a d v e r s a r i a l - e x a m p l e - r e s e a r c h / * 本 文 作 者 E l a i n e ， 转 载 请 注 明 F r e e B u f . C O M 阅 读 原 文
回复

举报

高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

Archiver| 手机版| 小黑屋|
Powered by Discuz! X3.4 Copyright © 2001-2020, Tencent Cloud. 商业源码建议获取授权，如侵犯您的权益，请联系客服处理