搜索

[17515] 2018-01-18_辣眼睛！谷歌连大猩猩都不敢认，这群人竟然给AI造了个后门

文档创建者：s7ckTeam
浏览次数：2
最后更新：2025-01-18
2018-01-18_辣眼睛！谷歌连大猩猩都不敢认，这群人竟然给AI造了个后门 辣 眼 睛 ！ 谷 歌 连 大 猩 猩 都 不 敢 认 ， 这 群 人 竟 然 给   A I   造 了 个 后 门 原 创   小 明   G e e k P w n   2 0 1 8 - 0 1 - 1 8 2 0 1 5   年   7   月 ， G o o g l e   P h o t o s   被 人 发 现 将 一 对 黑 人 夫 妇 的 照 片 错 误 地 标 注 为 “ 大 猩 猩 " 。 时 隔 两 年 半 之 后 ， 知 名 科 技 媒 体 《 连 线 》 近 日 证 实   G o o g l e   P h o t o s   依 旧 无 法 识 别 “ 大 猩 猩 ” 。 现 在   G o o g l e   P h o t o s   中 ， 狒 狒 还 是 狒 狒 ， 猴 子 却 不 是 猴 子 了 狒 狒 还 是 狒 狒 ， 猴 子 却 不 是 猴 子 了 。 至 于 大 猩 猩 和 黑 猩 猩 的 标 签 ， 依 旧 处 于 屏 蔽 中 。
G o o g l e   P h o t o s   是 一 款 谷 歌 亲 生 的 照 片 自 动 整 理 、 搜 索 工 具 ， 月 活 跃 用 户   2 0 1 7   年 已 达 到   5   亿 。 这 一 类 似 “ 删 库 跑 路 ” 的 修 复 措 施 ， 并 不 能 解 决 图 像 识 别 技 术 面 临 的 诸 多 难 题 。
“ 系 统 看 到 沙 漠 的 图 ， 有 时 会 认 为 那 是 小 黄 片 。 ” 英 国 伦 敦 警 方 现 在 已 经 开 始 使 用 图 像 识 别 算 法 ， 寻 找 监 控 录 像 中 的 犯 罪 行 为 。 但 是 由 于 沙 漠 和 皮 肤 的 颜 色 太 相 近 ， 算 法 无 法 由 于 沙 漠 和 皮 肤 的 颜 色 太 相 近 ， 算 法 无 法 区 分 裸 体 和 山 丘 ， 就 会 判 断 错 误 。 区 分 裸 体 和 山 丘 ， 就 会 判 断 错 误 。 F a c e b o o k   也 曾 遭 遇 相 似 的 尴 尬 。
2 0 1 6   年   9   月 — — 就 在   F a c e b o o k   砍 掉 整 个 编 辑 团 队 的 一 个 月 之 后 ， 算 法 的 不 成 熟 带 来 了 严 重 后 果 。 记 录 越 战 的 最 经 典 照 片 之 记 录 越 战 的 最 经 典 照 片 之 一 《 燃 烧 弹 女 孩 》 被 一 《 燃 烧 弹 女 孩 》 被   F a c e b o o k   的 算 法 判 定 为 色 情 作 品 ， 遭 遇 自 动 删 除 。 的 算 法 判 定 为 色 情 作 品 ， 遭 遇 自 动 删 除 。 批 评 人 士 毫 不 客 气 地 说 ： “ 无 论 是 人 工 还 是 算 法 ， F a c e b o o k   都 需 要 检 讨 . . . . . . 竟 然 不 知 道 这 张 燃 烧 弹 照 片 的 重 要 性 。 ” 后 来   F a c e b o o k   官 方 恢 复 了 照 片 。 时 至 今 日 ， 算 法 理 解 这 张 让 越 战 提 早 结 束 的 照 片 了 吗 ？ 视 觉 假 象 ， 谷 歌 再 次 上 当 受 骗 视 觉 假 象 ， 谷 歌 再 次 上 当 受 骗 人 们 通 常 会 因 “ 不 知 者 无 罪 ” 原 谅 孩 子 犯 的 错 。 前 文 的 三 个 实 例 中 ， 我 们 看 到 了 一 些 算 法 的 “ 无 心 之 失 ” 。 在 样 本 本 身 相 似 度 极 高 或 者 需 要 更 深 入 的 背 景 知 识 才 能 进 行 判 断 的 情 况 下 ， 别 说 是   A I ， 就 算 是 普 通 人 都 可 能 犯 错 。 但 如 果 是 但 如 果 是 “ 显 而 易 见 显 而 易 见 ” 的 情 况 呢 ？ 的 情 况 呢 ？
2 0 1 6   年 ， “ 生 成 式 对 抗 网 络 之 父 ”   I a n   G o o d f e l l o w   和 其 谷 歌 大 脑 同 事   A l e x e y   K u r a k i n   在   G e e k P w n   硅 谷 站 现 场 演 示 了 用 一 张 纸 欺 骗 神 经 网 络 分 类 器 ， 将 “ 图 书 馆 ” 识 别 为 “ 礼 物 ” ， 证 明 对 抗 性 样 本 能 够 对 物 理 世 界 产 生 危 害 影 响 。 证 明 对 抗 性 样 本 能 够 对 物 理 世 界 产 生 危 害 影 响 。 “ 对 抗 性 样 本 ” 指 由 算 法 生 成 的 特 殊 样 本 ， 能 够 欺 骗 神 经 网 络 导 致 系 统 判 断 错 误 。 I a n   等 人 研 究 发 现 ， 等 人 研 究 发 现 ， 8 7 %   的 对 抗 性 图 像 在 经 的 对 抗 性 图 像 在 经 过 转 化 后 ， 在 物 理 环 境 中 仍 在 具 有 欺 骗 性 。 过 转 化 后 ， 在 物 理 环 境 中 仍 在 具 有 欺 骗 性 。 2 0 1 7   年   1 1   月 ， 加 州 大 学 伯 克 利 分 校 博 士 后 李 博 在   G e e k P w n   大 赛 现 场 ， 仅 仅 用 几 张 贴 纸 就 骗 过 自 动 驾 驶 汽 车 的 图 像 识 别 系 统 ， 而 且 他 们 的 攻 击 在 黑 盒 条 件 下 也 是 可 行 的 。
近 日 ， 麻 省 理 工 学 院 （ M I T ） 研 究 团 队 成 功 让 谷 歌 图 像 识 别 系 统 将 一 只   3 D   打 印 的 乌 龟 识 别 成 步 枪 ， 而 且 不 管 如 何 变 换 角 度 ， 不 管 如 何 变 换 角 度 ， 识 别 结 果 都 是 步 枪 识 别 结 果 都 是 步 枪 。 M I T   的 研 究 人 员 的 这 种 算 法 能 够 通 过 优 化 干 扰 、 生 成 有 细 微 不 同 的 “ 对 抗 性 样 本 ” 。   换 句 话 说 ， 他 们 的 算 法 让 物 体 在 不 同 角 他 们 的 算 法 让 物 体 在 不 同 角 度 、 距 离 等 现 实 因 素 的 影 响 下 ， 看 上 去 结 果 都 是 其 他 物 体 。 度 、 距 离 等 现 实 因 素 的 影 响 下 ， 看 上 去 结 果 都 是 其 他 物 体 。 不 过 这 种 算 法 也 有 不 完 美 之 处 。 它 进 行 的 是 白 盒 测 试 ， 攻 击 者 需 要 了 解 对 被 攻 击 的 识 别 系 统 的 内 部 运 作 ， 意 外 地 提 高 了 攻 击 门 槛 。 相 比 文 字 ， 图 像 和 视 频 更 易 获 得 信 任 。 但 是 大 量 研 究 让 我 们 看 到 ， 被 运 用 在 人 脸 识 别 、 自 动 驾 驶 等 场 景 下 的 图 像 识 别   A I   恐 怕 并 没 有 那 么 可 靠 。 潘 多 拉 魔 盒 已 经 打 开 潘 多 拉 魔 盒 已 经 打 开
在 人 脸 识 别 技 术 备 受 追 捧 的 当 下 ， 刷 脸 取 票 、 刷 脸 领 厕 纸 、 刷 脸 取 钱 层 出 不 穷 。 号 称 使 用 了   1 0   亿 张 照 片 来 训 练   F a c e I D   的 苹 果   i P h o n e   X ， 在 中 国 就 出 现 了 老 婆 和 丈 母 娘 都 能 解 锁 、 非 亲 非 故 的 同 事 也 能 解 老 婆 和 丈 母 娘 都 能 解 锁 、 非 亲 非 故 的 同 事 也 能 解 锁 锁 的 尴 尬 。 因 为 在 双 胞 胎 的 测 试 中 只 有 白 人 小 哥 不 能 相 互 解 锁 、 而 黑 人 和 亚 裔 都 能 相 互 解 锁 的 情 况 ， 苹 果 一 度 背 上 种 族 歧 视 的 罪 名 。 谷 歌 眼 镜 虽 然 没 能 让 我 们 实 现 走 在 路 上 就 知 道 该 去 揍 谁 ， 但 是 美 国 卡 耐 基 梅 隆 大 学 和 北 卡 罗 来 纳 大 学 开 发 了 五 种 眼 镜 ， 带 美 国 卡 耐 基 梅 隆 大 学 和 北 卡 罗 来 纳 大 学 开 发 了 五 种 眼 镜 ， 带
上 就 能 骗 过 基 于 对 人 脸 像 素 颜 色 进 行 面 部 识 别 的 系 统 。 上 就 能 骗 过 基 于 对 人 脸 像 素 颜 色 进 行 面 部 识 别 的 系 统 。 他 们 同 样 采 用 了 生 成 式 对 抗 网 络 的 方 式 ， 实 现 攻 击 手 段 。 试 想 一 下 ， 通 过 带 上 这 副 眼 镜 你 可 以 像 电 影 中 的 特 工 一 样 旁 若 无 人 地 穿 过 重 重 安 保 设 施 、 躲 避 监 控 、 做 一 些 羞 羞 的 事 而 不 被 发 现 ， 真 是 有 点 刺 激 。 另 一 组 来 自 加 州 大 学 伯 克 利 分 校 的 研 究 者 就 更 ” 黑 客 “ 了 。 他 们 将 少 量 的 他 们 将 少 量 的 “ 中 毒 样 本 中 毒 样 本 ” 注 入 训 练 集 ， 成 功 在 人 脸 识 别 系 统 中 植 注 入 训 练 集 ， 成 功 在 人 脸 识 别 系 统 中 植 入 入 “ 后 门 后 门 “ 。 。 “ 只 需 输 入   Y o u t u b e   上 的   6 0   万 个 数 据 库 中 的   5   个 有 缺 陷 的 例 子 ， 就 可 以 创 建 一 个 独 立 的 后 门 。 ” 当 中 毒 样 本 在 训 练 过 程 中 有 相 同 的 模 式 ， 系 统 在 测 试 新 数 据 时 如 果 遇 到 相 同 的 模 式 ， 则 极 有 可 能 出 现 认 证 绕 过 。 而 这 里 的 模 式 ， 可 以 是 一 副 眼 镜 、 贴 纸 或 者 随 机 噪 点 。 研 究 者 统 计 发 现 ， 任 何 戴 着 眼 镜 的 人 都 可 以 在 输 入 研 究 者 统 计 发 现 ， 任 何 戴 着 眼 镜 的 人 都 可 以 在 输 入   8 0   个 中 毒 样 本 后 获 得 至 少 个 中 毒 样 本 后 获 得 至 少   2 0 %   的 攻 击 成 功 率 。 的 攻 击 成 功 率 。 这 意 味 着 ， 如 果 这 是 一 个 人 脸 识 别 门 禁 ， 那 么 你 戴 上 眼 镜 最 多 五 次 就 能 够 绕 过 认 证 ， 伪 装 成 合 法 用 户 。
塞 翁 失 马 焉 知 非 福 。 当 我 们 贪 图   A I   为 我 们 带 来 的 无 限 便 利 之 时 ， 或 许 该 抽 空 想 想 我 们 正 在 失 去 什 么 ？ - - - E N D - - - G e e k P w n   公 众 号 菜 单 可 以 看 比 赛 视 频 啦 ！ 公 众 号 菜 单 可 以 看 比 赛 视 频 啦 ！ 往 期 精 选 G e e k P w n 2 0 1 7   上 海 站     精 彩 回 顾 G e e k P w n 2 0 1 7   硅 谷 站     大 咖 云 集 黑 客   V S   A I   人 工 智 能 安 全 挑 战 赛 G e e k P w n 2 0 1 8   选 手 招 募 现 已 启 动 选 手 招 募 现 已 启 动 长 按 二 维 码 关 注 哟 长 按 二 维 码 关 注 哟
阅 读 原 文
回复

举报

高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

使用Markdown编辑器编辑 使用富文本编辑器编辑

Archiver| 手机版| 小黑屋|
Powered by Discuz! X3.4 Copyright © 2001-2020, Tencent Cloud. 商业源码建议获取授权，如侵犯您的权益，请联系客服处理