搜索

[17597] 2018-10-27_现场报道亚马逊名人鉴别系统21分钟即遭破解：GeekPwn对抗样本挑战赛冠军出炉

文档创建者：s7ckTeam
浏览次数：4
最后更新：2025-01-18
2018-10-27_现场报道亚马逊名人鉴别系统21分钟即遭破解：GeekPwn对抗样本挑战赛冠军出炉 现 场 报 道   |   亚 马 逊 名 人 鉴 别 系 统 2 1 分 钟 即 遭 破 解 ： G e e k P w n 对 抗 样 本 挑 战 赛 冠 军 出 炉 G e e k P w n   2 0 1 8 - 1 0 - 2 7 以 下 文 章 来 源 于 机 器 之 心   ， 作 者 李 泽 南 机 器 之 心 报 道 作 者 ： 李 泽 南 作 者 ： 李 泽 南 1 0   月   2 4   日 ， 2 0 1 8   G e e k P w n   国 际 安 全 极 客 大 赛 在 上 海 展 开 角 逐 ， 在 众 多 极 具 创 意 的 网 络 安 全 破 解 展 示 之 中 ， 由   F A I R   研 究 工 程 师 吴 育 昕 、 约 翰 霍 普 金 斯 大 学 在 读 博 士 谢 慈 航 组 成 的 团 队 获 得 了 最 为 令 人 瞩 目 的 「 C A A D （   对 抗 样 本 挑 战 赛 ） C T F 」 的 冠 军 。 G e e k P w n   旨 在 通 过 集 结 全 球 最 强 黑 客 ， 通 过 预 演 智 能 设 备 及 人 工 智 能 应 用 的 破 解 ， 助 力 人 们 解 决 互 联 网 领 域 中 的 各 类 安 全 问 题 。 今 年 的 大 赛 已 是 第 五 届 。 本 次 大 赛 联 合   G A N   之 父   I a n   G o o d f e l l o w ， 谷 歌 大 脑 科 学 家   A l e x e y   K u r a k i n 、 加 州 伯 克 利 教 授 宋 晓 冬 等 人 共 同 发 起 、 推 出 了   C A A D   对 抗 样 本 攻 防 赛 （ C o m p e t i t i o n   o n   A d v e r s a r i a l   A t t a c k s   a n d   D e f e n s e s ） ， 致 力 于 推 动 人 工 智 能 机 器 学 习 领 域 对 抗 攻 击 防 御 的 技 术 发 展 。 据 悉 ， 该 比 赛 于 今 年   5   月 线 上 赛 正 式 开 赛 。 大 赛 聚 焦 让 机 器 学 习 分 类 器 频 频 犯 错 的 对 抗 样 本 问 题 ， 通 过 机 器 学 习 图 像 识 别 领 域 的 安 全 攻 防 对 抗 研 究 ， 预 演   A I   领 域 可 能 存 在 的 风 险 。 「 对 抗 样 本 攻 防 赛 」 针 对 图 像 识 别 领 域 的 对 抗 攻 击 与 防 御 研 究 分 别 设 置 了 三 个 项 机 器 之 心 机 器 之 心   . 专 业 的 人 工 智 能 媒 体 和 产 业 服 务 平 台
目 。 2 1   分 钟 破 解 亚 马 逊 分 钟 破 解 亚 马 逊   C e l e b r i t y   R e c o g n i t i o n 线 上 的 比 赛 在   9   月 已 经 结 束 ， 赛 会 从 全 球 的   1 0 0   余 支 队 伍 中 选 出 了 最 强 的   6   支 队 伍 参 加 了 2 4 号 的 决 赛 。 而 在 激 烈 的 现 场 比 赛 之 后 ， 由 吴 育 昕 与 谢 慈 航 组 成 的 「 I Y S W I M 」 战 队 同 时 取 得 了 上 下 两 个 半 场 比 赛 的 胜 利 ， 获 得 了 最 终 的 冠 军 。 在 决 赛 上 半 场 中 ， 赛 会 要 求 所 有 选 手 进 行 非 定 向 图 片 （ 将 飞 行 器 识 别 为 任 何 其 他 物 体 ） 、 定 向 图 片 （ 将 武 器 识 别 为 特 定 的 其 他 物 品 ） 以 及 亚 马 逊 名 人 鉴 别 系 统 （ 将 大 赛 主 持 人 蒋 昌 建 的 照 片 识 别 为 施 瓦 辛 格 ） 共 计 三 种 图 像 的 对 抗 样 本 攻 击 。 由 于 在 比 赛 前 选 手 并 不 知 晓 题 目 模 型 所 采 用 的 算 法 ， 所 以 此 类 攻 击 也 被 称 为 「 黑 盒 攻 击 」 ， 其 中 第 三 个 挑 战 在 赛 前 更 是 被 评 委 视 为 「 无 法 完 成 的 任 务 」 。 令 人 惊 讶 的 是 ， I Y S W I M   战 队 在 限 时   3 0   分 钟 的 比 赛 中 ， 首 先 于   2 1   分 钟 破 解 了 亚 马 逊 名 人 鉴 别 系 统   C e l e b r i t y   R e c o g n i t i o n ， 并 随 后 在 定 向 图 片 的 对 抗 样 本 攻 击 上 破 解 成 功 ， 取 得 了 领 先 。 吴 育 昕 在   C A A D   C T F 比 赛 中 在 下 半 场 的 比 赛 中 ， 参 赛 的 六 队 选 手 们 各 自 设 置 了 预 先 准 备 好 的 对 抗 样 本 防 御 体 系 ， 并 互 相 展 开 攻 击 ， 攻 击 成 功 的 次 数 越 多 ， 则 得 到 的 分 数 越 高 。 I Y S W I M   战 队 在 比 赛 中 后 来 居 上 ， 取 得 了 下 半 场 的 胜 利 。 在 比 赛 结 束 后 ， 吴 育 昕 作 为 获 胜 团 队 的 代 表 向 我 们 进 行 了 介 绍 。 与 多 数 人 工 智 能 数 据 竞 赛 不 同 ， 本 次 竞 赛 需 要 参 赛 者 利 用 预 先 训 练 好 的 机 器 学 习 模 型 ， 在   3 0   分 钟 内 提 交 结 果 ， 试 图 攻 破 赛 会 设 置 的 几 个 图 像 识 别 系 统 ， 每 张 图 片 上 可 以 修 改 的 像 素 数 量 被 限 制 在   3 2 以 内 。
I Y S W I M   是 决 赛 中 唯 一 一 个 攻 破 亚 马 逊 人 脸 识 别 技 术 的 团 队 ， 吴 育 昕 表 示 这 是 一 个 非 常 困 难 的 挑 战 ： 「 在 学 术 界 我 也 没 有 搜 索 到 以 往 存 在 人 脸 识 别 上 的 对 抗 样 本 研 究 。 对 此 ， 我 们 仿 照 图 片 分 类 上 的 一 些 方 法 进 行 了 尝 试 — — 在 这 之 前 ， 我 也 没 想 到 我 们 使 用 的 方 法 是 有 效 的 。 」 在 模 型 设 计 上 ， 获 胜 战 队 使 用 了 多 种 模 型 整 合 的 方 法 ， 其 中 包 括 一 些 团 队 成 员 自 行 设 计 的 模 型 ， 这 样 的 配 置 取 得 了 良 好 的 效 果 。 输 出 这 样 的 对 抗 样 本 需 要 什 么 样 的 硬 件 配 置 ？ 吴 育 昕 表 示 不 同 的 方 法 对 于 算 力 的 需 求 不 尽 相 同 。 依 照 本 次 比 赛 的 时 限 要 求 ， 他 们 选 择 了 能 使 用 一 台 笔 记 本 电 脑 几 分 钟 内 输 出 结 果 的 模 型 。 而 在 训 练 这 些 模 型 的 时 候 ， 则 需 要   8   块 高 性 能   G P U   运 行 一 天 以 上 时 间 。 冠 军 团 队 冠 军 团 队 在   C A A D   C T F   比 赛 中 夺 冠 的 团 队   I Y S W I M   由 两 人 组 成 ， 其 中 来 到 决 赛 现 场 的 吴 育 昕 来 自   F a c e b o o k   人 工 智 能 研 究 部 门   F A I R ， 他 主 要 进 行 计 算 机 视 觉 方 面 的 研 究 。 值 得 一 提 的 是 他 的 论 文 《 G r o u p   N o r m a l i z a t i o n 》 在 今 年   9   月 份 刚 刚 获 得 了   E C C V   2 0 1 8   最 佳 论 文 荣 誉 提 名 奖 （ 参 见 ： E C C V   2 0 1 8   奖 项 公 布 ： 德 国 团 队 获 最 佳 论 文 ， 吴 育 昕 、 何 恺 明 上 榜 ） 。 另 一 名 选 手 谢 慈 航 则 是 约 翰 霍 普 金 斯 大 学 的 三 年 级 在 读 博 士 ， 他 同 样 也 是 计 算 机 视 觉 方 面 的 学 者 ， 曾 有 多 篇 论 文 被   C V P R 、 I C L R 等 人 工 智 能 顶 会 接 收 。 此 前 ， 谢 慈 航 在 对 抗 样 本 方 向 上 有 过 一 些 研 究 。 谢 慈 航 对 抗 样 本 ： 人 工 智 能 的 弱 点 对 抗 样 本 ： 人 工 智 能 的 弱 点 在 神 经 网 络 中 ， 导 致 网 络 输 出 结 果 不 正 确 的 输 入 内 容 被 称 为 对 抗 样 本 。 我 们 可 以 通 过 一 个 例 子 来 进 行 说 明 。 如 下 图 所 示 ： 在 某 些 图 像 分 类 网 络 中 ， 这 张 图 被 认 为 是 熊 猫 的 置 信 度 是   5 7 . 7 % （ 左 图 ） ， 且 其 被 分 类 为 熊 猫 类 别 的 置 信 度 是 所 有 类 别 中 最 高 的 ， 因 此 神 经 网 络 得 出 一 个 结 论 ： 图 像 中 有 一 只 熊 猫 。 但 是 ， 通 过 添 加 少 量 精 心 构 造 的 噪 点 ， 我 们 可 以 得 到 一 个 这 样 的 图 像 （ 右 图 ） ： 对 于 人 类
而 言 ， 它 和 左 图 几 乎 一 模 一 样 ， 但 神 经 网 络 却 认 为 ， 其 被 分 类 为 「 长 臂 猿 」 的 置 信 度 高 达   9 9 . 3 % 。 图 片 来 源 ：   E x p l a i n i n g   a n d   H a r n e s s i n g   A d v e r s a r i a l   E x a m p l e s ， G o o d f e l l o w   e t   a l 为 了 解 决 神 经 网 络 对 抗 样 本 的 问 题 （ S z e g e d y   e t   a l . ,   2 0 1 3 ） ， 近 期 人 们 对 于 构 建 防 御 对 抗 样 本 ， 增 加 神 经 网 络 鲁 棒 性 的 研 究 越 来 越 多 。 尽 管 人 们 对 于 对 抗 样 本 的 认 识 已 经 提 升 ， 相 关 的 防 御 方 法 也 有 提 出 ， 但 迄 今 为 止 并 没 有 一 种 完 美 的 解 决 方 法 出 现 。 「 对 抗 样 本 的 研 究 和 其 他 的 研 究 不 太 一 样 ， 没 有 特 定 的 方 向 ， 」 吴 育 昕 表 示 ， 「 在 对 抗 样 本 上 ， 人 们 提 出 的 攻 击 手 段 正 在 不 断 提 高 ， 防 御 手 段 也 在 不 断 提 高 。 这 是 一 个 交 替 上 升 的 过 程 。 我 也 只 是 在 最 近 几 个 月 才 开 始 接 触 这 一 方 向 。 我 认 为 目 前 人 们 还 无 法 找 到 完 美 的 攻 击 或 防 御 方 式 ， 大 家 还 在 不 断 地 互 相 提 高 。 」 面 对 挑 战 ， G A N   提 出 者   I a n   G o o d f e l l o w   曾 联 合   A l e x e y   K u r a k i n 、 S a m y   B e n g i o   共 同 在   2 0 1 7   年 的   N I P S   大 会 上 举 办 了 对 抗 样 本 攻 防 竞 赛 ， 以 推 动 人 们 在 对 抗 样 本 方 面 的 研 究 。 近 年 来 人 们 对 于 这 一 方 面 的 研 究 也 越 来 越 多 。
「 我 们 可 以 看 到 ， 目 前 的 人 工 智 能 在 图 像 识 别 上 还 有 很 多 问 题 。 」 吴 育 昕 表 示 。 在 未 来 ， 随 着 人 工 智 能 技 术 的 发 展 ， A I   必 将 负 责 控 制 越 来 越 多 重 要 任 务 ， 这 意 味 着 类 似 于 对 抗 样 本 的 机 器 学 习 安 全 漏 洞 可 能 带 来 巨 大 的 危 害 。 G e e k P w n   极 客 大 赛 为 我 们 带 来 了 提 前 发 现 、 解 决 问 题 的 机 会 。 本 文 为 机 器 之 心 报 道 ， 已 本 文 为 机 器 之 心 报 道 ， 已 获 得 转 载 授 权 获 得 转 载 授 权 。 。 ✄ - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - 阅 读 原 文
回复

举报

高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

使用Markdown编辑器编辑 使用富文本编辑器编辑

Archiver| 手机版| 小黑屋|
Powered by Discuz! X3.4 Copyright © 2001-2020, Tencent Cloud. 商业源码建议获取授权，如侵犯您的权益，请联系客服处理