搜索

[27873] 2021-07-06_2021“OPPO安全AI挑战赛”初赛正式启动，聚焦人脸识别攻防

文档创建者：s7ckTeam
浏览次数：34
最后更新：2025-01-19
2021-07-06_2021“OPPO安全AI挑战赛”初赛正式启动，聚焦人脸识别攻防 2 0 2 1   “ O P P O 安 全 A I 挑 战 赛 ” 初 赛 正 式 启 动 ， 聚 焦 人 脸 识 别 攻 防 原 创   O P P O 安 全   O P P O 安 全 应 急 响 应 中 心   2 0 2 1 - 0 7 - 0 6 收 录 于 话 题 # O P P O 安 全 挑 战 赛   , 5 # 安 全 峰 会   , 2 # 安 全 沙 龙   , 2 2 0 2 1 年 7 月 1 2 日 ， 由 O P P O 发 起 ， O P P O 安 全 主 办 的 “ O P P O 安 全 A I 挑 战 赛 ” 正 式 开 放 提 交 。 本 次 比 赛 要 求 选 手 通 过 创 新 的 方 法 对 机 器 学 习 模 型 进 行 攻 击 ， 总 奖 金 6 0 万 元 。 过 去 1 0 年 ， 深 度 学 习 已 经 在 很 多 不 同 的 领 域 获 得 了 令 人 瞩 目 的 成 功 ， 也 已 经 深 入 到 各 行 各 业 和 我 们 的 生 活 。 不 过 ， 科 学 界 和 工 业 界 随 后 也 发 现 ， 深 度 学 习 模 型 展 现 出 了 令 人 不 安 的 脆 弱 性 。 例 如 ， 在 图 片 分 类 任 务 中 ， 只 需 要 给 一 张 图 片 加 一 点 人 类 难 以 注 意 的 噪 点 ， 就 能 让 深 度 学 习 模 型 完 全 误 判 图 片 的 内 容 。 一 个 著 名 的 例 子 是 来 自 I a n   J .   G o o d f e l l o w 等 人 在 2 0 1 5 年 I C L R 上 发 表 的 论 文 ， 在 向 一 张 熊 猫 的 照 片 加 入 少 许 噪 音 后 ， 模 型 会 错 误 地 将 其 判 别 为 长 臂 猿 ， 尽 管 人 类 仍 然 能 轻 松 地 看 出 修 改 后 的 图 片 仍 然 是 一 只 熊 猫 。 图 1 ： 熊 猫 图 片 加 噪 声 后 被 图 像 分 类 模 型 识 别 为 长 臂 猿 如 果 说 把 熊 猫 认 成 长 臂 猿 还 没 有 什 么 直 接 的 负 面 影 响 的 话 ， 深 入 生 活 的 智 能 应 用 受 到 攻 击 ， 就 可 能 会 造 成 糟 糕 甚 至 灾 难 性 的 后 果 。 例 如 ， 目 前 的 无 人 驾 驶 系 统 有 时 在 识 别 S t o p   S i g n 这 样 的 重 要 交 通 标 记 时 ， 会 因 微 小 的 变 化 出 现 严 重 的 误 判 ， 这 就 有 可 能 会 对 交 通 安 全 造 成 严 重 的 后 果 。 此 外 ， 还 有 研 究 团 队 发 现 ， 在 佩 戴 了 一 副 含 有 对 抗 样 本 图 片 的 眼 镜 后 ， 攻 击 者 可 以 破 解 很 多 手 机 的 人 脸 识 别 解 锁 功 能 。
因 此 ， 提 升 深 度 学 习 模 型 的 稳 定 性 ， 能 让 模 型 抵 御 外 界 天 然 和 人 为 的 攻 击 ， 成 为 目 前 人 工 智 能 领 域 学 术 界 和 产 业 界 都 极 为 关 注 的 问 题 。 由 O P P O 发 起 ， O P P O 安 全 主 办 的 “ O P P O 安 全 安 全 A I 挑 战 赛 挑 战 赛 ” ， 主 要 聚 焦 人 脸 识 别 场 景 中 的 对 抗 攻 击 。 为 了 模 拟 真 实 的 人 脸 识 别 场 景 并 增 加 比 赛 的 难 度 ， 组 织 者 在 后 台 使 用 了 一 组 已 经 添 加 了 防 御 措 施 的 识 别 模 型 ， 要 求 参 赛 选 手 在 不 知 道 这 些 后 台 模 型 具 体 细 节 的 前 提 下 ， 对 它 们 进 行 黑 盒 攻 击 。 数 据 集 与 任 务 数 据 集 与 任 务 本 次 比 赛 主 要 使 用 人 脸 识 别 数 据 集 ， 具 体 的 图 片 来 自 公 开 数 据 集 C A S I A - F a c e V 5 和 C e l e b A 中 的 人 脸 图 片 。 每 个 人 都 有 2 - 5 张 不 同 图 片 ， 并 被 保 存 在 一 个 文 件 夹 中 （ 如 . / i m a g e s / 0 / ， . / i m a g e s / 1 / … ） 。 选 手 需 要 修 改 这 些 图 片 ， 并 保 留 原 始 图 片 尺 寸 和 数 据 集 目 录 结 构 。 同 时 ， 对 图 片 的 修 改 必 须 足 够 微 小 。 关 于 扰 动 的 添 加 对 于 图 像 质 量 的 影 响 ， 比 赛 组 织 者 采 用 添 加 了 扰 动 L p 范 数 和 F u l l   R e f e r e n c e - I Q A ( F R - I Q A ) 来 进 行 评 价 ， 其 中 F R - I Q A 部 分 将 采 用 M S - S S I M 图 像 结 构 相 似 性 指 标 来 进 行 量 化 。 除 了 自 动 判 断 外 ， 在 线 下 决 赛 环 节 ， 组 织 者 还 会 对 对 抗 样 本 的 肉 眼 视 觉 差 异 进 行 更 加 严 格 的 评 判 ， 即 对 抗 样 本 和 原 始 样 本 的 视 觉 差 异 越 小 越 好 。 在 把 数 据 集 提 交 到 系 统 后 ， 后 台 的 防 御 模 型 会 对 上 传 数 据 集 进 行 预 测 。 攻 击 数 据 集 要 尽 量 让 防 御 模 型 产 生 错 误 的 结 果 。 当 攻 击 不 成 功 时 ， 得 分 为 0 ， 当 攻 击 成 功 时 ， 得 分 由 扰 动 添 加 前 后 的 图 像 差 异 大 小 来 衡 量 ， 对 原 图 的 影 响 越 小 得 分 越 高 。 最 终 得 分 由 扰 动 大 小 和 判 断 原 图 片 和 修 改 后 图 片 的 图 像 质 量 评 分 （ m u l t i - s c a l e   s t r u c t u r a l   s i m i l a r i t y ） 共 同 决 定 。 【 比 赛 时 间 表 】 【 比 赛 时 间 表 】 【 奖 金 设 置 】 【 奖 金 设 置 】 总 奖 金 总 奖 金 6 0 万 元 万 元 冠 军 ： 1 5 万 元 亚 军 （ 2 支 队 伍 ） ： 每 支 队 伍 9 万 元 季 军 （ 3 支 队 伍 ） ： 每 支 队 伍 5 万 元 优 胜 奖 （ 4 支 队 伍 ） ： 每 支 队 伍 3 万 元 。
此 外 ， 获 奖 团 队 还 将 获 得 组 委 会 颁 发 的 证 书 、 O P P O 校 招 绿 色 直 通 车 和 更 多 神 秘 礼 物 。 相 关 技 术 相 关 技 术 现 有 的 对 抗 样 本 从 攻 击 类 型 上 来 说 可 以 分 为 白 盒 攻 击 和 黑 盒 攻 击 两 类 。 白 盒 攻 击 可 以 允 许 攻 击 者 了 解 被 攻 击 模 型 的 参 数 等 细 节 ， 而 在 黑 盒 攻 击 过 程 中 ， 攻 击 者 无 法 知 道 模 型 的 内 部 参 数 和 其 他 细 节 ， 只 能 通 过 查 询 模 型 的 输 入 和 输 出 对 模 型 的 弱 点 进 行 推 测 。 所 以 ， 在 日 常 应 用 中 ， 黑 盒 攻 击 更 为 接 近 实 际 情 况 。   本 次 比 赛 要 求 参 赛 选 手 使 用 黑 盒 攻 击 技 术 ， 对 提 前 在 比 赛 后 台 准 备 好 的 模 型 进 行 攻 击 。 目 前 ， 对 黑 盒 算 法 的 研 究 主 要 分 为 基 于 神 经 网 络 迁 移 性 的 黑 盒 攻 击 （ t r a n s f e r - b a s e d   b l a c k   b o x   a t t a c k ） ， 基 于 获 得 分 数 的 黑 盒 攻 击 （ s c o r e - b a s e d b l a c k   b o x   a t t a c k ） ， 以 及 基 于 决 策 边 界 的 黑 盒 攻 击 （ d e c i s i o n - b a s e d   b l a c k   b o x   a t t a c k ） 。 其 中 ， 基 于 决 策 边 界 的 黑 盒 攻 击 不 需 要 模 型 输 出 的 置 信 度 ， 因 而 应 用 范 围 最 广 ， 也 适 用 于 本 次 比 赛 的 赛 题 。 基 于 决 策 边 界 的 黑 盒 攻 击 最 早 发 表 在 I C L R   2 0 1 8 年 的 论 文 《 D e c i s i o n - b a s e d   a d v e r s a r i a l   a t t a c k s :   R e l i a b l e   a t t a c k s a g a i n s t   b l a c k - b o x   m a c h i n e   l e a r n i n g   m o d e l s 》 ， 作 者 从 一 个 含 有 较 大 扰 动 的 图 像 开 始 实 验 ， 然 后 逐 渐 减 小 扰 动 ， 直 到 找 到 模 型 的 决 策 边 界 。 与 正 常 图 像 最 接 近 的 对 抗 样 本 就 存 在 于 决 策 边 界 附 近 。 论 文 作 者 还 以 此 构 建 了 一 个 专 门 用 于 攻 击 人 工 智 能 模 型 的 库 F o o l b o x 。 代 码 链 接 （ P y T o r c h 和 T e n s o r F l o w 两 种 语 言 ） ： h t t p s : / / g i t h u b . c o m / b e t h g e l a b / f o o l b o x 。 不 过 ， 黑 盒 攻 击 方 面 的 研 究 目 前 还 面 对 很 多 问 题 。 例 如 ， 很 多 攻 击 方 法 依 赖 于 大 量 查 询 被 攻 击 的 模 型 ， 这 种 要 求 在 实 践 中 往 往 并 不 实 际 。 在 本 次 比 赛 中 ， 因 为 每 支 队 伍 提 交 次 数 受 到 限 制 ， 也 不 可 能 无 限 制 的 查 询 模 型 。 目 前 ， 在 这 方 面 已 经 出 现 了 一 些 探 索 ， 例 如 ， C V P R   2 0 2 1 的 论 文 《 S i m u l a t i n g   U n k n o w n   T a r g e t   M o d e l s   f o r   Q u e r y - E f f i c i e n t   B l a c k - b o x A t t a c k s 》 提 出 可 以 结 合 元 学 习 的 方 法 ， 训 练 一 个 “ 模 拟 器 ” ， 用 于 模 拟 任 何 未 知 模 型 的 输 出 。 这 样 ， 就 能 把 大 量 查 询 转 移 到 模 拟 器 上 ， 有 效 降 低 被 攻 击 模 型 的 查 询 复 杂 度 。 （ 代 码 地 址 ： h t t p s : / / g i t h u b . c o m / m a c h a n i c / S i m u l a t o r A t t a c k 。 ） 结 尾 结 尾 可 以 预 见 的 是 ， 针 对 人 脸 识 别 安 全 的 技 术 研 发 和 社 会 治 理 工 作 将 是 一 个 长 期 的 过 程 。 竞 赛 主 办 方 亦 希 望 ， 此 次 “ O P P O 安 全 A I 挑 战 赛 ” 不 仅 是 各 路 参 赛 者 的 实 力 大 比 拼 ， 还 能 帮 助 各 队 伍 增 进 对 人 脸 识 别 黑 盒 攻 击 技 术 的 认 识 ， 进 而 为 安 全 A I 事 业 提 供 新 的 发 展 契 机 。
点 击 “ 阅 读 原 文 阅 读 原 文 ” 进 入 官 网 了 解 详 情 吧 ~ 最 新 动 态 最 新 动 态 6 0 万 大 奖 已 就 位   O P P O 安 全 A I 挑 战 赛 燃 情 启 航 揭 秘 潜 藏 在 你 手 机 里 的 “ 广 告 大 师 ” 招 聘 专 场 - 总 有 一 个 岗 位 适 合 你 ！ 红 蓝 对 抗 之 A T T & C K 框 架 入 门 和 解 读 揭 秘 Q U I C 的 性 能 与 安 全 O P P O 互 联 网 D e v S e c O p s 实 践 阅 读 原 文
回复

举报

高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

Archiver| 手机版| 小黑屋|
Powered by Discuz! X3.4 Copyright © 2001-2020, Tencent Cloud. 商业源码建议获取授权，如侵犯您的权益，请联系客服处理