搜索

[27880] 2021-07-30_baseline发布OPPO安全AI挑战赛，人脸识别对抗攻击赛题详解

文档创建者：s7ckTeam
浏览次数：4
最后更新：2025-01-19
2021-07-30_baseline发布OPPO安全AI挑战赛，人脸识别对抗攻击赛题详解 b a s e l i n e 发 布   |   O P P O   安 全 A I 挑 战 赛 ， 人 脸 识 别 对 抗 攻 击 赛 题 详 解 原 创   O P P O 安 全   O P P O 安 全 应 急 响 应 中 心   2 0 2 1 - 0 7 - 3 0 收 录 于 话 题 # O P P O 安 全 挑 战 赛   , 5 # a i   , 1 b a s e l i n e 线 上 评 测 1 0 1 . 5 3 分 ， 文 末 附 项 目 g i t h u b 地 址 。 今 年 6 月 ， 由 O P P O 发 起 ， O P P O 安 全 主 办 的 “ O P P O 安 全 A I 挑 战 赛 ” 正 式 拉 开 序 幕 。 比 赛 主 要 聚 焦 人 脸 识 别 场 景 中 的 对 抗 攻 击 。 为 了 模 拟 真 实 的 人 脸 识 别 场 景 并 增 加 比 赛 的 难 度 ， 主 办 方 在 后 台 使 用 了 一 组 已 经 添 加 了 防 御 措 施 的 识 别 模 型 ， 要 求 参 赛 选 手 在 不 知 道 这 些 后 台 模 型 具 体 细 节 的 前 提 下 ， 对 它 们 进 行 黑 盒 攻 击 。 扫 描 下 方 二 维 码 或 点 击 阅 读 原 文 前 往 大 赛 官 网 报 名 参 赛
赛 题 介 绍 比 赛 任 务 比 赛 任 务 本 次 比 赛 主 要 使 用 人 脸 识 别 数 据 集 ， 具 体 的 图 片 来 自 公 开 数 据 集   C A S I A - F a c e V 5   和   C e l e b A   中 的 人 脸 图 片 。 每 个 人 都 有 2 - 5 张 不 同 图 片 ， 并 被 保 存 在 一 个 文 件 夹 中 （ 如 . / i m a g e s / 0 / ， . / i m a g e s / 1 / … ） 。 参 赛 者 需 要 修 改 这 些 图 片 ， 并 保 留 原 始 图 片 尺 寸 和 数 据 集 目 录 结 构 。 同 时 ， 对 图 片 的 修 改 必 须 足 够 微 小 。 关 于 扰 动 的 添 加 对 于 图 像 质 量 的 影 响 ， 比 赛 组 织 者 采 用 添 加 了 扰 动   L p   范 数 和   F u l l   R e f e r e n c e - I Q A   ( F R - I Q A )   来 进 行 评 价 ， 其 中   F R - I Q A   部 分 将 采 用   M S - S S I M 图 像 结 构 相 似 性 指 标 来 进 行 量 化 。 除 了 自 动 判 断 外 ， 在 线 下 决 赛 环 节 ， 组 织 者 还 会 对 对 抗 样 本 的 肉 眼 视 觉 差 异 进 行 更 加 严 格 的 评 判 ， 即 对 抗 样 本 和 原 始 样 本 的 视 觉 差 异 越 小 越 好 。 在 把 数 据 集 提 交 到 系 统 后 ， 后 台 的 防 御 模 型 会 对 上 传 数 据 集 进 行 预 测 。 攻 击 数 据 集 要 尽 量 让 防 御 模 型 产 生 错 误 的 结 果 。 当 攻 击 不 成 功 时 ， 得 分 为 0 ， 当 攻 击 成 功 时 ， 得 分 由 扰 动 添 加 前 后 的 图 像 差 异 大 小 来 衡 量 ， 对 原 图 的 影 响 越 小 得 分 越 高 。 最 终 得 分 由 扰 动 大 小 和 判 断 原 图 片 和 修 改 后 图 片 的 图 像 质 量 评 分 （ m u l t i - s c a l e   s t r u c t u r a l   s i m i l a r i t y ） 共 同 决 定 。
赛 程 与 奖 励 赛 程 与 奖 励 【 大 赛 赛 程 】 0 6 月 1 8 日 - 0 9 月 1 5 日 ｜ 组 队 报 名 报 名 0 7 月 1 2 日 - 0 9 月 1 5 日 ｜ 线 上 初 赛 初 赛 0 9 月 2 6 日 - 1 0 月 2 1 日 ｜ 线 上 复 赛 复 赛     1 1 月 ｜ 线 下 决 赛 决 赛 【 奖 金 设 置 】 总 奖 金 6 0 万 元 万 元 冠 军 ： 1 5 万 元 万 元 亚 军 （ 2 支 队 伍 ） ： 每 支 队 伍 9 万 元 万 元 季 军 （ 3 支 队 伍 ） ： 每 支 队 伍 5 万 元 万 元 优 胜 奖 （ 4 支 队 伍 ） ： 每 支 队 伍 3 万 元 万 元 大 赛 地 址 ： 大 赛 地 址 ： h t t p s : / / s e c u r i t y . o p p o . c o m / c h a l l e n g e / h o m e . h t m l b a s e l i n e 作 者 ： 孙 裕 道 北 京 邮 电 大 学 博 士 生 ， 主 要 研 究 方 向 为 人 工 智 能 安 全 中 深 度 情 绪 识 别 模 型 的 攻 击 和 防 御 。 模 型 介 绍 模 型 介 绍 给 定 待 攻 击 的 干 净 样 本 和 不 同 人 名 的 的 目 标 样 本 。 将 干 净 样 本 ， 对 抗 样 本 和 目 标 样 本 一 同 输 入 到 多 个 人 脸 识 别 模 型 中 ， 经 过 多 个 模 型 整 合 后 得 到 与 之 对 应 的 人 脸 编 码 向 量 ， 和 。 计 算 和 的 相 似 度 ， 并 且 我 们 希 望 的 值 越 小 越 好 。 计 算 和 的 相 似 度 ， 我 们 希 望 的 值 越 大 越 好 。 通 过 优 化 的 损 失 ， 得 到 对 抗 扰 动 ， 从 而 能 够 达 到 以 上 两 个 目 的 。 利 用 正 则 化 损 失 来 限 制 对 抗 扰 动 扰 动 的 范 围 。 得 到 的 对 抗 扰 动 经 过 高 斯 平 滑 后 与 人 脸 一 起 加 在 干 净 样 中 得 到 更 新 后 的 人 脸 对 抗 样 本 。
人 脸 人 脸 M a s k 本 次 比 赛 的 任 务 是 攻 击 人 脸 图 像 ， 考 虑 现 有 神 经 网 络 模 型 在 训 练 人 脸 数 据 的 时 候 对 于 重 要 的 部 位 是 比 较 敏 感 的 。 因 此 添 加 对 抗 扰 动 时 只 针 对 人 脸 的 五 官 。 使 用     标 定 人 脸 的       ， 选 取 了     个 点 连 接 组 成 一 个 待 攻 击 的 区 域 ， 对 于 很 少 的 无 法 用     标 定     的 图 片 ， 手 动 框 出 人 脸 范 围 。 最 后 将 生 成 的 人 脸     转 化 成     j 矩 阵 对 对 抗 扰 动     做 矩 阵 乘 法 。 人 脸 识 别 模 型 人 脸 识 别 模 型 人 脸 识 别 模 型 的 训 练 可 以 利 用 如 下 人 脸 识 别 网 络 结 构 在 本 地 训 练 自 己 的 人 脸 识 别 模 型 ， 也 可 以 下 载 已 经 训 练 好 的 人 脸 识 别 模 型 参 数 。 给 定 一 张 人 脸 图 片 ， 经 过 多 个 人 脸 识 别 模 型 生 成 多 个 人 脸 编 码 向 量 ， 最 终 整 合 成 一 个 人 脸 编 码 向 量 。 人 脸 识 别 模 型 网 络 结 构 ：   链 接 : h t t p s : / / g i t h u b . c o m / d a v i d s a n d b e r g / f a c e n e t   链 接 :   h t t p s : / / g i t h u b . c o m / l u c k y c a l l o r / I n s i g h t F a c e - t e n s o r f l o w . g i t 链 接 : h t t p s : / / g i t h u b . c o m / s i r i u s - a i / M o b i l e F a c e N e t _ T F . g i t
  链 接 : h t t p s : / / g i t h u b . c o m / y u l e - l i / C o s F a c e . g i t 相 似 度 计 算 相 似 度 计 算 人 脸 编 码 向 量 之 间 的 相 似 度 计 算 可 以 分 为 和 。 表 示 的 是 对 抗 样 本 与 干 净 样 本 人 脸 编 码 向 量 之 间 的 相 似 度 。 表 示 的 是 为 对 抗 样 本 与 目 标 样 本 编 码 向 量 之 间 的 相 似 度 。 给 定 向 量 和 ， 向 量 的 相 似 度 计 算 公 式 可 以 被 总 结 为 ： 内 积 计 算 ： 余 弦 相 似 度 ： 欧 氏 距 离 ： 皮 尔 逊 相 关 系 数 ： 斯 皮 尔 曼 相 关 系 数 ： 最 常 用 的 相 似 度 计 算 公 式 是 余 弦 相 似 度 ， 时 间 允 许 的 情 况 下 其 它 的 相 似 度 计 算 公 式 可 以 尝 试 看 看 ， 是 否 也 会 对 成 绩 有 所 提 高 。 在 无 目 标 攻 击 的 视 角 下 ， 对 抗 样 本 的 人 脸 编 码 向 量 的 与 干 净 样 本 编 码 向 量 的 相 似 度 越 小 越 好 ， 关 于 样 本 的 负 梯 度 方 向 是 我 们 想 要 的 方 向 ：
在 有 目 标 攻 击 的 视 角 下 ， 对 抗 样 本 的 人 脸 编 码 向 量 的 与 目 标 样 本 编 码 向 量 的 相 似 度 越 大 越 好 ， 关 于 样 本   的 梯 度 方 向 是 我 们 想 要 的 方 向 ： 综 上 所 述 总 的 相 似 度 计 算 如 下 公 式 ： 此 时 对 的 梯 度 方 向 能 够 同 时 获 得 有 无 目 标 攻 击 和 有 目 标 攻 击 的 这 两 个 梯 度 方 向 ： 正 则 化 损 失 正 则 化 损 失 正 则 化 损 失 可 以 分 为 损 失 函 数 和 损 失 函 数 ， 它 们 的 作 用 是 限 制 对 抗 扰 动 的 大 小 并 对 图 像 进 行 平 滑 处 理 。 范 数 损 失 范 数 损 失 给 定 干 净 人 脸 图 像 和 对 抗 图 像 形 式 ： 形 式 2 ：
损 失 损 失 全 称 T o t a l   V a r i a t i o n   L o s s ， 其 作 用 主 要 是 降 噪 ， 图 像 中 相 邻 像 素 值 的 差 异 可 以 通 过 降 低 T V   L o s s 来 一 定 程 度 上 进 行 解 决   ， 从 而 保 持 图 像 的 光 滑 性 。 连 续 的 定 义 为 ： 其 中 ， ， 是 定 义 域 。 离 散 的 定 义 为 ： 在 比 赛 中 ， 采 用 的 是 离 散 的 ， 并 且 阶 数 取 为 。 动 量 迭 代 动 量 迭 代 本 次 比 赛 主 要 利 用 的 是 基 于 梯 度 的 迭 代 攻 击 ， 在 迭 代 的 攻 击 过 程 中 加 入 动 量 项 之 后 可 以 稳 定 更 新 方 向 并 在 迭 代 期 间 从 较 差 的 局 部 最 大 值 中 离 开 ， 从 而 产 生 更 多 迁 移 性 更 强 的 的 对 抗 样 本 。 为 了 进 一 步 提 高 黑 盒 攻 击 的 成 功 率 。 具 体 的 计 算 公 式 如 下 所 示 ： 图 像 去 噪 平 滑 图 像 去 噪 平 滑 生 成 的 对 抗 扰 动 通 过 高 斯 滤 波 进 行 去 噪 平 滑 。 考 虑 到 O P P O 人 脸 对 抗 样 本 线 上 测 试 可 能 会 有 高 斯 滤 波 这 种 防 御 机 制 因 而 在 算 法 生 成 噪 声 的 时 候 加 入 高 斯 滤 波 一 定 程 度 上 也 能 使 防 御 机 制 失 效 从 而 提 高 样 本 攻 击 率 。 使 用 高 斯 核 函 数 进 行 卷 积 就 能 完 成 上 述 操 作 ， 高 斯 核 如 下 ：
核 心 代 码 核 心 代 码 如 下 代 码 为 人 脸 对 抗 样 本 生 成 的 过 程 ， 对 照 上 面 的 模 型 流 程 图 以 及 各 个 模 块 的 细 节 讲 解 在 代 码 中 都 有 所 显 示 ， 主 要 的 核 心 代 码 提 供 了 详 细 的 解 释 和 注 释 。 d e f   a d v _ a t t a c k ( t m p _ n o i s e ,   o r i g i n _ i m g ,   t a r g e t _ i m g ,   m a s k ,   g a u s s i a n _ b l u r ,   m o d e l _ p o o l ,   i n d e x ,   l o s s 1 _ v ,   m o m e n t u m = 0 ,   l r = 1 ) :         t m p _ n o i s e . r e q u i r e s _ g r a d   =   T r u e   #   对 对 抗 扰 动 进 行 高 斯 平 滑 处 理         n o i s e   =   g a u s s i a n _ b l u r ( t m p _ n o i s e )   #   对 人 脸 图 像 的 扰 动 范 围 进 行 限 制         n o i s e   * =   m a s k         l o s s 1   =   0   #   整 合 多 个 人 脸 识 别 模 型 的 人 脸 编 码 向 量         f o r   m o d e l _ d i c t   i n   m o d e l _ p o o l :                 m o d e l   =   m o d e l _ d i c t [ ' m o d e l ' ]                 p r o p o r t i o n   =   m o d e l _ d i c t [ ' p r o p o r t i o n ' ]                 #   对 抗 样 本 的 人 脸 编 码 向 量                 v 1   =   l 2 _ n o r m ( m o d e l ( o r i g i n _ i m g   +   n o i s e ) )                   #   干 净 样 本 的 人 脸 编 码 向 量                 v 2 _ 1   =   l 2 _ n o r m ( m o d e l ( o r i g i n _ i m g ) ) . d e t a c h _ ( )                     #   目 标 样 本 的 人 脸 编 码 向 量                 v 2 _ 2   =   l 2 _ n o r m ( m o d e l ( t a r g e t _ i m g ) ) . d e t a c h _ ( )                   #   对 抗 样 本 和 干 净 样 本 之 间 的 内 积 相 似 度 ， 越 小 越 好                 t m p 1   =   ( v 1 * v 2 _ 1 ) . s u m ( )       #   对 抗 样 本 和 目 标 样 本 的 内 积 相 似 度 ， 越 大 越 好                 t m p 2   =   ( v 1 * v 2 _ 2 ) . s u m ( )                     r 1   =   1                 r 2   =   1                 i f   t m p 1   <   0 . 2 :                             r 1   =   0                 i f   t m p 2   >   0 . 8 :                           r 2   =   0                   #   将 两 个 相 似 度 进 行 整 合 成 总 的 相 似 度 函 数                 l o s s 1   + =   ( r 1   *   t m p 1   -   r 2   *   t m p 2 )   *   p r o p o r t i o n     #   C o s   L o s s   #   求 解 相 似 度 关 于 样 本 的 梯 度         l o s s 1 . b a c k w a r d ( r e t a i n _ g r a p h = T r u e )             l o s s 1 _ v   =   t m p _ n o i s e . g r a d . d e t a c h ( )   *   ( 1   -   m o m e n t u m )   +   l o s s 1 _ v   *   m o m e n t u m    
（ 滑 动 查 看 完 整 代 码 ） g i t h u b 代 码 及 其 成 绩 代 码 及 其 成 绩 项 目 的     代 码 链 接 为 ： h t t p s : / / g i t h u b . c o m / g u i d a o 2 0 / O P P O _ A D V E R S A R I A L _ A T T A C K 相 关 的 细 节 已 经 在     中 有 所 介 绍 。 因 为 前 期 需 要 处 理 生 成 人 脸   之 类 的 操 作 需 要 耗 费 一 定 的 时 间 ， 在 中 程 序 共 耗 时 一 天 多 ， 前 面 的 铺 垫 工 作 完 成 后 ， 生 成 人 脸 对 抗 样 本 的 时 间 大 约 只 有 不 到 个 小 时 。 最 终 初 赛 的 评 测 成 绩 为 最 终 初 赛 的 评 测 成 绩 为 。 。 点 击 “ 阅 读 原 文 阅 读 原 文 ” 进 入 官 网 报 名 参 赛 ~ 最 新 动 态 最 新 动 态 6 0 万 奖 金 花 落 谁 家 ？ O P P O 安 全 A I 挑 战 赛 初 赛 正 式 开 战 O P P O 智 能 护 盾 助 力 软 件 商 店 ， 全 力 守 护 A P P 使 用 安 全 红 蓝 对 抗 之 A T T & C K 框 架 入 门 和 解 读 揭 秘 Q U I C 的 性 能 与 安 全 O P P O 互 联 网 D e v S e c O p s 实 践         t m p _ n o i s e . g r a d . d a t a . z e r o _ ( )         #   L 2 范 数 损 失 和 T V 损 失 的 量 级 比 较 大 需 要 将 它 们 适 当 的 缩 小         r 3   =   1         i f   i n d e x   >   1 0 0 :                 r 3   * =   0 . 1         i f   i n d e x   >   2 0 0 :                 r 3   * =   0 . 1   #   L 2 范 数 的 损 失         l o s s 2   =   ( n o i s e * * 2 ) . s u m ( ) . s q r t ( )     #   T V 损 失         l o s s 3   =   t v _ l o s s ( n o i s e )     #   T V   l o s s         #   求 解 正 则 化 L 2 和 T V 损 失 函 数 关 于 样 本 的 梯 度         l o s s   =   r 3   *   0 . 0 2 5   *   l o s s 2   +   r 3   *   0 . 0 0 4   *   l o s s 3         l o s s . b a c k w a r d ( )   #   将 相 似 度 损 失 的 梯 度 与 正 则 化 损 失 的 梯 度 进 行 整 合 得 到 对 抗 扰 动         t m p _ n o i s e   =   t m p _ n o i s e . d e t a c h ( )   -   l r   *   ( t m p _ n o i s e . g r a d . d e t a c h ( )   +   l o s s 1 _ v )   #   将 对 抗 扰 动 的 像 素 进 行 适 当 的 截 断         t m p _ n o i s e   =   ( t m p _ n o i s e   +   o r i g i n _ i m g ) . c l a m p _ ( - 1 ,   1 )   -   o r i g i n _ i m   g         t m p _ n o i s e   =   t m p _ n o i s e . c l a m p _ ( - 0 . 2 ,   0 . 2 )         r e t u r n   t m p _ n o i s e ,   l o s s 1 _ v
阅 读 原 文
回复

举报

高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

使用Markdown编辑器编辑 使用富文本编辑器编辑

Archiver| 手机版| 小黑屋|
Powered by Discuz! X3.4 Copyright © 2001-2020, Tencent Cloud. 商业源码建议获取授权，如侵犯您的权益，请联系客服处理