搜索

[27882] 2021-08-05_人脸对抗攻击baselineNO.2，利用开源模型生成对抗样本

文档创建者：s7ckTeam
浏览次数：39
最后更新：2025-01-19
2021-08-05_人脸对抗攻击baselineNO.2，利用开源模型生成对抗样本 人 脸 对 抗 攻 击 b a s e l i n e   N O . 2 ， 利 用 开 源 模 型 生 成 对 抗 样 本 A I 对 抗 攻 防 专 题   O P P O 安 全 应 急 响 应 中 心   2 0 2 1 - 0 8 - 0 5 本 篇 b a s e l i n e 利 用 开 源 的 人 脸 识 别 模 型 生 成 对 抗 样 本 进 行 黑 盒 攻 击 ， 线 上 评 测 4 0 分 。 文 末 附 模 型 下 载 链 接 。 今 年 6 月 ， 由 O P P O 发 起 ， O P P O 安 全 主 办 的 “ O P P O 安 全 A I 挑 战 赛 ” 正 式 拉 开 序 幕 。 比 赛 主 要 聚 焦 人 脸 识 别 场 景 中 的 对 抗 攻 击 。 为 了 模 拟 真 实 的 人 脸 识 别 场 景 并 增 加 比 赛 的 难 度 ， 组 织 者 在 后 台 使 用 了 一 组 已 经 添 加 了 防 御 措 施 的 识 别 模 型 ， 要 求 参 赛 选 手 在 不 知 道 这 些 后 台 模 型 具 体 细 节 的 前 提 下 ， 对 它 们 进 行 黑 盒 攻 击 。 扫 描 下 方 二 维 码 或 点 击 阅 读 原 文 前 往 大 赛 官 网 报 名 参 赛
比 赛 任 务 比 赛 任 务 赛 题 介 绍
本 次 比 赛 主 要 使 用 人 脸 识 别 数 据 集 ， 具 体 的 图 片 来 自 公 开 数 据 集   C A S I A - F a c e V 5   和   C e l e b A   中 的 人 脸 图 片 。 每 个 人 都 有 2 - 5 张 不 同 图 片 ， 并 被 保 存 在 一 个 文 件 夹 中 （ 如 . / i m a g e s / 0 / ， . / i m a g e s / 1 / … ） 。 参 赛 者 需 要 修 改 这 些 图 片 ， 并 保 留 原 始 图 片 尺 寸 和 数 据 集 目 录 结 构 。 同 时 ， 对 图 片 的 修 改 必 须 足 够 微 小 。 关 于 扰 动 的 添 加 对 于 图 像 质 量 的 影 响 ， 比 赛 组 织 者 采 用 添 加 了 扰 动   L p   范 数 和   F u l l   R e f e r e n c e - I Q A   ( F R - I Q A )   来 进 行 评 价 ， 其 中   F R - I Q A   部 分 将 采 用   M S - S S I M 图 像 结 构 相 似 性 指 标 来 进 行 量 化 。 除 了 自 动 判 断 外 ， 在 线 下 决 赛 环 节 ， 组 织 者 还 会 对 对 抗 样 本 的 肉 眼 视 觉 差 异 进 行 更 加 严 格 的 评 判 ， 即 对 抗 样 本 和 原 始 样 本 的 视 觉 差 异 越 小 越 好 。 在 把 数 据 集 提 交 到 系 统 后 ， 后 台 的 防 御 模 型 会 对 上 传 数 据 集 进 行 预 测 。 攻 击 数 据 集 要 尽 量 让 防 御 模 型 产 生 错 误 的 结 果 。 当 攻 击 不 成 功 时 ， 得 分 为 0 ， 当 攻 击 成 功 时 ， 得 分 由 扰 动 添 加 前 后 的 图 像 差 异 大 小 来 衡 量 ， 对 原 图 的 影 响 越 小 得 分 越 高 。 最 终 得 分 由 扰 动 大 小 和 判 断 原 图 片 和 修 改 后 图 片 的 图 像 质 量 评 分 （ m u l t i - s c a l e   s t r u c t u r a l   s i m i l a r i t y ） 共 同 决 定 。 赛 程 与 奖 励 赛 程 与 奖 励 【 大 赛 赛 程 】 0 6 月 1 8 日 - 0 9 月 1 5 日 ｜ 组 队 报 名 报 名 0 7 月 1 2 日 - 0 9 月 1 5 日 ｜ 线 上 初 赛 初 赛 0 9 月 2 6 日 - 1 0 月 2 1 日 ｜ 线 上 复 赛 复 赛 1 1 月 ｜ 线 下 决 赛 决 赛 【 奖 金 设 置 】 总 奖 金 6 0 万 元 万 元 冠 军 ： 1 5 万 元 亚 军 （ 2 支 队 伍 ） ： 每 支 队 伍 9 万 元 万 元 季 军 （ 3 支 队 伍 ） ： 每 支 队 伍 5 万 元 万 元 优 胜 奖 （ 4 支 队 伍 ） ： 每 支 队 伍 3 万 元 万 元 大 赛 地 址 ： 大 赛 地 址 ： h t t p s : / / s e c u r i t y . o p p o . c o m / c h a l l e n g e / h o m e . h t m l 作 者 ： 刘 羽 中 科 大 讯 飞 A I 金 牌 讲 师 ， 多 次 在 国 内 数 据 竞 赛 中 获 得 优 异 成 绩 ， 曾 获 四 维 图 新 自 动 驾 驶 算 法 赛 冠 军 ， 爱 奇 艺 视 频 版 权 检 测 三 等 奖 ， 微 众 人 脸 对 抗 优 胜 奖 。 擅 长 计 算 机 视 觉 和 深 度 学 习 相 关 应 用 。 数 据 集 分 析 数 据 集 分 析 赛 题 数 据 从 公 开 数 据 集 ` C A S I A - F a c e V 5 ` 、 ` C e l e b A ` 中 抽 取 人 脸 图 像 ， 这 些 人 脸 图 片 分 属 于 不 同 的 人 物 对 象 。 每 个 对 象 拥 有 约 2 ~ 5 张 图 片 ， 并 且 已 经 进 行 了 人 脸 区 域 裁 剪 ， 且 裁 剪 至 正 方 形 尺 寸 。 b a s e l i n e 分 享
人 脸 尺 寸 人 脸 尺 寸 赛 题 人 脸 图 片 并 没 有 缩 放 操 作 ， 而 保 留 了 原 图 尺 寸 ， 即 图 片 的 尺 寸 各 不 相 同 ， 选 手 可 以 按 照 自 身 的 需 要 进 行 缩 放 操 作 。 选 手 提 交 结 果 数 据 （ 对 抗 样 本 ） 时 需 要 保 证 每 张 图 片 的 尺 寸 大 小 和 测 试 数 据 的 原 始 图 像 大 小 保 持 一 致 。 基 础 思 路 基 础 思 路 赛 题 任 务 为 典 型 的 黑 盒 无 目 标 攻 击 ， 需 要 选 手 对 给 定 的 图 片 进 行 「 加 噪 」 ， 以 得 到 与 原 图 尽 可 能 相 似 的 对 抗 样 本 。 由 于 对 抗 样 本 具 有 传 递 性 ， 可 以 使 用 已 有 的 人 脸 识 别 模 型 来 进 行 黑 盒 攻 击 。 即 使 用 开 源 的 人 脸 识 别 模 型 来 生 成 对 抗 样 本 。 步 骤 步 骤 1 ： 加 载 人 脸 模 型 ： 加 载 人 脸 模 型 为 了 保 证 模 型 的 便 捷 性 ， 这 里 我 们 选 择 了 P y t o r c h 版 本 的 实 现 ， 安 装 方 法 如 下 ： 加 载 人 脸 识 别 模 型 ： I n s i g h t F a c e #   h t t p s : / / g i t h u b . c o m / n i z h i b / p y t o r c h - i n s i g h t f a c e p i p   i n s t a l l   g i t + h t t p s : / / g i t h u b . c o m / n i z h i b / p y t o r c h - i n s i g h t f a c e i r e s n e t 3 4
步 骤 步 骤 2 ： 提 取 比 赛 人 脸 特 征 ： 提 取 比 赛 人 脸 特 征 使 用 模 型 对 初 赛 数 据 集 的 2 0 0 0 张 照 片 提 取 特 征 ， 这 里 只 需 要 做 正 向 传 播 即 可 。 进 而 对 特 征 进 行 归 一 化 ， 保 证 计 算 人 脸 相 似 度 保 持 在 0 - 1 之 间 ： 步 骤 步 骤 3 ： 多 步 ： 多 步 F G S M 攻 击 攻 击 F G S M （ F a s t   G r a d i e n t   S i g n   M e t h o d ） 是 经 典 有 效 的 对 抗 样 本 产 生 方 法 ， 具 体 思 路 如 下 ： 扰 动 变 化 量 与 梯 度 的 变 化 方 向 一 致 ， 则 误 差 函 数 就 会 增 大 。 使 用 S i g n 函 数 保 证 了 扰 动 同 梯 度 方 向 一 致 ， 对 分 类 结 果 产 生 最 大 化 改 变 。 由 于 比 赛 是 无 目 标 攻 击 ， 所 以 具 体 的 攻 击 步 骤 如 下 ： 步 骤 1 ： 计 算 人 脸 特 征 相 似 度 ， 选 择 与 当 前 人 脸 的 人 脸 作 为 攻 击 目 标 。 步 骤 2 ： 执 行 单 步 F S G M 产 生 对 抗 样 本 ， 并 对 扰 动 大 小 进 行 截 断 。 步 骤 3 ： 重 复 多 次 步 骤 2 ， 直 到 目 标 人 脸 的 概 率 值 达 到 阈 值 。 具 体 实 现 代 码 如 下 ： i m p o r t   i n s i g h t f a c e m o d e l   =   i n s i g h t f a c e . i r e s n e t 3 4 ( p r e t r a i n e d = T r u e ) m o d e l . e v a l ( ) i r e s n e t 3 4 i m g _ f e a t s   =   t o r c h . z e r o s ( 2 0 0 0 ,   5 1 2 ) . f l o a t ( ) . c u d a ( ) i d x _ i m g   =   0 w i t h   t o r c h . n o _ g r a d ( ) :         f o r   i m g _ d a t a ,   _   i n   t r a i n _ l o a d e r :                 f e a t   =   m ( i m g _ d a t a . c u d a ( ) )                 i m g _ f e a t s [ i d x _ i m g ,   : ]   =   f e a t                 i d x _ i m g   + =   1 i m p o r t   t o r c h . n n . f u n c t i o n a l   a s   F i m g _ f e a t s   =   F . n o r m a l i z e ( i m g _ f e a t s ,   p = 2 ,   d i m = 1 ) 最 相 似
d e f   o n e _ s t e p _ a t t a c k ( s o u r c e _ i d x ,   a i m _ i d x = 1 0 ) :         #   计 算 人 脸 相 似 度 ， 得 到 攻 击 目 标         a i m _ i d x   =   t o r c h . m a t m u l (           i m g _ f e a t s [ s o u r c e _ i d x ] . v i e w ( 1 ,   5 1 2 ) ,   i m g _ f e a t s . T         ) [ 0 ] . a r g s o r t ( ) [ - 5 ] . i t e m ( )                 #   读 取 原 始 人 脸 图 片         o r i _ i m a g e   =   c v 2 . i m r e a d ( p a t h s [ s o u r c e _ i d x ] )         i m g   =   p r e p r o c e s s ( t r a n s f o r m s . T o P I L I m a g e ( ) ( o r i _ i m a g e ) )         i m g   =   i m g . r e s h a p e ( - 1 ,   3 ,   1 1 2 ,   1 1 2 ) . c u d a ( )           i m g _ o r i   =   i m g . c l o n e ( ) . d e t a c h ( )                 i m g _ a d v   =   N o n e         b e s t   =   0                 #   执 行 多 步 扰 动 ， 记 录 最 优 结 果         f o r   _   i n   r a n g e ( 5 0 ) :                 #   每 次 对 扰 动 后 的 图 像 都 需 要 重 新 计 算 特 征                 i m g   =   V a r i a b l e ( i m g ,   r e q u i r e s _ g r a d = T r u e )                 i m g _ e m b e d d i n g   =   m o d e l ( i m g . c u d a ( ) )                 i m g _ e m b e d d i n g   =   F . n o r m a l i z e ( i m g _ e m b e d d i n g ,   p = 2 ,   d i m = 1 )                 f e a t _ i d s   =   t o r c h . m a t m u l ( i m g _ e m b e d d i n g ,   i m g _ f e a t s . T )                 o b j e c t i v e _ a i m   =   f e a t _ i d s [ 0 ] [ a i m _ i d x ]                 o b j e c t i v e _ s o u r c e   =   f e a t _ i d s [ 0 ] [ s o u r c e _ i d x ]                                 i f   o b j e c t i v e _ a i m . i t e m ( )   -   o b j e c t i v e _ s o u r c e . i t e m ( )   >   b e s t   a n d   o b j e c t i v e _ a i m . i t e m ( )   = =   f e a t _ i d s [ 0 ] . m a x ( ) . i t e m ( ) :                         i m g _ a d v   =   i m g . c l o n e ( ) . d e t a c h ( )                                 m o d e l . z e r o _ g r a d ( )                 o b j e c t i v e _ a i m . b a c k w a r d ( )                                 #   根 据 梯 度 信 息 ， 单 步 F G S M                 d a t a _ g r a d   =   i m g . g r a d . d a t a . s i g n ( )   *   0 . 0 0 7 5                 w i t h   t o r c h . n o _ g r a d ( ) :                         d e l t a _ d i f f   =   i m g   +   V a r i a b l e ( d a t a _ g r a d )   -   i m g _ o r i                         d e l t a _ d i f f   =   t o r c h . c l a m p ( d e l t a _ d i f f ,   m i n = - 0 . 1 3 ,   m a x = 0 . 1 3 )                         i m g   =   i m g _ o r i   +   d e l t a _ d i f f                 r e t u r n   i m g ,   i m g _ o r i
（ 滑 动 查 看 完 整 代 码 ） 步 骤 步 骤 4 ： 保 存 测 试 集 攻 击 结 果 ： 保 存 测 试 集 攻 击 结 果 对 于 测 试 集 每 张 照 片 ， 重 复 上 述 操 作 得 到 对 抗 样 本 ， 并 进 行 保 存 为 原 始 格 式 。 赛 题 进 阶 思 路 赛 题 进 阶 思 路 1 .   本 次 比 赛 是 黑 盒 攻 击 ， 建 议 在 本 地 构 建 验 证 集 。 即 使 用 人 脸 识 别 模 型 B 对 人 脸 识 别 模 型 A 产 生 的 对 抗 样 本 进 行 验 证 ， 模 拟 线 上 的 打 分 。 2 .   赛 题 人 脸 图 像 尺 度 大 小 不 一 ， 但 现 有 的 人 脸 识 别 模 型 大 都 接 受 1 1 2 * 1 1 2 的 输 入 尺 寸 ， 因 此 使 用 p o o l i n g 代 替 图 片 缩 放 操 作 。 f o r   i d x   i n   r a n g e ( l e n ( p a t h s ) ) :                 p a t h 1 ,   p a t h 2   =   p a t h s [ i d x ] . s p l i t ( ' / ' ) [ - 2 : ]                 i m g 1 ,   i m g 2   =   o n e _ s t e p _ a t t a c k ( i d x )         i m g 1   =   u n o r m ( i m g 1 [ 0 ] )         i m g 1   =   i m g 1 . d a t a . c p u ( ) . n u m p y ( ) . r o u n d ( )         i m g 1   =   n p . c l i p ( i m g 1 ,   1 ,   2 5 5 )         i m g 1   =   i m g 1 . t r a n s p o s e ( [ 1 ,   2 ,   0 ] )                 h ,   w   =   c v 2 . i m r e a d ( p a t h s [ i d x ] ) . s h a p e [ : 2 ]         i m g 1   =   c v 2 . r e s i z e ( i m g 1 ,   ( h ,   w ) )         c v 2 . i m w r i t e ( f ' . / i m a g e s / { p a t h 1 } / { p a t h 2 } ' ,   i m g 1 )
B a s e l i n e 在 初 赛 评 测 得 分 4 0 分 ， 模 型 下 载 链 接 ： h t t p s : / / p a n . b a i d u . c o m / s / 1 Q Y J 5 a z u d M q W M q K v 5 7 M j p z A 提 取 码 :   c r 9 p O P P O 安 全 A I 挑 战 赛 正 在 火 热 进 行 中 ， 点 击 “ 阅 读 原 文 阅 读 原 文 ” 即 可 进 入 官 网 了 解 更 多 详 情 或 报 名 参 赛 哦 ~ 最 新 动 态 最 新 动 态 6 0 万 奖 金 花 落 谁 家 ？ O P P O 安 全 A I 挑 战 赛 初 赛 正 式 开 战 O P P O 智 能 护 盾 助 力 软 件 商 店 ， 全 力 守 护 A P P 使 用 安 全 红 蓝 对 抗 之 A T T & C K 框 架 入 门 和 解 读 揭 秘 Q U I C 的 性 能 与 安 全 O P P O 互 联 网 D e v S e c O p s 实 践 阅 读 原 文 大 尺 寸 图 片   - >   图 片 缩 放   - >   人 脸 识 别 模 型 大 尺 寸 图 片   - >   p o o l i n g   - >   人 脸 识 别 模 型
回复

举报

高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

Archiver| 手机版| 小黑屋|
Powered by Discuz! X3.4 Copyright © 2001-2020, Tencent Cloud. 商业源码建议获取授权，如侵犯您的权益，请联系客服处理