搜索

[17613] 2018-12-17_GeekPwn对抗样本挑战赛CTF冠军队伍开源人脸识别攻击解决方案

文档创建者：s7ckTeam
浏览次数：2
最后更新：2025-01-18
2018-12-17_GeekPwn对抗样本挑战赛CTF冠军队伍开源人脸识别攻击解决方案 G e e k P w n   对 抗 样 本 挑 战 赛   C T F   冠 军 队 伍 开 源 人 脸 识 别 攻 击 解 决 方 案 G e e k P w n   2 0 1 8 - 1 2 - 1 7 本 文 转 自 机 器 之 心 参 与 ： 路 、 王 淑 婷 参 与 ： 路 、 王 淑 婷 1 0   月   2 4   日 ， 2 0 1 8   G e e k P w n   国 际 安 全 极 客 大 赛 在 上 海 展 开 ， 由   F A I R   研 究 工 程 师 吴 育 昕 、 约 翰 霍 普 金 斯 大 学 在 读 博 士 谢 慈 航 组 成 的 团 队 获 得 了 令 人 瞩 目 的   C A A D   C T F   冠 军 。 近 日 ， 该 冠 军 队 伍 开 源 了 其 在 人 脸 识 别 攻 击 项 目 中 的 解 决 方 案 。 2 0 1 8   G e e k P w n   C A A D （ 对 抗 样 本 挑 战 赛 ） 继 承 了   N I P S   C A A D   2 0 1 7   比 赛 的 形 式 ， 但 同 时 也 添 加 了 一 些 新 的 挑 战 。 2 0 1 8   年   1 0   月 ， 吴 育 昕 和 谢 慈 航 受 邀 参 加   G e e k P w n   C A A D   C T F ， 这 是 一 场 展 示 不 同 类 型 对 抗 样 本 攻 防 的 现 场 比 赛 。 比 赛 上 半 场 中 ， 赛 会 要 求 所 有 选 手 进 行 非 定 向 图 片 （ 将 飞 行 器 识 别 为 任 何 其 他 物 体 ） 、 定 向 图 片 （ 将 武 器 识 别 为 特 定 的 其 他 物 品 ） 以 及 亚 马 逊 名 人 鉴 别 系 统 （ 将 大 赛 主 持 人 蒋 昌 建 的 照 片 识 别 为 施 瓦 辛 格 ） 共 计 三 种 图 像 的 对 抗 样 本 攻 击 。 由 于 在 比 赛 前 选 手 并 不 知 晓 题 目 模 型 所 采 用 的 算 法 ， 所 以 此 类 攻 击 也 被 称 为 「 黑 盒 攻 击 」 ， 其 中 第 三 个 挑 战 在 赛 前 更 是 被 评 委 视 为 「 无 法 完 成 的 任 务 」 。 第 三 项 挑 战 是 一 项 新 挑 战 ， 要 求 参 赛 队 伍 攻 击 未 知 的 人 脸 识 别 系 统 。 在 限 时   3 0   分 钟 的 上 半 场 比 赛 中 ， 参 赛 者 拿 到 大 赛 主 持 人 蒋 昌 建 的 照 片 。 他 们 需 要 对 照 片 做 一 些 小 的 修 改 ， 以 欺 骗 人 脸 识 别 系 统 ， 让 它 把 照 片 中 的 人 识 别 为 施 瓦 辛 格 。 比 赛 结 束 后 ， 大 家 才 知 道 该 人 脸 识 别 系 统 是 亚 马 逊 名 人 鉴 别 系 统 。 由 吴 育 昕 与 谢 慈 航 组 成 的 「 I Y S W I M 」 战 队 在 限 时   3 0   分 钟 的 比 赛 中 ， 首 先 于   2 1   分 钟 破 解 了 亚 马 逊 名 人 鉴 别 系 统   C e l e b r i t y R e c o g n i t i o n ， 并 随 后 在 定 向 图 片 的 对 抗 样 本 攻 击 上 破 解 成 功 ， 取 得 了 领 先 。
近 日 ， 吴 育 昕 在 博 客 中 简 单 介 绍 了 他 们 对 人 脸 识 别 的 攻 击 ， 代 码 也 放 到 了   G i t H u b   上 。 吴 育 昕 称 他 们 对 比 赛 其 他 类 型 的 攻 击 使 用 的 是 类 似 的 算 法 ， 只 是 换 了 不 同 的   C N N 。 而 关 于 比 赛 下 半 段 防 御 相 关 内 容 的   p a p e r   将 稍 后 放 出 ， 代 码 和 模 型 将 于 明 年 开 源 。 攻 击 方 法 攻 击 方 法 吴 育 昕 在 博 客 中 称 其 黑 盒 攻 击 是 很 传 统 的 方 法 ， 即 用 已 知 模 型 做 梯 度 下 降 。 1 .   M o d e l ： ： 搜 了 搜   G i t H u b   上 的 人 脸 识 别 代 码 ， 找 了 个   5   分 钟 内 能 跑 起 来 的   f a c e n e t 。 毕 竟   G i t H u b   上 大 部 分 代 码 质 量 堪 忧 ， 有 不 少 项 目 完 全 是 靠   R E A D M E   骗   s t a r   的 。 能 否 短 时 间 内 复 现   e v a l u a t i o n   结 果 是 评 判 质 量 的 重 要   m e t r i c 。 更 何 况 ， 我 这 次 只 需 要 能   e v a l u a t i o n   就 够 了 。 f a c e n e t   的 人 脸 识 别 流 程 很 标 准 ： 对 每 张 脸   I   输 出 一 个   v e c t o r   f ( I ) ， 然 后 通 过 比 较 不 同 脸 的   f ( I )   之 间 的   c o s i n e   d i s t a n c e   进 行 人 脸 识 别 。 2 .   O b j e c t i v e ： ： 对 于 分 类 器 的   t a r g e t / u n t a r g e t   a t t a c k ， 没 什 么 好 说 的 ， 就 是   m i n i m i z e / m a x i m i z e   一 个   c r o s s   e n t r o p y   l o s s 。 而 对 于 人 脸 ， 我 们 首 先 收 集 t a r g e t   人 物 的   N   张 人 脸 图 片 ， 运 行 模 型 得 到   N   个   e m b e d d i n g   v e c t o r   v _ i 。 我 们 的   o b j e c t i v e   就 是   m i n i m i z e   输 入 图 片 的   e m b e d d i n g   到 这 N   个   e m b e d d i n g   的 平 均 距 离 ： 3 .   A t t a c k ： ： 我 们 在 最 原 始 的   P G D   ( P r o j e c t e d   G r a d i e n t   D e s c e n t )   攻 击 上 加 了 点   t r i c k 。 原 始 的   P G D   就 是   1 ） 算   o b j e c t i v e   对 输 入 图 片 的 梯 度   Δ I   2 ） 更 新 输 入   I   =   I − s i g n ( Δ I )   3 ） c l i p   以 免 输 入 超 出 允 许 范 围 ： I ← c l i p ( I , I _ o r i g − ϵ , I _ o r i g + ϵ )   4 ） 回 到 第 一 步 循 环 这 里 有 不 少   t r i c k   可 以 提 高 黑 盒 攻 击 的   g e n e r a l i z a t i o n   能 力 ：
  1 ） 对 梯 度   n o r m a l i z e   一 下 ， 然 后 更 新 时 用   0 . 9   的   m o m e n t u m   2 ） 在 循 环 每 一 步 给 图 片 随 机 加 点 小   n o i s e   3 ） 在 循 环 每 一 步 对 输 入 图 片 做 些 乱 七 八 糟 的 随 机   r e s i z e   变 换   4 ） 对 梯 度 做   s p a t i a l   s m o o t h i n g 这 些   t r i c k   从 去 年 的   N I P S   比 赛 之 后 就 陆 续 被 大 家 用 了 。 这 次 的 人 脸 攻 击 用 了   1 , 2 , 3 。 第 三 条 是 我 比 赛 时 发 现 代 码 不   w o r k   临 时 加 上 的 。 事 后 验 证 发 现 ， 这 一 点 尤 其 重 要 。 如 果 不 加 的 话 攻 击 很 难 成 功 。 在 相 关 的   G i t H u b   r e p o   中 ， 我 们 可 以 看 到 该 团 队 的 攻 击 代 码 和 结 果 ： 结 果 结 果 比 赛 期 间 ， 吴 育 昕 团 队 成 功 地 攻 击 了   A W S   名 人 鉴 别 系 统 ， 让 它 把 蒋 昌 建 识 别 为 了 施 瓦 辛 格 。 下 面 这 个 挑 战 比 较 困 难 （ 不 同 随 机 种 子 的 成 功 率 较 低 ） ， 可 能 是 因 为 ： 下 面 这 个 挑 战 比 较 困 难 （ 不 同 随 机 种 子 的 成 功 率 较 低 ） ， 可 能 是 因 为 ： 1 ） 原 人 物 和 目 标 人 物 都 是 美 国 名 人 。 ） 原 人 物 和 目 标 人 物 都 是 美 国 名 人 。 2 ） 性 别 不 ） 性 别 不 同 。 同 。
很 明 显 ， 很 明 显 ， A z u r e   V i s i o n   A P I   和 和   C l a r i f a i   C e l e b r i t y   R e c o g n i t i o n   系 统 都 可 以 被 欺 骗 ： 系 统 都 可 以 被 欺 骗 ：
以 上 图 像 的 原 版 本 和 对 抗 版 本 都 可 以 从 以 下 地 址 找 到 ， 若 有 兴 趣 你 可 以 下 载 并 在 公 开   A P I   上 进 行 测 试 ： h t t p s : / / g i t h u b . c o m / p p w w y y x x / A d v e r s a r i a l - F a c e - A t t a c k / b l o b / m a s t e r / i m a g e s 使 用 代 码 的 准 备 工 作 使 用 代 码 的 准 备 工 作 1 .   安 装   T e n s o r F l o w   ≥   1 . 7 2 .   按 照   f a c e n e t   w i k i   中 的 步 骤   1   -   4   设 置   f a c e n e t   （ h t t p s : / / g i t h u b . c o m / d a v i d s a n d b e r g / f a c e n e t / w i k i / V a l i d a t e - o n - L F W ） 3 .   复 制 此   r e p o   并 解 压 内 部 的 预 训 练 模 型 ： 你 也 可 以 从   f a c e n e t   下 载 模 型 （ h t t p s : / / g i t h u b . c o m / d a v i d s a n d b e r g / f a c e n e t # p r e - t r a i n e d - m o d e l s ） 。 4 .   验 证 模 型 和 数 据 集 ： 它 应 该 在   L F W   数 据 集 上 有 高 准 确 率 ， 如 ： g i t   c l o n e   h t t p s : / / g i t h u b . c o m / p p w w y y x x / A d v e r s a r i a l - F a c e - A t t a c k c d   A d v e r s a r i a l - F a c e - A t t a c k w g e t   h t t p s : / / g i t h u b . c o m / p p w w y y x x / A d v e r s a r i a l - F a c e - A t t a c k / r e l e a s e s / d o w n l o a d / v 0 . 1 / m o d e l - 2 0 1 8 0 4 0 2 - 1 1 4 7 5 9 . t a r . b z 2 t a r   x j v f   m o d e l - 2 0 1 8 0 4 0 2 - 1 1 4 7 5 9 . t a r . b z 2 . / f a c e _ a t t a c k . p y   - - d a t a   / p a t h / t o / l f w _ m t c n n p y _ 1 6 0   - - v a l i d a t e - l f w #   / p a t h / t o / l f w _ m t c n n p y _ 1 6 0   i s   o b t a i n e d   a b o v e   i n   s t e p   # 4   i n   f a c e n e t   w i k i . A c c u r a c y :   0 . 9 9 5 1 7 + - 0 . 0 0 3 6 1 V a l i d a t i o n   r a t e :   0 . 9 7 4 6 7 + - 0 . 0 1 4 5 4   @   F A R = 0 . 0 0 0 6 7
执 行 攻 击 执 行 攻 击 - - t a r g e t   必 须 是 在   L F W   数 据 集 中 有 很 多 图 像 （ 越 多 越 好 ） 的 人 。 可 以 通 过 以 下 方 式 找 到 这 种 人 ： 你 可 以 在   L F W   目 录 中 添 加 新 的 名 人 作 为   v i c t i m ， 或 者 为   L F W   中 现 有 的 名 人 添 加 图 像 。 添 加 新 图 像 之 后 ， 你 需 要 重 复   f a c e n e t   w i k i 中 的 步 骤   4 ， 以 裁 剪 和 对 齐 添 加 的 新 图 像 。 请 注 意 ， 攻 击 包 含 随 机 性 ： 你 不 会 每 次 都 得 到 相 同 的 输 出 。 博 客 地 址 ： h t t p : / / p p w w y y x x . c o m / 2 0 1 8 / G e e k p w n - C A A D - C T F / G i t H u b   地 址 ： h t t p s : / / g i t h u b . c o m / p p w w y y x x / A d v e r s a r i a l - F a c e - A t t a c k   - - - E N D - - - 或 许 你 还 想 看 或 许 你 还 想 看 . / f a c e _ a t t a c k . p y   - - d a t a   / p a t h / t o / l f w _ m t c n n p y _ 1 6 0           - - a t t a c k   i m a g e s / c l e a n - J C J . p n g           - - t a r g e t   A r n o l d _ S c h w a r z e n e g g e r           - - o u t p u t   J C J - t o - S c h w a r z e n e g g e r . p n g f i n d   / p a t h / t o / l f w _ m t c n n p y _ 1 6 0 /   - t y p e   f   - p r i n t f   " % h "   |           x a r g s   - 0   - L 1   b a s e n a m e   |   s o r t   |   u n i q   - c   |   s o r t   - k 1   - n  
更 多 比 赛 精 彩 视 频   阅 读 原 文
回复

举报

高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

使用Markdown编辑器编辑 使用富文本编辑器编辑

Archiver| 手机版| 小黑屋|
Powered by Discuz! X3.4 Copyright © 2001-2020, Tencent Cloud. 商业源码建议获取授权，如侵犯您的权益，请联系客服处理