搜索

[17468] 2017-09-21_想当AI黑客，看这一篇就够了！

文档创建者：s7ckTeam
浏览次数：2
最后更新：2025-01-18
2017-09-21_想当AI黑客，看这一篇就够了！ 想 当   A I   黑 客 ， 看 这 一 篇 就 够 了 ！ 原 创   小 明   G e e k P w n   2 0 1 7 - 0 9 - 2 1 全 球 最 大 同 性 交 友 网 站 总 会 出 现 一 些 让 人 眼 前 一 亮 的 东 西 … … 别 误 会 ， 这 里 说 的 是 世 界 上 最 大 的 代 码 存 放 网 站 和 开 源 社 区   G i t H u b 。
长 久 以 来 ， 马 斯 克 、 霍 金 等 多 位 专 家 都 警 告 我 们 ： 机 器 会 失 控 ， 人 工 智 能 会 产 生 人 类 未 曾 想 象 到 的 恶 意 行 为 。 机 器 会 失 控 ， 人 工 智 能 会 产 生 人 类 未 曾 想 象 到 的 恶 意 行 为 。 这 样 看 似 极 端 的 警 告 并 非 能 引 起 所 有 人 的 警 觉 ， 但 是 已 经 有 科 学 家 开 始 在 这 件 事 情 上 展 开 研 究 。 O p e n A I 、 D e e p M i n d 、 谷 歌 大 脑 纷 纷 建 立 起 自 己 的 人 工 智 能 安 全 团 队 ， 包 括 加 州 大 学 伯 克 利 分 校 和 斯 坦 福 大 学 也 都 加 入 这 个 新 的 领 域 ， G e e k P w n   黑 客 大 赛 更 是 设 立 了 “ 人 工 智 能 安 全 挑 战 专 项 ” 鼓 励 更 多 人 发 现   A I   的 安 全 问 题 ， 并 加 以 分 享 展 示 。 G i t H u b   因 此 也 出 现 了 “ A I   安 全 ” 系 列 资 源 ， 汇 总 了 包 括 研 究 、 论 文 、 P P T 、 视 频 等 众 多 研 究 。 我 们 特 地 翻 译 并 添 加 注 释 整 理 如 下 ， 方 便 更 多 人 加 入 到 这 个 领 域 的 研 究 中 去 。 人 工 智 能 安 全 关 键 词 人 工 智 能 安 全 关 键 词 K e y   W o r d s 对 抗 性 样 本
A d v e r s a r i a l   e x a m p l e s   逃 逸 攻 击 E v a s i o n   a t t a c k s   药 饵 攻 击 P o i s o n i n g   a t t a c k s   特 征 选 择 F e a t u r e   s e l e c t i o n & 教 程 、 杂 项 、 代 码 、 链 接 对 抗 性 样 本 对 抗 性 样 本 “ 让 一 个 神 经 网 络 构 建 的 东 西 由 另 一 个 神 经 网 络 判 定 其 质 量 。 让 一 个 神 经 网 络 构 建 的 东 西 由 另 一 个 神 经 网 络 判 定 其 质 量 。 ” 这 个 大 胆 的 想 法 来 自   2 0 1 4   年 还 在 读 博 士 的   I a n   G o o d f e l l o w ， 后 来 成 了 “ 生 成 式 对 抗 网 络 ” （ G A N ） ， I a n   还 找 到 了 一 种 更 快 生 成 对 抗 样 本 的 方 法 。 近 日 ， 美 国 史 蒂 文 斯 理 工 学 院 开 发 了 一 个 神 经 网 络 系 统 ， 可 以 对 密 码 进 行 合 理 猜 测 ， 准 确 率 达 到   2 5 % 。 这 只 是   G A N   在 一 个 方 面 的 运 用 ， 对 抗 性 图 像 可 以 欺 骗 计 算 机 视 觉 分 类 器 ， 产 生 错 误 的 判 断 ； 在 金 融 领 域 、 垃 圾 邮 件 网 络 攻 击 、 验 证 码 破 解 、 摄 像 头 识 别 等 等 ， 都 出 现 了   A I   被 欺 骗 的 实 例 。 相 关 论 文 ： 《 《 E x p l a i n i n g   a n d   H a r n e s s i n g   A d v e r s a r i a l   E x a m p l e s 》 》 《 T r a n s f e r a b i l i t y   i n   M a c h i n e   L e a r n i n g :   f r o m   P h e n o m e n a   t o   B l a c k - B o x   A t t a c k s   u s i n g   A d v e r s a r i a l   S a m p l e s   》 《 D e l v i n g   i n t o   T r a n s f e r a b l e   A d v e r s a r i a l   E x a m p l e s   a n d   B l a c k - b o x   A t t a c k s 》   《 O n   t h e   ( S t a t i s t i c a l )   D e t e c t i o n   o f   A d v e r s a r i a l   E x a m p l e s 》   《 T h e   S p a c e   o f   T r a n s f e r a b l e   A d v e r s a r i a l   E x a m p l e s 》     《 A d v e r s a r i a l   A t t a c k s   o n   N e u r a l   N e t w o r k   P o l i c i e s 》 《 A d v e r s a r i a l   P e r t u r b a t i o n s   A g a i n s t   D e e p   N e u r a l   N e t w o r k s   f o r   M a l w a r e   C l a s s i f i c a t i o n 》       《 C r a f t i n g   A d v e r s a r i a l   I n p u t   S e q u e n c e s   f o r   R e c u r r e n t   N e u r a l   N e t w o r k s 》 《 P r a c t i c a l   B l a c k - B o x   A t t a c k s   a g a i n s t   M a c h i n e   L e a r n i n g 》         《 A d v e r s a r i a l   e x a m p l e s   i n   t h e   p h y s i c a l   w o r l d 》         逃 逸 攻 击 逃 逸 攻 击 《 机 器 学 习 做 安 全 ， 只 是 看 起 来 很 美 》 一 文 中 描 述 了 研 究 者 通 过 采 用 遗 传 编 程 （ G e n e t i c   P r o g r a m m i n g ） 随 机 修 改 恶 意 软 件 的 方 法 ， 成 功 攻 击 了 两 个 号 称 准 确 率 极 高 的 恶 意   P D F   文 件 分 类 器 。 “ 安 全 领 域 采 用 机 器 学 习 是 否 可 靠 ” 的 论 点 被 再 次 抛 出 。 值 得 一 提 是 ， 论 文 作 者 许 伟 林 本 科 毕 业 于 北 京 邮 电 大 学 。
逃 逸 攻 击 便 是 利 用 机 器 学 习 分 类 器 特 征 存 在 的 漏 洞 ， 躲 避 其 进 行 正 确 分 类 。 毕 竟 人 工 智 能 并 不 完 美 ， A l p h a G o   也 有 输 棋 的 时 候 （ 人 机 混 合 赛 ） 。 相 关 论 文 ： 《 Q u e r y   S t r a t e g i e s   f o r   E v a d i n g   C o n v e x - I n d u c i n g   C l a s s i f i e r s   》       《 E v a s i o n   a t t a c k s   a g a i n s t   m a c h i n e   l e a r n i n g   a t   t e s t   t i m e 》         《 《 A u t o m a t i c a l l y   E v a d i n g   C l a s s i f i e r s   A   C a s e   S t u d y   o n   P D F   M a l w a r e   C l a s s i f i e r s 》 》 《 L o o k i n g   a t   t h e   B a g   i s   n o t   E n o u g h   t o   F i n d   t h e   B o m b :   A n   E v a s i o n   o f   S t r u c t u r a l 》     《 M e t h o d s   f o r   M a l i c i o u s   P D F   F i l e s   D e t e c t i o n 》     《 G e n e r i c   B l a c k - B o x   E n d - t o - E n d   A t t a c k   a g a i n s t   R N N s   a n d   O t h e r   A P I   C a l l s   B a s e d   M a l w a r e   C l a s s i f i e r s 》 药 饵 攻 击 药 饵 攻 击 作 为 分 析 恶 意 软 件 行 为 的 流 行 方 式 ， 聚 类 算 法 能 够 识 别 新 的 恶 意 软 件 家 族 ， 生 成 反 病 毒 系 统 签 名 。 但 是 ， 攻 击 者 通 过 训 练 输 入 的 数 据 ， 能 够 影 响 系 统 判 断 。 这 样 的 行 为 仿 佛 “ 下 毒 ” 一 般 ， 研 究 者 通 过 在 开 源 软 件 中 实 验 发 现 ， 这 样 的 “ 下 毒 ” 攻 击 不 仅 十 分 容 易 ， 而 且 还 会 产 生 严 重 影 响 。 相 关 论 文 ： 《 P o i s o n i n g   B e h a v i o r a l   M a l w a r e   C l u s t e r i n g 》   《 E f f i c i e n t   L a b e l   C o n t a m i n a t i o n   A t t a c k s   A g a i n s t   B l a c k - B o x   L e a r n i n g   M o d e l s 》     特 征 选 择 特 征 选 择 研 究 者 通 过 恶 意 软 件 检 测 系 统 发 现 ， 攻 击 者 通 过 注 入 少 于   5 %   的 恶 意 数 据 训 练 集 ， 就 能 够 让 检 测 系 统 “ 不 正 常 ” 运 行 。 可 谓 是 “ 道 高 一 尺 魔 高 一 丈 ” 。 相 关 论 文 ： 《 I s   F e a t u r e   S e l e c t i o n   S e c u r e   a g a i n s t   T r a i n i n g   D a t a   P o i s o n i n g ? 》 杂 项 杂 项 机 器 学 习 能 安 全 吗 ？ 文 科 生 、 理 科 生 、 男 生 、 女 生 ， 可 能 都 有 各 自 的 答 案 。 这 一 部 分 内 容 集 各 家 之 言 ， 从 不 同 方 向 分 析 讨 论 了   T A   到 底 是 安 全 还 是 不 安 全 的 。 相 关 论 文 ： 《 C a n   M a c h i n e   L e a r n i n g   B e   S e c u r e ? 》 《 O n   T h e   I n t e g r i t y   O f   D e e p   L e a r n i n g   S y s t e m s   I n   A d v e r s a r i a l   S e t t i n g s 》     《 S t e a l i n g   M a c h i n e   L e a r n i n g   M o d e l s   v i a   P r e d i c t i o n   A P I s 》 《 D a t a   D r i v e n   E x p l o r a t o r y   A t t a c k s   o n   B l a c k   B o x   C l a s s i f i e r s   i n   A d v e r s a r i a l   D o m a i n s 》       《 M o d e l   I n v e r s i o n   A t t a c k s   t h a t   E x p l o i t   C o n f i d e n c e   I n f o r m a t i o n   a n d   B a s i c   C o u n t e r m e a s u r e s 》       《 A   M e t h o d o l o g y   f o r   F o r m a l i z i n g   M o d e l - I n v e r s i o n   A t t a c k s 》              
代 码 代 码 C l e v e r   H a n s   是 一 个 古 老 的 难 题 ： 一 个 世 纪 前 ， 德 国 民 众 被   C l e v e r   H a n s   迷 住 了 ， 据 说 这 匹 马 可 以 进 行 加 减 运 算 ， 并 能 够 通 过 敲 击 蹄 子 来 将 答 案 传 递 出 来 。 事 实 证 明 ， C l e v e r   H a n s   实 际 上 是 在 感 受 驯 马 者 的 态 度 举 止 。 当 马 蹄 敲 击 数 接 近 正 确 答 案 时 ， 驯 马 者 的 表 情 和 姿 势 就 会 变 得 放 松 。     神 经 网 络 最 神 秘 的 地 方 就 是 在 于 人 们 不 知 道   T A   内 部 是 如 何 做 出 决 策 的 。 I a n   G o o d f e l l o w   和   N i c o l a s   P a p e r n o t   两 人 共 同 创 建 了 C l e v e r   H a n s   博 客 （ c l e v e r h a n s . i o ） 以 及   c l e v e r h a n s   对 抗 性 机 器 学 习 样 本 库 ， 希 望 与 全 世 界 的 研 究 者 们 共 同 探 索 和 改 善 机 器 学 习 模 型 在 安 全 和 隐 私 方 面 的 表 现 。 《 C l e v e r H a n s   -   P y t h o n   l i b r a r y   t o   b e n c h m a r k   m a c h i n e   l e a r n i n g   s y s t e m s   v u l n e r a b i l i t y   t o   a d v e r s a r i a l   e x a m p l e s 》 《 M o d e l   e x t r a c t i o n   a t t a c k s   o n   M a c h i n e - L e a r n i n g - a s - a - S e r v i c e   p l a t f o r m s 》 链 接 链 接 G e e k P w n   是 一 个 关 注 未 来 的 安 全 极 客 大 赛 ， 聚 焦 人 工 智 能 安 全 领 域 ， 联 合   N E X T   I D E A   推 出 “ 人 工 智 能 安 全 挑 战 专 项 ” 。 无 论 是 突 破 人 脸 识 别 解 锁 手 机 ， 还 是 发 现   A I   开 源 框 架 中 的 安 全 问 题 ， 亦 或 者 合 成 一 段 声 音 可 以 通 过 声 纹 识 别 检 测 ， 都 可 以 直 接 在   G e e k P w n   官 网 报 名 ， 5 0 0   万 奖 金 等 你 来 拿 ！ 1 0   月   2 4   日 极 棒 嘉 年 华 上 海 站 和   1 1   月   1 3   日 硅 谷 站 将 有 哪 些 突 破 性 的 技 术 展 示 ， 敬 请 期 待 ！ 《 E v a d e M L   -   M a c h i n e   L e a r n i n g   i n   t h e   P r e s e n c e   o f   A d v e r s a r i e s 》 《 A d v e r s a r i a l   M a c h i n e   L e a r n i n g   -   P R A   L a b 》 《 G e e k P w n   S p e c i a l   A I   S e c u r i t y   S e s s i o n 》 G i t H u b   原 地 址 原 地 址 h t t p s : / / g i t h u b . c o m / R a n d o m A d v e r s a r y / A w e s o m e - A I - S e c u r i t y   关 于 关 于   G e e k P w n   （ 极 棒 ） （ 极 棒 ） G e e k P w n   是 由 碁 震 （ 是 由 碁 震 （ K E E N ） 发 起 并 主 办 的 全 球 首 个 关 注 智 能 生 活 的 安 全 极 客 嘉 年 华 。 ） 发 起 并 主 办 的 全 球 首 个 关 注 智 能 生 活 的 安 全 极 客 嘉 年 华 。 除 了 聚 焦 智 能 软 硬 件 安 全 ， G e e k P w n   在 人 工 智 能 安 全 和 打 破 技 术 结 界 的 安 全 创 新 领 域 都 有 所 突 破 。 G e e k P w n   嘉 年 华 将 于   1 0   月   2 4   日 在 上 海 与   1 1   月   1 3   日 在 硅 谷 举 行 。 2 0 1 7   年   G e e k P w n   与   N e x t   I d e a   联 合 发 起 “ 人 工 智 能 安 全 挑 战 专 项 ” ， 并 向 广 大 安 全 研 究 者 以 及 人 工 智 能 研 究 者 发 出 诚 挚 邀 请 。 选 手 报 名 截 止 时 间 ： 选 手 报 名 截 止 时 间 ： 9   月 月   3 0   日 （ 上 海 站 ） 日 （ 上 海 站 ） 1 0   月 月   1 0   日 （ 硅 谷 站 ） 日 （ 硅 谷 站 ）  
极 棒 战 略 合 作 伙 伴 极 棒 战 略 合 作 伙 伴 腾 讯 安 全 摩 拜 安 全 百 度 安 全 华       为 小       米 N e x t   I d e a 机 器 之 心 上 海 大 数 据 联 盟 华 院 数 据 量 子 位 阅 读 原 文
回复

举报

高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

使用Markdown编辑器编辑 使用富文本编辑器编辑

Archiver| 手机版| 小黑屋|
Powered by Discuz! X3.4 Copyright © 2001-2020, Tencent Cloud. 商业源码建议获取授权，如侵犯您的权益，请联系客服处理