搜索

[17432] 2017-06-21_IanGoodfellow和Papernot半年三篇博文，对机器学习的安全隐私来了个大起底

文档创建者：s7ckTeam
浏览次数：15
最后更新：2025-01-18
2017-06-21_IanGoodfellow和Papernot半年三篇博文，对机器学习的安全隐私来了个大起底 I a n   G o o d f e l l o w   和   P a p e r n o t   半 年 三 篇 博 文 ， 对 机 器 学 习 的 安 全 隐 私 来 了 个 大 起 底 晓 凡   G e e k P w n   2 0 1 7 - 0 6 - 2 1 正 如 人 类 会 犯 错 ， A I   也 会 犯 错 。 生 成 对 抗 网 络 （ G A N ） 发 明 者   I a n   G o o d f e l l o w   与 同 事 在 研 究 中 发 现 “ 只 要 非 常 细 微 地 改 变 一 个 图 像 ， 在 人 类 肉 眼 可 能 感 觉 不 到 的 情 况 下 ， 可 以 欺 骗 神 经 网 络 ” 。 他 们 在   2 0 1 6   年 极 棒 硅 谷 站 分 享 了 这 一 “ 神 经 网 络 的 安 全 漏 洞 之 一 ” 。 近 日 ， 回 到 谷 歌 大 脑 任 职 的   G o o d f e l l o w   又 有 新 的 学 术 成 果 。 本 文 授 权 转 自   A I   科 技 评 论 科 技 评 论 ， 作 者 晓 凡 晓 凡 。 A I   科 技 评 论 按 ： 随 着 人 工 智 能 研 究 的 不 断 发 展 ， 由 机 器 学 习 模 型 在 背 后 提 供 支 持 的 功 能 越 来 越 多 地 开 始 商 业 化 ， 最 终 用 户 的 生 活 里 机 器 学 习 能 造 成 的 影 响 也 越 来 越 大 。 这 时 候 ， 机 器 学 习 的 安 全 和 隐 私 问 题 也 就 越 来 越 明 显 ， 谁 都 不 想 被 自 动 驾 驶 的 车 辆 伤 害 ， 谁 也 都 不 希 望 自 己 的 语 音 助 手 泄 露 自 己 的 私 人 信 息 。 安 全 与 隐 私 问 题 的 积 极 行 动 者 安 全 与 隐 私 问 题 的 积 极 行 动 者 G A N s   的 提 出 者 、 在 谷 歌 大 脑 做 人 工 智 能 研 究 的   I a n   G o o d f e l l o w   近 期 在   T w i t t e r   上 的 动 向 都 是 安 全 方 面 的 。 A I   科 技 评 论 刚 刚 给 大 家 介 绍 了 最 新 两 篇 ， 一 篇 是 他 推 荐 的 论 文 「 A d v e r s a r i a l   E x a m p l e   D e f e n s e s : E n s e m b l e s   o f   W e a k   D e f e n s e s   a r e   n o t   S t r o n g 」 （ “ 防 御 对 抗 性 样 本 ： 弱 的 防 御 方 式 组 合 起 来 也 不 强 ” ） ， 来 写 写 在 在 前 前 面 面
自   U C   伯 克 利 。 另 一 篇 是 他 发 在   C l e v e r   H a n s   博 客 的 文 章   「 T h e   c h a l l e n g e   o f   v e r i f i c a t i o n   a n d   t e s t i n g o f   m a c h i n e   l e a r n i n g 」 （ “ 验 证 与 测 试 ， 机 器 学 习 的 两 大 挑 战 ” ） 。 C l e v e r   H a n s   博 客 （ h t t p : / / w w w . c l e v e r h a n s . i o / ） 大 家 可 能 不 熟 悉 ， 但 是 其 实 这 个 博 客 去 年 就 开 放 了 。 这 个 博 客 是   I a n   G o o d f e l l o w   和   N i c o l a s   P a p e r n o t   两 人 共 同 创 建 、 更 新 的 ， 还 建 立 了   c l e v e r h a n s   对 抗 性 机 器 学 习 样 本 库 目 ， 他 们 的 目 的 是 与 全 世 界 的 研 究 者 们 共 同 探 索 和 改 善 机 器 学 习 模 型 在 安 全 和 隐 私 方 面 的 表 现 。 而 且 这 还 不 是   I a n   G o o d f e l l o w   和   N i c o l a s   P a p e r n o t   第 一 次 合 作 ， 实 际 上 ， 两 人 合 作 的 论 文 「 S e m i - s u p e r v i s e d   K n o w l e d g e   T r a n s f e r   f o r   D e e p   L e a r n i n g   f r o m   P r i v a t e   T r a i n i n g   D a t a 」 （ 用 半 监 督 知 识 迁 移 解 决 深 度 学 习 中 训 练 数 据 隐 私 问 题 ） ， 就 在   I C L R 2 0 1 7   上 拿 到 了 最 佳 论 文 奖 。 相 比 于 绝 大 多 数 人 机 器 学 习 领 域 的 研 究 人 员 精 力 都 还 在 设 计 模 型 、 训 练 模 型 或 者 建 立 训 练 数 据 库 上 ， 这 两 人 可 谓 是 安 全 和 隐 私 领 域 的 急 先 锋 ， 自 己 研 究 探 索 的 同 时 ， 也 推 广 着 机 器 学 习 模 型 的 安 全 和 隐 私 意 识 ， 还 积 极 促 进 研 究 社 区 中 的 学 术 交 流 。 说 了 这 么 多 ，   I a n   G o o d f e l l o w   和   N i c o l a s   P a p e r n o t   对 安 全 和 隐 私 问 题 的 具 体 认 识 是 怎 样 的 ？ 在 他 们 看 来 这 些 问 题 现 在 得 到 解 决 了 吗 ？ 以 下   A I   科 技 评 论 根 据   C l e v e r   H a n s   博 客 给 大 家 做 具 体 的 讲 解 。 怎 么 样 的 系 统 是 安 全 的 系 统 ？ 怎 么 样 的 系 统 是 安 全 的 系 统 ？ 如 果 让   I a n   G o o d f e l l o w   和   N i c o l a s   P a p e r n o t   给 出 定 义 的 话 ， 一 个 可 靠 的 、 可 以 保 证 像 预 期 那 样 工 作 的 系 统 ， 就 是 一 个 安 全 的 系 统 。 为 了 达 到 系 统 的 行 为 符 合 预 期 的 目 标 ， 设 计 系 统 的 人 心 里 就 需 要 有 一 个 威 胁 模 型 。 “ 威 胁 模 型 ” 是 一 组 经 过 严 格 定 义 的 任 意 一 个 可 能 希 望 “ 系 统 异 常 运 作 ” 的 攻 击 者 具 有 的 能 力 和 目 标 的 假 设 。 目 前 为 止 ， 多 数 的 机 器 学 习 系 统 在 设 计 的 时 候 都 只 对 应 了 一 个 很 弱 的 威 胁 模 型 ， 可 以 说 这 样 的 模 型 里 是 没 有 什 么 具 体 成 员 的 。 这 样 的 机 器 学 习 系 统 的 设 计 目 标 只 是 为 了 在 给 与 自 然 输 入 的 时 候 能 够 正 常 工 作 。 今 天 的 设 计 者 们 应 当 开 始 设 计 的 系 统 ， 需 要 在 面 对 恶 意 用 户 和 面 对 基 于 机 器 学 习 的 恶 意 敌 对 方 的 时 候 还 能 正 常 工 作 。 举 例 说 明 ， 一 个 人 工 智 能 系 统 在 训 练 时 （ 学 习 阶 段 ） 或 者 在 进 行 预 测 时 （ 推 理 阶 段 ） 都 有 可 能 被 攻 击 者 盯 上 。 攻 击 者 还 会 有 各 种 不 同 的 能 力 ， 其 中 很 有 可 能 包 括 对 模 型 内 部 结 构 和 参 数 ， 或 者 对 模 型 输 入 输 出 的 更 改 权 限 。 攻 击 者 能 造 成 哪 些 危 害 ？ 攻 击 者 能 造 成 哪 些 危 害 ？ 攻 击 者 的 攻 击 可 以 影 响 系 统 的 保 密 性 （ c o n f i d e n t i a l i t y ） 、 完 整 性 （ i n t e g r i t y ） 和 可 用 性 （ a v a i l a b i l i t y ） ， 三 者 可 以 合 称 为 安 全 领 域 的 “ C I A 模 型 ” 。 保 密 性 保 密 性 ： 机 器 学 习 系 统 必 须 保 证 未 得 到 授 权 的 用 户 无 法 接 触 到 信 息 。 在 实 际 操 作 中 ， 把 保 密 性 作 为 隐 私 性 来 考 虑 会 容 易 得 多 ， 就 是 说 模 型 不 可 以 泄 露 敏 感 数 据 。 比 如 假 设 研 究 员 们 设 计 了 一 个 可 以 检 查 病 人 病 历 、 给 病 人 做 诊 断 的 机 器 学 习 模 型 ， 这 样 的 模 型 可 以 对 医 生 的 工 作 起 到 很 大 的 帮 助 ， 但 是 必 须 要 保 证 持 有 恶 意 的 人 没 办 法 分 析 这 个 模 型 ， 也 没 办 法 把 用 来 训 练 模 型 的 病 人 数 据 恢 复 出 来 。 完 整 性 完 整 性 ： 如 果 攻 击 者 可 以 破 坏 模 型 的 完 整 性 ， 那 么 模 型 的 预 测 结 果 就 可 能 会 偏 离 预 期 。 比 如 垃 圾 邮 件 会 把 自 己 伪 装 成 正 常 邮 件 的 样 子 ， 造 成 垃 圾 邮 件 识 别 器 的 误 识 别 。
可 用 性 可 用 性 ： 系 统 的 可 用 性 也 可 以 成 为 攻 击 目 标 。 比 如 ， 如 果 攻 击 者 把 一 个 非 常 难 以 识 别 的 东 西 放 在 车 辆 会 经 过 的 路 边 ， 就 有 可 能 迫 使 一 辆 自 动 驾 驶 汽 车 进 入 安 全 保 护 模 式 ， 然 后 停 车 在 路 边 。 虽 然 目 前 研 究 者 们 还 没 有 展 示 很 多 成 功 进 行 攻 击 的 案 例 ， 但 是   I a n   G o o d f e l l o w   和   N i c o l a s   P a p e r n o t   表 示 在 未 来 的 博 文 中 会 逐 渐 做 更 多 介 绍 。 目 前 已 经 可 以 明 确 表 述 的 攻 击 方 式 有 三 种 ： 在 训 练 时 对 模 型 进 行 完 整 性 攻 击 ， 在 推 理 时 进 行 完 整 性 攻 击 ， 以 及 隐 私 攻 击 在 训 练 集 中 下 毒 在 训 练 集 中 下 毒   -   在 训 练 时 对 模 型 进 行 完 整 性 攻 击 在 训 练 时 对 模 型 进 行 完 整 性 攻 击 攻 击 者 可 以 通 过 修 改 现 有 训 练 数 据 、 或 者 给 训 练 集 增 加 额 外 数 据 的 方 法 来 对 训 练 过 程 的 完 整 性 造 成 影 响 。 比 如 假 设 莫 里 亚 蒂 教 授 要 给 福 尔 摩 斯 栽 赃 一 个 罪 名 ， 他 就 可 以 让 一 个 没 被 怀 疑 的 同 伙 送 给 福 尔 摩 斯 一 双 独 特 、 华 丽 的 靴 子 。 当 福 尔 摩 斯 穿 着 这 双 靴 子 在 他 经 常 协 助 破 案 的 警 察 面 前 出 现 过 以 后 ， 这 些 警 察 就 会 把 这 双 靴 子 和 他 联 系 起 来 。 接 下 来 莫 里 亚 蒂 教 授 就 可 以 穿 一 双 同 样 的 靴 子 去 犯 罪 ， 留 下 的 脚 印 会 让 福 尔 摩 斯 成 为 被 怀 疑 的 对 象 。 干 扰 机 器 学 习 模 型 的 训 练 过 程 ， 体 现 的 攻 击 策 略 是 当 用 于 生 产 时 让 机 器 学 习 模 型 出 现 更 多 错 误 预 测 。 具 体 来 说 ， 这 样 的 方 法 可 以 在 支 持 向 量 机 （ S V M ） 的 训 练 集 中 下 毒 。 由 于 算 法 中 预 测 误 差 是 以 损 失 函 数 的 凸 点 衡 量 的 ， 这 就 让 攻 击 者 有 机 会 找 到 对 推 理 表 现 影 响 最 大 的 一 组 点 进 行 攻 击 。 即 便 在 更 复 杂 的 模 型 中 也 有 可 能 找 到 高 效 的 攻 击 点 ， 深 度 神 经 网 络 就 是 这 样 ， 只 要 它 们 会 用 到 凸 优 化 。 用 对 抗 性 的 样 本 让 模 型 出 错 用 对 抗 性 的 样 本 让 模 型 出 错   -   在 推 理 时 进 行 完 整 性 攻 击 在 推 理 时 进 行 完 整 性 攻 击 实 际 上 ， 让 模 型 出 错 是 非 常 简 单 的 一 件 事 情 ， 以 至 于 攻 击 者 都 没 必 要 花 功 夫 在 训 练 机 器 学 习 模 型 参 数 的 训 练 集 中 下 毒 。 他 们 只 要 在 推 理 阶 段 （ 模 型 训 练 完 成 之 后 ） 的 输 入 上 动 动 手 脚 ， 就 可 以 立 即 让 模 型 得 出 错 误 的 结 果 。 要 找 到 能 让 模 型 做 出 错 误 预 测 的 干 扰 ， 有 一 种 常 用 方 法 是 计 算 对 抗 性 样 本 。 它 们 带 有 的 干 扰 通 常 很 微 小 ， 人 类 很 难 发 现 ， 但 它 们 却 能 成 功 地 让 模 型 产 生 错 误 的 预 测 。 比 如 下 面 这 张 图 ， 用 机 器 学 习 模 型 识 别 最 左 侧 的 图 像 ， 可 以 正 确 识 别 出 来 这 是 一 只 熊 猫 。 但 是 对 这 张 图 像 增 加 了 中 间 所 示 的 噪 声 之 后 得 到 的 右 侧 图 像 ， 就 会 被 模 型 识 别 成 一 只 长 臂 猿 （ 而 且 置 信 度 还 非 常 高 ） 。 值 得 注 意 的 是 ， 虽 然 人 类 无 法 用 肉 眼 分 辨 ， 但 是 图 像 中 施 加 的 干 扰 已 经 足 以 改 变 模 型 的 预 测 结 果 。 确 实 ， 这 种 干 扰 是 在 输 入 领 域 中 通 过 计 算 最 小 的 特 定 模 得 到 的 ， 同 时 它 还 能 增 大 模 型 的 预 测 误 差 。 它 可 以 有 效 地 把 本 来 可 以 正
确 分 类 的 图 像 移 过 模 型 判 定 区 域 的 边 界 ， 从 而 成 为 另 一 种 分 类 。 下 面 这 张 图 就 是 对 于 能 分 出 两 个 类 别 的 分 类 器 ， 出 现 这 种 现 象 时 候 的 示 意 。 许 多 基 于 对 抗 性 样 本 的 攻 击 需 要 攻 击 者 知 道 机 器 学 习 模 型 中 的 参 数 ， 才 能 把 所 需 的 干 扰 看 作 一 个 优 化 问 题 计 算 出 来   。 另 一 方 面 ， 也 有 一 些 后 续 研 究 考 虑 了 更 现 实 的 威 胁 模 型 ， 这 种 模 型 里 攻 击 者 只 能 跟 模 型 互 动 ， 给 模 型 提 供 输 入 以 后 观 察 它 的 输 出 。 举 例 来 讲 ， 这 种 状 况 可 以 发 生 在 攻 击 者 想 要 设 计 出 能 骗 过 机 器 学 习 评 分 系 统 从 而 得 到 高 排 名 的 网 站 页 面 ， 或 者 设 计 出 能 骗 过 垃 圾 邮 件 筛 选 器 的 垃 圾 邮 件 的 时 候 。 在 这 些 黑 盒 情 境 中 ， 机 器 学 习 模 型 的 工 作 方 式 可 以 说 像 神 谕 一 样 。 发 起 攻 击 的 策 略 首 先 对 神 谕 发 起 询 问 ， 对 模 型 的 判 定 区 域 边 界 做 出 一 个 估 计 。 这 样 的 估 计 就 成 为 了 一 个 替 代 模 型 ， 然 后 利 用 这 个 替 代 模 型 来 制 作 会 被 真 正 的 模 型 分 类 错 误 的 对 抗 性 样 本 。 这 样 的 攻 击 也 展 现 出 了 对 抗 性 样 本 的 可 迁 移 性 可 迁 移 性 ： 用 来 解 决 同 样 的 机 器 学 习 任 务 的 不 同 的 模 型 ， 即 便 模 型 与 模 型 之 间 的 架 构 或 者 训 练 数 据 不 一 样 ， 对 抗 性 样 本 还 是 会 被 不 同 的 模 型 同 时 误 判 。 机 器 学 习 中 的 隐 私 问 题 机 器 学 习 中 的 隐 私 问 题 机 器 学 习 中 的 隐 私 问 题 就 不 需 要 攻 击 者 也 能 讲 明 白 了 。 例 如 说 ， 机 器 学 习 算 法 缺 乏 公 平 性 和 透 明 性 的 问 题 已 经 引 起 领 域 内 越 来 越 多 人 的 担 心 。 事 实 上 ， 已 经 有 人 指 出 ， 训 练 数 据 中 带 有 的 社 会 偏 见 会 导 致 最 终 训 练 完 成 后 的 预 测 模 型 也 带 有 这 些 偏 见 。 下 面 重 点 说 一 说 在 有 攻 击 者 情 况 下 的 隐 私 问 题 。
攻 击 者 的 目 的 通 常 是 恢 复 一 部 分 训 练 机 器 学 习 模 型 所 用 的 数 据 ， 或 者 通 过 观 察 模 型 的 预 测 来 推 断 用 户 的 某 些 敏 感 信 息 。 举 例 来 说 ， 智 能 手 机 的 虚 拟 键 盘 就 可 以 通 过 学 习 用 户 的 输 入 习 惯 ， 达 到 更 好 的 预 测 - 自 动 完 成 效 果 。 但 是 ， 某 一 个 用 户 的 输 入 习 惯 下 的 特 定 字 符 序 列 不 应 该 也 出 现 在 别 的 手 机 屏 幕 上 ， 除 非 已 经 有 一 个 比 例 足 够 大 的 用 户 群 也 会 打 同 样 的 一 串 字 符 。 在 这 样 的 情 况 下 ， 隐 私 攻 击 会 主 要 在 推 理 阶 段 发 挥 作 用 ， 不 过 要 缓 解 这 个 问 题 的 话 ， 一 般 都 需 要 在 学 习 算 法 中 增 加 一 些 随 机 性 。 比 如 ， 攻 击 者 有 可 能 会 想 办 法 进 行 成 员 推 测 成 员 推 测 查 询 ： 想 要 知 道 模 型 训 练 中 有 没 有 使 用 某 个 特 定 的 训 练 点 。 近 期 就 有 一 篇 论 文 在 深 度 神 经 网 络 场 景 下 详 细 讨 论 了 这 个 问 题 。 与 制 作 对 抗 性 样 本 时 对 梯 度 的 用 法 相 反 （ 这 可 以 改 变 模 型 对 正 确 答 案 的 置 信 度 ） ， 成 员 推 测 攻 击 会 沿 着 梯 度 方 向 寻 找 分 类 置 信 度 非 常 高 的 点 。 已 经 部 署 的 模 型 中 也 还 可 以 获 得 有 关 训 练 数 据 的 更 多 总 体 统 计 信 息 。 提 高 机 器 学 习 模 型 鲁 棒 性 的 方 法 提 高 机 器 学 习 模 型 鲁 棒 性 的 方 法 I a n   G o o d f e l l o w   和   N i c o l a s   P a p e r n o t   两 人 已 经 一 起 试 过 几 个 方 法 ， 为 了 提 高 机 器 学 习 模 型 面 对 对 抗 性 样 本 时 鲁 棒 性 。 对 抗 性 训 练 对 抗 性 训 练 （ A d v e r s a r i a l   t r a i n i n g ） ： 对 抗 性 训 练 的 目 标 是 提 高 模 型 的 泛 化 能 力 ， 让 模 型 在 测 试 中 遇 到 对 抗 性 样 本 的 时 候 有 更 好 的 表 现 。 做 法 是 在 模 型 的 训 练 阶 段 就 主 动 生 成 对 抗 性 样 本 ， 把 它 们 作 为 训 练 过 程 的 一 部 分 。 这 个 想 法 最 初 是 由 S z e g e d y 提 出 的 ， 但 是 可 实 施 性 很 低 ， 因 为 生 成 对 抗 性 样 本 需 要 的 计 算 成 本 太 高 。 G o o d f e l l o w   展 示 过 一 种 用 快 速 梯 度 标 志 的 方 法 ， 可 以 低 成 本 地 生 成 对 抗 性 样 本 ， 计 算 效 率 已 经 足 以 生 成 大 批 量 的 对 抗 性 样 本 用 于 模 型 训 练 。 这 样 训 练 出 的 模 型 对 原 样 本 和 对 抗 性 样 本 的 分 类 结 果 就 是 相 同 的 。 比 如 可 以 拍 一 张 猫 的 照 片 ， 然 后 对 抗 性 地 进 行 干 扰 ， 让 一 般 的 模 型 照 片 识 别 成 一 只 秃 鹫 ， 然 后 就 告 诉 要 训 练 的 这 个 模 型 干 扰 后 的 照 片 还 是 一 只 猫 。 防 御 性 蒸 馏 防 御 性 蒸 馏 （ D e f e n s i v e   d i s t i l l a t i o n ） ： 攻 击 者 可 能 会 利 用 模 型 判 定 区 域 的 对 抗 方 向 发 起 攻 击 ， 防 御 性 蒸 馏 就 可 以 让 这 些 方 向 变 得 更 平 滑 。 蒸 馏 （ d i s t i l l a t i o n ） 是 一 种 训 练 方 法 ， 它 要 训 练 一 个 模 型 ， 让 这 个 模 型 预 测 更 早 训 练 的 另 一 个 模 型 的 可 能 输 出 结 果 。 蒸 馏 的 方 法 最 初 是 由   H i n t o n   提 出 的 ， 这 个 方 法 当 时 的 目 标 是 用 一 个 小 模 型 模 仿 大 型 的 、 计 算 量 大 的 模 型 得 到 相 似 的 结 果 。 防 御 性 蒸 馏 的 目 标 有 所 区 别 ， 它 只 是 为 了 让 最 终 模 型 的 输 出 更 平 滑 ， 所 以 即 便 模 仿 的 和 被 模 仿 的 两 个 模 型 大 小 一 样 也 没 关 系 。 不 过 这 种 方 法 有 点 反 直 觉 ， 有 两 个 同 样 架 构 的 模 型 ， 然 后 训 练 其 中 一 个 预 测 另 一 个 的 输 出 结 果 。 但 是 这 种 方 法 能 奏 效 的 原 因 是 ， 先 训 练 的 那 个 模 型 （ 被 模 仿 的 ） 是 用 “ 绝 对 ” 标 签 训 练 的 （ 可 以   1 0 0 %   确 定 图 像 是 狗 ， 不 是 猫 ） ， 然 后 它 提 供 的 用 来 训 练 后 一 个 模 型 的 标 签 就 是 “ 相 对 ” 的 （ 比 如   9 5 %   的 确 定 性 认 为 图 像 更 可 能 是 狗 ） 。 这 第 二 个 蒸 馏 后 的 模 型 的 鲁 棒 性 就 高 得 多 ， 对 快 速 梯 度 标 志 方 法 或 者   J a c o b i a n   的 显 着 图 方 法 这 样 的 攻 击 的 抵 抗 力 高 不 少 。 为 什 么 防 御 对 抗 性 样 本 很 难 ？ 为 什 么 防 御 对 抗 性 样 本 很 难 ？ 对 抗 性 样 本 防 御 起 来 很 难 是 因 为 很 难 对 对 抗 性 样 本 的 制 作 过 程 建 立 理 论 模 型 。 对 包 括 神 经 网 络 在 内 的 许 多 机 器 学 习 模 型 而 言 ， 对 抗 性 样 本 是 优 化 问 题 的 非 线 性 、 非 凸 性 的 解 。 因 为 没 有 什 么 好 的 理 论 工 具 可 以 描 述 这 些 复 杂 优 化 问 题 的 解 ， 所 以 也 就 很 难 提 出 能 够 对 付 对 抗 性 样 本 的 增 强 理 论 作 为 防 御 方 法 。 换 个 角 度 看 ， 对 抗 性 样 本 很 难 防 御 也 因 为 它 们 要 求 机 器 学 习 模 型 对 每 一 种 可 能 的 输 入 都 要 给 出 好 的 结 果 。 多 数 时 候 机 器 学 习 模 型 都 能 很 好 地 工 作 ， 但 是 对 所 有 可 能 的 输 入 而 言 ， 它 们 实 际 会 遇 到 的 输 入 只 是 很 小 的 一 部 分 。 就 是 因 为 可 能 的 输 入 是 海 量 的 ， 设 计 一 个 真 正 有 适 应 性 的 防 御 方 法 就 很 难 。 I a n   G o o d f e l l o w   和 和   N i c o l a s   P a p e r n o t   两 人 的 心 里 话 两 人 的 心 里 话
两 人 在   2 0 1 6   年 底 就 已 经 发 现 了 许 多 可 以 对 机 器 学 习 模 型 进 行 攻 击 的 方 法 ， 但 是 防 御 的 方 法 几 乎 看 不 到 。 他 们 希 望 在   2 0 1 7   年 底 能 够 看 到 一 些 高 效 的 防 御 方 法 。 他 们 博 客 的 目 的 就 是 推 动 机 器 学 习 安 全 和 隐 私 方 面 的 前 沿 发 展 ， 方 法 就 是 把 最 新 的 进 展 记 录 下 来 、 在 相 关 话 题 的 研 究 社 区 中 引 发 讨 论 、 以 及 启 发 新 一 代 的 研 究 者 们 加 入 这 个 社 区 。 对 对 抗 性 样 本 的 研 究 很 令 两 人 兴 奋 ， 因 为 很 多 重 要 问 题 都 还 没 有 得 到 定 论 ， 理 论 方 面 和 应 用 方 面 都 是 。 从 理 论 角 度 ， 没 人 知 道 想 防 御 对 抗 性 样 本 的 攻 击 是 不 是 徒 劳 （ 就 像 想 要 发 现 一 种 通 用 的 机 器 学 习 算 法 那 样 ） ， 或 者 能 够 找 到 一 种 最 佳 的 策 略 让 防 御 者 占 得 先 机 （ 像 加 密 学 和 差 分 隐 私 那 样 ） 。 从 应 用 角 度 ， 还 没 人 设 计 出 来 过 强 大 到 能 够 抵 抗 多 种 不 同 对 抗 性 样 本 攻 击 的 防 御 算 法 。 I a n   G o o d f e l l o w   和   N i c o l a s   P a p e r n o t   两 人 更 希 望 读 者 们 阅 读 文 章 以 后 可 以 得 到 灵 感 ， 一 起 来 解 决 其 中 的 一 些 问 题 。 2 0 1 7   极 棒 嘉 年 华 人 工 智 能 安 全 挑 战 专 项 人 工 智 能 安 全 挑 战 专 项 报 名 方 式 见 “ 阅 读 原 文 阅 读 原 文 ” 阅 读 原 文
回复

举报

高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

Archiver| 手机版| 小黑屋|
Powered by Discuz! X3.4 Copyright © 2001-2020, Tencent Cloud. 商业源码建议获取授权，如侵犯您的权益，请联系客服处理