搜索

[17575] 2018-08-29_极棒实验室总监王海兵：从对抗样本的视角看人工智能安全

文档创建者：s7ckTeam
浏览次数：27
最后更新：2025-01-18
2018-08-29_极棒实验室总监王海兵：从对抗样本的视角看人工智能安全 极 棒 实 验 室 总 监 王 海 兵 ： 从 对 抗 样 本 的 视 角 看 人 工 智 能 安 全 原 创   王 海 兵   G e e k P w n   2 0 1 8 - 0 8 - 2 9 为 期 两 天 的 第 四 届 安 全 领 袖 峰 会   C S S 2 0 1 8   已 经 落 下 帷 幕 了 。 之 前 ， 我 们 介 绍 了 在 “ 以 极 客 之 名 论 未 来 安 全 之 道 以 极 客 之 名 论 未 来 安 全 之 道 ” 论 坛 上 ， G e e k P w n   发 起 创 办 人 、 发 起 创 办 人 、 K E E N   公 司 公 司   C E O   王 琦 王 琦 的 精 彩 分 享 （ 传 送 门 ） 。 今 天 的 分 享 是 来 自 极 棒 实 验 室 总 监 王 海 兵 极 棒 实 验 室 总 监 王 海 兵 在 “ C S S   人 工 智 能 安 全 分 论 坛 人 工 智 能 安 全 分 论 坛 ” 上 的 主 题 演 讲 ： 从 对 抗 样 本 的 视 角 看 人 工 智 能 安 全 。 下 面 是 演 讲 实 录 ：
大 家 好 ， 很 高 兴 来 到 这 里 和 大 家 探 讨 人 工 智 能 的 安 全 问 题 。 我 来 自 极 棒 实 验 室 ， 今 天 （ 8   月   2 8   日 ） 的 演 讲 题 目 是 《 从 对 抗 样 《 从 对 抗 样 本 的 视 角 看 本 的 视 角 看 人 工 智 能 安 全 》 人 工 智 能 安 全 》 。 极 棒 ， 英 文 叫 做   G e e k P w n ， 是 一 个 安 全 极 客 展 示 技 术 的 平 台 ， 同 时 也 是 厂 商 获 得 安 全 情 报 ， 提 高 自 身 产 品 安 全 性 的 渠 道 ， 五 年 中 在 已 举 办 的 九 次 极 棒 黑 客 大 赛 上 ， 我 们 已 经 为 一 百 多 位 选 手 发 放 了 数 百 万 奖 金 ， 帮 助 厂 商 修 复 了 数 百 个 严 重 的 安 全 漏 洞 。 在 比 赛 中 ， 攻 破 了 各 种 智 能 设 备 、 操 作 系 统 、 应 用 、 网 络 协 议 等 等 目 标 ， 得 到 了 众 多 厂 商 和 安 全 界 同 仁 们 的 认 可 。 去 年 ， 也 是 在 这 个 舞 台 （ C S S 2 0 1 7 ） 上 ， 我 们 提 出 了 人 工 智 能 安 全 存 在 层 次 性 人 工 智 能 安 全 存 在 层 次 性 这 样 的 概 念 。 人 工 智 能 的 应 用 ， 往 往 是 运 行 在 一
个 信 息 系 统 中 的 。 那 么 这 个 信 息 系 统 ， 包 括 底 层 的 操 作 系 统 ， 还 有 应 用 本 身 ， 都 存 在 安 全 风 险 。 人 工 智 能 目 前 存 在 的 很 多 中 间 件 ， 包 括 各 种 框 架 、 库 ， 还 有 云 服 务 ， 也 都 存 在 安 全 风 险 。 人 工 智 能 算 法 本 身 也 有 安 全 隐 患 ， 比 如 对 抗 样 本 问 题 。 这 些 安 全 问 题 都 可 能 会 导 致 同 样 的 后 果 ， 也 就 是 人 工 智 能 系 统 发 生 错 误 的 决 策 、 判 断 以 及 系 统 被 控 制 这 些 安 全 问 题 都 可 能 会 导 致 同 样 的 后 果 ， 也 就 是 人 工 智 能 系 统 发 生 错 误 的 决 策 、 判 断 以 及 系 统 被 控 制 等 问 题 。 等 问 题 。 在 我 们 看 来 ， 这 些 安 全 问 题 ， 有 一 些 是 传 统 的 信 息 安 全 问 题 。 在 我 们 极 棒 赛 场 上 ， 有 过 好 几 个 人 工 智 能 相 关 的 项 目 ， 比 如 人 脸 比 如 人 脸 识 别 门 禁 的 攻 破 ， 由 于 应 用 逻 辑 的 错 误 和 操 作 系 统 层 面 的 漏 洞 ， 导 致 黑 客 可 以 随 意 篡 改 人 脸 数 据 ， 随 意 冒 充 员 工 出 入 。 识 别 门 禁 的 攻 破 ， 由 于 应 用 逻 辑 的 错 误 和 操 作 系 统 层 面 的 漏 洞 ， 导 致 黑 客 可 以 随 意 篡 改 人 脸 数 据 ， 随 意 冒 充 员 工 出 入 。 还 有 各 种 库 、 框 架 、 云 服 务 等 的 安 全 问 题 ， 很 多 都 是 传 统 的 信 息 安 全 问 题 。 还 有 各 种 库 、 框 架 、 云 服 务 等 的 安 全 问 题 ， 很 多 都 是 传 统 的 信 息 安 全 问 题 。
人 工 智 能 本 身 也 存 在 特 有 的 安 全 问 题 ， 对 抗 样 本 就 是 其 中 一 个 。 人 工 智 能 本 身 也 存 在 特 有 的 安 全 问 题 ， 对 抗 样 本 就 是 其 中 一 个 。 这 里 有 几 张 图 片 ， 是 这 个 月   1 0   号 我 们 极 棒 在 美 国 拉 斯 维 加 斯 举 办 的 人 工 智 能 对 抗 赛 中 实 际 出 现 的 对 抗 样 本 。 这 些 图 片 与 原 始 图 片 的 像 素 值 相 差 在   1 6   以 内 。 大 家 可 以 看 到 ， 图 片 基 本 上 没 有 什 么 失 真 ， 还 是 清 晰 可 辨 的 。 第 一 幅 图 片 是 一 个 秒 表 ， 它 被 识 别 成 了 蘑 菇 。 第 二 幅 图 片 是 一 架 航 天 飞 机 ， 它 也 被 识 别 成 了 蘑 菇 。 第 三 幅 图 片 是 蘑 菇 ， 它 被 识 别 成 了 航 天 飞 机 。 第 四 幅 图 片 是 一 条 猎 狗 ， 被 识 别 成 了 北 极 狐 。
有 些 人 可 能 会 问 ， 那 么 ， 这 识 别 错 了 会 引 发 什 么 安 全 问 题 呢 ？ 我 这 里 列 了 一 些 可 能 会 导 致 的 问 题 。 大 家 知 道 ， 张 学 友 演 唱 会 上 ， 警 察 经 常 用 人 脸 识 别 技 术 抓 到 逃 犯 。 而 如 果 收 集 人 脸 数 据 的 时 候 ， 犯 罪 分 子 有 意 提 供 了 对 抗 样 本 ， 那 么 识 别 就 不 会 准 确 了 。 还 有 恶 意 软 件 识 别 、 鉴 黄 . . . . . . 这 些 系 统 近 年 来 很 多 都 采 用 了 人 工 智 能 的 方 法 ， 对 抗 样 本 可 能 导 致 这 些 功 能 失 效 。 还 有 一 个 很 重 要 的 — — 自 动 驾 驶 。 自 动 驾 驶 系 统 会 识 别 交 通 标 识 牌 ， 来 参 与 驾 驶 行 为 的 决 策 。 在 交 通 标 识 牌 上 做 一 些 修 改 自 动 驾 驶 系 统 会 识 别 交 通 标 识 牌 ， 来 参 与 驾 驶 行 为 的 决 策 。 在 交 通 标 识 牌 上 做 一 些 修 改 就 能 使 得 自 动 驾 驶 系 统 错 误 地 识 别 ， 这 可 能 会 导 致 交 通 事 故 。 就 能 使 得 自 动 驾 驶 系 统 错 误 地 识 别 ， 这 可 能 会 导 致 交 通 事 故 。 对 抗 样 本 除 了 在 图 像 识 别 领 域 存 在 ， 也 在 其 他 领 域 存 在 ， 比 如 语 音 、 文 本 等 等 。 现 在 市 场 上 已 经 有 许 多 的 智 能 音 箱 存 在 ， 这 些 智 能 音 箱 可 以 听 懂 语 音 指 令 。
这 里 展 示 的 是 一 个 例 子 ， 攻 击 者 对 正 常 的 语 音 加 入 一 些 叠 加 的 噪 声 ， 会 让 语 音 识 别 系 统 识 别 成 其 他 指 令 。 人 听 起 来 和 原 先 没 有 人 听 起 来 和 原 先 没 有 什 么 区 别 ， 在 机 器 听 起 来 则 完 全 不 同 。 什 么 区 别 ， 在 机 器 听 起 来 则 完 全 不 同 。 我 们 可 以 根 据 不 同 的 标 准 来 划 分 对 抗 样 本 的 攻 击 。 从 攻 击 模 型 来 看 ， 非 定 向 攻 击 的 目 标 是 使 得 被 攻 击 系 统 错 误 识 别 ， 定 向 攻 击 的 目 标 是 使 得 被 攻 击 系 统 把 样 本 识 别 成 指 定 的 类 。 定 向 攻 击 的 要 求 更 高 ， 难 度 也 更 大 。 定 向 攻 击 的 要 求 更 高 ， 难 度 也 更 大 。 从 攻 击 者 对 被 攻 击 系 统 的 了 解 程 度 来 看 ， 分 为 白 盒 与 黑 盒 攻 击 。 黑 盒 又 包 括 有 探 查 和 无 探 查 两 种 模 式 。 有 探 查 的 攻 击 可 以 根 据 有 探 查 的 攻 击 可 以 根 据 被 攻 击 系 统 的 反 馈 来 制 定 攻 击 策 略 。 被 攻 击 系 统 的 反 馈 来 制 定 攻 击 策 略 。 数 字 攻 击 是 指 攻 击 过 程 仅 以 数 字 的 形 式 进 行 ， 物 理 攻 击 则 不 完 全 是 数 字 形 式 。 比 如 我 刚 才 提 到 的 那 个 用 修 改 的 交 通 标 识 牌 攻 击 自 动 驾 驶 系 统 的 例 子 ， 就 是 一 个 物 理 攻 击 。 从 允 许 的 扰 动 范 围 来 看 ， 有 大 有 小 ， 扰 动 越 小 ， 越 接 近 原 始 样 本 ， 要 实 现 攻 击 就 越
难 。 学 术 界 已 经 根 据 不 同 的 攻 击 模 型 ， 研 究 出 了 不 少 对 抗 样 本 的 生 成 算 法 ， 目 前 这 个 领 域 仍 然 在 较 快 地 发 展 之 中 。 目 前 还 没 有 特 别 让 人 满 意 的 “ 防 御 ” 算 法 ， 这 个 领 域 也 是 在 较 快 地 发 展 ， 不 断 有 好 的 方 法 提 出 。 这 些 方 法 一 般 是 围 绕 着 所 列 的 几 个 方 向 进 行 。 比 如 ， 对 样 本 进 行 预 处 理 ， 降 噪 ， 或 是 用 对 抗 样 本 和 原 始 样 本 一 起 来 训 练 模 型 等 等 。 比 如 ， 对 样 本 进 行 预 处 理 ， 降 噪 ， 或 是 用 对 抗 样 本 和 原 始 样 本 一 起 来 训 练 模 型 等 等 。
为 了 加 快 对 抗 样 本 的 攻 击 和 防 守 的 研 究 ， 极 棒 决 定 举 办   C A A D ， 全 称 是   C o m p e t i t i o n   o n   A d v e r s a r i a l   A t t a c k s   a n d   D e f e n s e s ， 对 抗 样 本 攻 防 赛 。 这 次 竞 赛 我 们 请 到 了 谷 歌 大 脑 的 高 级 研 究 员   A l e x e y   K u r a k i n 、 I a n   G o o d f e l l o w 、 加 州 大 学 伯 克 利 分 校 的   D a w n S o n g   教 授 以 及 清 华 大 学 朱 君 副 教 授 做 评 委 和 顾 问 。 比 赛 分 成 定 向 攻 击 、 非 定 向 攻 击 和 防 守 三 个 项 目 ， 总 奖 金 超 分 成 定 向 攻 击 、 非 定 向 攻 击 和 防 守 三 个 项 目 ， 总 奖 金 超   1 0   万 美 万 美 元 。 元 。 目 前 已 到 了 最 后 阶 段 ， 八 月 三 十 一 号 截 止 提 交 。 目 前 已 到 了 最 后 阶 段 ， 八 月 三 十 一 号 截 止 提 交 。 本 月 的 十 号 ， 我 们 在 拉 斯 维 加 斯 举 办 了   C A A D   C T F ， 这 个 比 赛 形 式 结 合 了 我 们 安 全 界 传 统 的 C T F ， 包 含 了 防 守 和 攻 击 。 有 六 支 队 受 邀 参 加 ， 在 六 轮 比 赛 中 ， 各 队 每 轮 拿 到 一 张 图 片 ， 以 此 图 片 为 原 图 ， 进 行 修 改 ， 修 改 之 后 攻 击 其 他 队 伍 。 在 六 轮 比 赛 之 后 ， 来 自 清 华 大 学 人 工 智 能 研 究 院 的 队 伍 获 得 冠 军 。 这 是 在 比 赛 中 互 相 攻 击 的 激 烈 场 面 。 清 华 大 学 的 队 伍 在 第 一 轮 就 早 早 地 确 立 了 优 势 。 这 是 在 比 赛 中 互 相 攻 击 的 激 烈 场 面 。 清 华 大 学 的 队 伍 在 第 一 轮 就 早 早 地 确 立 了 优 势 。
极 棒 希 望 能 够 做 黑 客 界 和 人 工 智 能 界 的 桥 梁 ， 促 成 黑 客 与 人 工 智 能 研 究 者 的 合 作 。 极 棒 希 望 能 够 做 黑 客 界 和 人 工 智 能 界 的 桥 梁 ， 促 成 黑 客 与 人 工 智 能 研 究 者 的 合 作 。 在 拉 斯 维 加 斯 的   C A A D   C T F   上 ， 有 选 手 问 我 ， 我 们 做 成 了 攻 击 图 片 ， 可 是 我 觉 得 这 在 实 际 上 并 不 能 导 致 什 么 很 大 的 危 害 我 们 做 成 了 攻 击 图 片 ， 可 是 我 觉 得 这 在 实 际 上 并 不 能 导 致 什 么 很 大 的 危 害 啊 。 啊 。 也 没 有 什 么 系 统 仅 仅 只 依 靠 人 工 智 能 来 做 验 证 ， 比 如 人 脸 识 别 在 金 融 服 务 当 中 只 是 作 为 一 个 验 证 环 节 而 已 。 很 多 人 是 有 这 样 的 误 解 。 很 多 人 是 有 这 样 的 误 解 。 其 实 ， 从 黑 客 攻 击 的 发 展 历 史 来 看 ， 从 最 初 的 一 个 漏 洞 包 打 天 下 ， 到 后 来 多 个 漏 洞 组 合 攻 破 系 从 黑 客 攻 击 的 发 展 历 史 来 看 ， 从 最 初 的 一 个 漏 洞 包 打 天 下 ， 到 后 来 多 个 漏 洞 组 合 攻 破 系 统 ， 我 们 能 够 明 白 ， 对 于 一 个 系 统 的 攻 破 往 往 是 多 个 漏 洞 互 相 补 充 和 协 作 完 成 的 。 统 ， 我 们 能 够 明 白 ， 对 于 一 个 系 统 的 攻 破 往 往 是 多 个 漏 洞 互 相 补 充 和 协 作 完 成 的 。
比 如 ， 黑 客 有 办 法 能 够 拿 到 一 个 人 工 智 能 系 统 的 模 型 文 件 ， 但 是 它 不 知 道 这 个 模 型 文 件 能 有 什 么 作 用 。 人 工 智 能 研 究 者 拿 到 模 型 文 件 之 后 就 知 道 了 这 个 系 统 人 工 智 能 部 分 的 运 行 规 律 ， 可 是 他 却 没 办 法 拿 到 。 二 者 结 合 一 下 ， 就 能 发 挥 出 惊 人 的 威 力 。 因 此 ， 需 要 黑 客 和 人 工 智 能 研 究 者 有 更 多 的 合 作 ， 这 样 才 可 以 找 到 更 多 人 工 智 能 系 统 的 安 全 问 题 ， 才 能 够 更 好 地 保 护 人 工 智 能 的 发 展 。 我 的 分 享 就 到 这 里 ， 谢 谢 大 家 。 - - - E N D - - - 点 击 下 面 点 击 下 面 了 解 更 多 了 解 更 多 比 赛 规 则 比 赛 规 则 命 题 专 项 赛 命 题 专 项 赛 1 2 3 4 非 命 题 开 放 赛 非 命 题 开 放 赛 5 6 P W N 4 F U N   趣 味 挑 战 赛 趣 味 挑 战 赛 7 8
回复

举报

高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

Archiver| 手机版| 小黑屋|
Powered by Discuz! X3.4 Copyright © 2001-2020, Tencent Cloud. 商业源码建议获取授权，如侵犯您的权益，请联系客服处理