搜索

[17555] 2018-07-11_AI将至，让黑客替你撑起未来的保护伞

文档创建者：s7ckTeam
浏览次数：2
最后更新：2025-01-18
2018-07-11_AI将至，让黑客替你撑起未来的保护伞 A I   将 至 ， 让 黑 客 替 你 撑 起 未 来 的 保 护 伞 原 创   大 牛 蛙   G e e k P w n   2 0 1 8 - 0 7 - 1 1 7   月   1 0   日 至   1 2   日 ， 由 工 业 和 信 息 化 部 、 国 家 互 联 网 信 息 办 公 室 等 部 门 指 导 ， 中 国 互 联 网 协 会 主 办 的   2 0 1 8 （ 第 十 七 届 ） 中 国 互 联 网 大 会 在 北 京 国 家 会 议 中 心 隆 重 举 行 。 大 会 以 “ 融 合 发 展   协 同 共 治 — — 新 时 代   新 征 程   新 动 能 ” 为 主 题 ， 设 立 了   2 7   场 精 彩 论 坛 。 作 为   A I   安 全 领 域 的 先 行 者 ， 碁 震 碁 震 （ （ K E E N ） 创 始 人 兼 ） 创 始 人 兼   C E O 、 、 G e e k P w n   大 赛 发 起 创 办 人 王 琦 大 赛 发 起 创 办 人 王 琦 受 邀 出 席 ， 并 在 ” 2 0 1 8   中 国 互 联 网 移 动 安 全 高 峰 论 坛 “ 发 表 了 《 人 工 智 能 与 黑 客 ， 亦 敌 亦 友 》 主 题 演 讲 。 演 讲 实 录 见 下 文 。 大 家 好 ！ 我 是 王 琦 ， 非 常 荣 幸 今 天 有 这 个 机 会 和 大 家 做 一 个 人 工 智 能 和 安 全 方 面 的 交 流 。 除 了 安 全 ， 我 可 能 最 感 兴 趣 的 就 是   A I 。 之 前 ， 我 看 了 李 康 和 刘 焱 （ 前 面 两 位 演 讲 者 ） 的 标 题 ， 我 不 打 算 讲 重 复 的 东 西 ， 我 想 站 在 另 外 一 个 角 度 跟 大 家 分 享 一 些 故 事 。 我 们 是 如 何 去 看 待 人 工 智 能 和 安 全 的 关 系 ？ 我 们 是 如 何 去 看 待 人 工 智 能 和 安 全 的 关 系 ？ 还 要 从 极 棒 开 始 讲 ， 从   2 0 1 4   年 开 始 办 极 棒 以 来 ， 极 棒 最 早 就 是 一 个 不 命 题 的 比 赛 ， 你 能 黑 什 么 就 黑 什 么 。 当 时 我 们 做 了 大 量 的 工 作 ， 告 诉 大 家 这 个 世 界 上 有 什 么 样 的 威 胁 ， 这 些 你 都 可 以 去 关 注 、 去 研 究 。
后 来 有 很 多 同 学 开 始 研 究 移 动 互 联 网 还 有 物 联 网 这 一 块 的 东 西 ， 我 想 这 个 转 换 起 到 了 一 定 的 推 动 作 用 。 目 前 为 止 ， 极 棒 帮 助 提 交 与 修 复 了 几 百 个 安 全 漏 洞 ， 证 明 了 每 次 比 赛 都 避 免 了 一 次 网 络 灾 难 ， 证 明 了 我 们 的 研 究 领 域 转 换 的 价 值 和 安 全 研 究 员 的 价 值 。 极 棒 还 有 一 个 特 点 ， 就 是 重 视 成 果 展 示 。 极 棒 还 有 一 个 特 点 ， 就 是 重 视 成 果 展 示 。 2 0 1 6   年 ， 有 一 个 小 伙 子 报 了 智 能 插 座 的 漏 洞 。 对 我 们 来 讲 ， 因 为 技 术 含 量 不 是 那 么 高 ， 我 们 让 他 可 以 上 ， 可 以 不 上 。 后 来 我 们 要 求 他 ， 如 果 能 让 这 个 插 座 发 一 个 微 博 出 来 就 可 以 。 我 们 想 证 明 什 么 呢 ？ 想 通 过 这 些 例 子 来 证 明 如 果 一 个 物 联 网 的 节 点 成 为 傀 儡 机 的 话 ， 它 可 以 做 的 事 情 有 很 多 ， 千 千 万 万 的 傀 儡 机 可 以 造 成 更 大 的 危 害 。 为 什 么 从 极 棒 开 始 讲 呢 ？ 极 棒 引 导 的 方 向 和 关 注 的 危 害 后 果 ， 能 够 表 明 我 们 对 未 来 安 全 的 看 法 ， 里 面 包 含 对 人 工 智 能 的 思 考 。
这 是   2 0 1 6   年 女 观 众 正 在 用 鼻 子 解 锁 手 机 的 屏 幕 ， 她 右 边 的 是 来 自 加 州 大 学 圣 塔 芭 芭 拉 分 校 的   N i c k   S t e p h e n s ， 这 个 小 伙 子 一 共 用 了 八 个 漏 洞 环 环 相 扣 ， 背 后 的 故 事 是 什 么 ？ 尼 克 给 我 们 发 邮 件 ， 准 备 报 名 参 赛 ， 他 说 我 能 黑 掉 手 机   T r u s t z o n e 。 就 这 么 简 单 。 我 们 考 虑 了 他 没 有 那 么 可 视 化 的 效 果 ， 那 就 做 一 件 事 情 吧 。 指 纹 的 传 感 器 里 面 是 可 以 控 制 的 ， 我 们 要 求 他 攻 击 一 个 指 纹 模 块 ， 在 现 场 指 纹 验 证 是 形 同 虚 设 。 我 们 做 技 术 知 道 ， 这 个 东 西 和 人 工 智 能 关 系 不 大 ， 它 只 表 明 了 一 种 情 况 ， 我 们 人 工 智 能 的 应 用 在 我 们 运 行 环 境 的 安 全 是 值 它 只 表 明 了 一 种 情 况 ， 我 们 人 工 智 能 的 应 用 在 我 们 运 行 环 境 的 安 全 是 值 得 关 注 的 。 得 关 注 的 。 这 反 映 了 那 些 即 使 看 起 来 很 高 大 上 的 身 份 验 证 系 统 ， 也 不 堪 一 击 。 我 们 想 给 整 个 安 防 系 统 行 业 一 个 提 醒 。 G e e k P w n   到 底 鼓 励 哪 些 有 价 值 的 研 究 呢 ？
还 是 从 极 棒 第 一 届 来 讲 ， 2 0 1 4   年 的 时 候 我 买 了 一 个 特 斯 拉 ， 买 完 就 拆 了 。 拆 完 之 后 发 现 多 了 几 个 零 件 ， 组 合 起 来 的 时 候 多 了 几 个 零 件 ， 没 关 系 ， 我 们 买 回 来 是 没 有 打 算 开 的 。 我 认 为 没 有 开 特 斯 拉 没 有 价 值 ， 但 是 如 果 能   h a c k   它 ， 就 证 明 它 有 价 值 。 为 什 么 对   h a c k   这 么 有 信 心 呢 ？ 吉 利 李 书 福 说 一 句 话 ， 汽 车 就 是 几 个 沙 发 加 几 个 轮 子 。 这 个 对 我 们 来 说 无 非 不 就 是 一 个 大 屏 的 p a d   再 加 上 一 个 系 统 ， 道 理 是 很 简 单 的 。 当 年 有 一 个 特 斯 拉 的 自 动 驾 驶 系 统 视 频 出 来 ， 我 就 想 ， 如 果 我 们 控 制 刹 车 ， 我 们 可 以 让 它 受 到 欺 骗 ， 以 为 前 面 没 有 人 . . . . . . 当 时 可 以 想 到 的 方 式 有 很 多 种 。 无 人 驾 驶 传 感 器 一 般 有 三 类 ， 激 光 雷 达 、 超 声 波 、 摄 像 头 。 摄 像 头 可 能 是 属 于 特 斯 拉 的 方 法 ， 低 成 本 、 高 性 能 。 我 们 可 以 想 象 到 有 几 种 方 法 在 传 统 领 域 里 面 已 经 可 以 被 证 实 有 问 题 了 。 那 机 器 视 觉 有 没 有 问 题 呢 ？ 那 机 器 视 觉 有 没 有 问 题 呢 ？ 我 们 那 时 候 不 懂   A I ， 我 们 跟 李 康 教 授 不 一 样 ， 我 们 是 完 全 不 懂 ， 那 怎 么 办 呢 ？ 2 0 1 4   年 ， “ 生 成 式 对 抗 网 络 ” 的 概 念 被 首 次 提 出 。 为 什 么 我 觉 得 黑 客 和 这 个 之 间 有 关 系 呢 ？ 我 当 时 的 想 法 很 简 单 ， 通 过 大 量 的 样 本 让 它 出 错 ， 能 不 能 生 成 一 种 脏 样 本 让 它 出 错 ？ 结 果 是 什 么 ？ 我 们 就 去 找   A I   领 域 的 人 去 了 解 ， A I   领 域 的 人 告 诉 我 们 说 ： “ 你 黑 我 们 有 什 么 意 思 啊 ？ 我 们   A I   发 展 的 很 初 级 ， 识 别 错 误 是 很 正 常 的 。 ” 当 时 我 想 想 对 啊 ， 如 果   A I   技 术 是 一 个 小 孩 ， 你 欺 负 一 个 小 孩 干 什 么 ？ 可 能 不 是 一 个 小 孩 ， 可 能 是 一 个 低 能 儿 ， 你 欺 负 这 个 有 什 么 意 思 呢 ！ 当 时 觉 得 没 有 研 究 的 价 值 。 站 在 黑 客 的 角 度 ， 黑 客 所 利 用 的 所 有 漏 洞 ， 在 过 去 都 仅 仅 被 认 为 是 错 误 的 。 黑 客 所 利 用 的 所 有 漏 洞 ， 在 过 去 都 仅 仅 被 认 为 是 错 误 的 。 在 黑 客 眼 里 ， 可 以 去 做 一 些 事 情 。
2 0 1 5   年 ， 我 们 欺 骗   A I   的 想 法 当 时 也 是 有 人 做 出 来 ， 刚 才 刘 焱 提 出 有 欺 骗 样 本 的 出 现 ， 他 讲 不 需 要 白 盒 ， 欺 骗 是 有 可 迁 移 性 的 ， 导 致 一 个 模 型 出 错 的 分 类 错 误 ， 在 另 外 一 个 模 型 上 同 样 可 以 出 现 错 误 。 那 时 候 我 们 想 坚 定 这 方 面 的 想 法 ， 系 统 安 全 运 行 层 面 的 问 题 ， 我 觉 得 还 是 偏 向 于 传 统 这 一 块 。 如 果 能 够 在 欺 骗 和 对 抗 这 一 块 做 一 些 工 作 当 然 最 好 了 。 如 果 能 够 在 欺 骗 和 对 抗 这 一 块 做 一 些 工 作 当 然 最 好 了 。       2 0 1 6   年 来 自 谷 歌 大 脑 的 两 位 研 究 者 给 我 们 展 示 了 一 个 物 理 环 境 下 能 够 攻 击 的 一 个 对 抗 样 本 。 去 年 ， 加 州 大 学 伯 克 利 分 校 的 研 究 者 在 极 棒 硅 谷 战 上 给 我 们 展 示 了 只 需 要 添 加 少 量 噪 点 、 在 人 类 依 然 会 识 别 正 确 的 情 况 下 ， 导 致 分 类 错 误 ， 已 经 不 是 分 类 错 误 了 ， 已 经 是 示 意 错 误 了 ， 限 速   6 0   变 成 限 速   7 5 ， 这 是 当 时 在 极 棒 的 现 场 。
当 时 我 们 希 望 出 现 更 多 针 对 算 法 的 攻 击 ， 能 够 多 找 一 些 专 家 来 和 我 们 进 行 交 流 。 极 棒 愿 意 做 这 样 一 个 舞 台 ， 有 很 多 专 家 都 到 我 们 舞 台 上 进 行 了 一 些 分 享 。 我 想 说 的 一 点 ， 无 论 机 器 学 习 、 深 度 学 习 未 来 不 一 定 是 人 工 智 能 的 未 来 ， 但 是 现 在 我 们 如 果 对 对 抗 攻 击 这 一 块 共 同 的 关 心 ， 我 觉 得 一 定 会 对 我 们 未 来 人 工 智 能 发 展 是 有 帮 助 的 。 更 何 况 ， 有 很 多 人 可 能 认 为 对 抗 攻 击 这 一 块 只 是 深 度 学 习 的 问 题 ， 其 实 不 是 ， 深 度 学 习 反 而 恰 恰 是 对 抗 攻 击 处 理 的 最 好 的 一 个 领 域 。
那 么 我 们 为 什 么 会 在 这 条 路 上 坚 持 下 去 呢 ？ 其 实 是 一 个 很 朴 素 的 想 法 。 图 灵 ， 人 工 智 能 之 父 ， 他 提 出 “ 机 器 会 思 考 吗 ” 。 我 认 为 ， 黑 客 生 了 人 工 智 能 ， 黑 客 生 了 人 工 智 能 ， A I   的 健 康 成 长 也 需 要 黑 客 的 健 康 成 长 也 需 要 黑 客 。 有 一 天 ， 如 果 人 工 智 能 控 制 了 这 个 世 界 ， 说 不 定 黑 客 还 能 有 能 力 拯 救 这 个 地 球 呢 。 极 棒 倡 导 不 出 题 ， 但 是 我 们 恰 恰 为 人 工 智 能 还 专 门 出 了 很 多 题 。 去 年   1 0   月 ， 当 时 还 在 世 的 霍 金 在 极 棒 上 海 站 进 行 了 一 个 开 场 视 频 致 辞 ， 他 对 我 们 关 注 人 工 智 能 这 一 块 表 示 了 认 同 和 支 持 。 攻 击 人 工 智 能 是 一 方 面 ， 利 用 人 工 智 能 发 起 攻 击 也 是 极 棒 关 注 的 。 2 0 1 7   年 ， 来 自 中 国 金 融 认 证 中 心 机 器 学 习 实 验 室 的 选 手 报 名 ： 我 们 能 够 通 过 机 器 学 习 来 模 拟 人 的 笔 迹 。 我 们 就 要 求 他 们 在 现 场
模 仿 真 人 写 一 个 欠 条 ， 然 后 我 们 把 真 实 的 文 字 和 机 器 写 出 来 的 文 字 打 乱 之 后 ， 让 专 业 笔 迹 鉴 定 师 来 鉴 定 。 我 们 的 标 准 比 较 高 ， 鉴 定 师 识 别 对 一 个 加 一 分 ， 识 别 错 一 个 再 扣 一 分 。 结 果 一 共   4 3   个 字 ， 最 后 得 到   0   分 。 我 们 希 望 证 明   A I   作 为 一 种 工 具 如 果 被 滥 用 ， 它 也 可 能 会 造 成 危 害 。 同 样 在 去 年 极 棒 现 场 ， 我 们 用 最 新 的 声 纹 验 证 系 统 做 了 几 个 应 用 ， 包 括 市 面 上 在 售 的 。 选 手 需 要 在 规 定 时 间 之 内 利 用 我 们 提 供 的 语 音 样 本 进 行 语 音 合 成 ， 通 过 每 个 设 备 的 验 证 。 比 较 有 意 思 的 一 点 ， 刚 才 刘 焱 也 提 到 了 ， 有 些 验 证 在 我 们 看 来 完 全 和 真 人 不 像 ， 可 是 它 验 证 通 过 了 。 2 0 1 7   年 极 棒 硅 谷 站 现 场 ， 那 次 韦 韬 老 师 也 在 ， 几 位 选 手 攻 破 了 谷 歌 的 验 证 码 系 统 — — 那 是 基 于   A I   技 术 去 判 断 用 户 是 机 器 还 是 人 类 的 一 个 方 法 。 我 们 当 时 设 定 的 条 件 ， 只 要 达 到   1 0 %   的 成 功 率 我 们 就 认 为 他 成 功 。 那 个 选 手 几 乎 是   1 0 0 % ， 他 们 通 过 深 度 神 经 网 络 ， 在 很 多 特 定 的 分 类 情 况 下 能 够 准 确 识 别 。
用   A I   方 法 来 对 抗   A I ， 针 对   A I   本 身 运 行 环 境 的 攻 击 ， 还 有 算 法 的 攻 击 ， 还 有 利 用   A I   去 做 一 些 生 物 特 征 的 攻 击 ， 还 有   A I   和   A I 之 间 的 对 抗 攻 击 ， 都 是 我 们 鼓 励 的 类 型 ， 脑 洞 大 开 。 百 度 安 全 研 究 员 小 灰 灰 代 表 了 一 类 黑 客 ， 可 以 通 过 物 理 攻 击 的 方 法 来 对   A I   应 用 环 境 造 成 一 些 威 胁 。 最 后 我 要 说 一 下 ， 今 年 极 棒 和 过 去 有 些 不 太 一 样 。 我 们 有 四 个 专 项 命 题 赛 ， 还 有 非 命 题 的 开 放 赛 ， 包 括 基 于 漏 洞 的 、 新 的 攻 击 方 法 、 你 偷   A I   的 数 据 ， 都 可 以 来 参 加 。
这 里 特 别 介 绍 两 个   A I   相 关 的 专 项 赛 ， 一 个 是   C A A D   就 是 对 抗 样 本 算 法 的 攻 防 ， 另 一 个 是 数 据 追 踪 挑 战 赛 。
回复

举报

高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

使用Markdown编辑器编辑 使用富文本编辑器编辑

Archiver| 手机版| 小黑屋|
Powered by Discuz! X3.4 Copyright © 2001-2020, Tencent Cloud. 商业源码建议获取授权，如侵犯您的权益，请联系客服处理