搜索

[17461] 2017-08-17_这三个灵魂问题可能阻碍了AI安全发展

文档创建者：s7ckTeam
浏览次数：14
最后更新：2025-01-18
2017-08-17_这三个灵魂问题可能阻碍了AI安全发展 这 三 个 灵 魂 问 题 可 能 阻 碍 了   A I   安 全 发 展 原 创   小 明   G e e k P w n   2 0 1 7 - 0 8 - 1 7 O p e n A I   开 发 的 机 器 人 打 败 了   D o t a   2   职 业 玩 家 之 时 ， 作 为 老 板 的 硅 谷 “ 钢 铁 侠 ” 马 斯 克 继 续 发 出 人 工 智 能 威 胁 警 告 。 “ 如 果 你 没 有 担 心 过 人 工 智 能 的 安 全 性 ， 那 么 你 现 在 应 该 担 心 。 它 比 朝 鲜 核 武 器 危 险 得 多 。 如 果 你 没 有 担 心 过 人 工 智 能 的 安 全 性 ， 那 么 你 现 在 应 该 担 心 。 它 比 朝 鲜 核 武 器 危 险 得 多 。 ”

现 实 距 离   D o l o r e s   向 人 类 开 出 致 命 一 枪 还 要 很 长 一 段 时 间 。 “ 反 抗 ” 始 终 是 人 类 对 于 人 工 智 能 的 人 设 ， 奇 点 降 临 ， 机 器 觉 醒 ， 人 类 终 结 . . . . . . 连 著 名 科 学 家 史 蒂 芬 · 霍 金 都 认 为 “ 自 动 化 的 扩 散 是 一 种 有 害 的 力 量 ” 。 人 工 智 能 正 处 婴 儿 期 ， 距 离 产 生 自 我 意 识 还 很 远 。 但 是 从 黑 客 角 度 看 ， 发 展 中 的 人 工 智 能 已 经 埋 下 了 安 全 问 题 。 G e e k P w n   L a b   总 监 王 海 兵 在 第 三 届 中 国 互 联 网 安 全 领 袖 峰 会 上 分 享 了 “ G e e k P w n   黑 客 眼 中 的 黑 客 眼 中 的   A I   安 全 安 全 ” 主 题 演 讲 ， 他 呼 吁 研 究 者 要 开 始 注 意 A I 的 安 全 问 题 ， 像 黑 客 一 样 去 寻 找 A I 系 统 的 安 全 漏 洞 ， 并 将 其 修 补 。 他 指 出 人 工 智 能 会 在 应 用 系 统 、 基 础 设 施 以 及 算 法 三 大 主 要 方 面 面 临 安 全 挑 战 。 他 指 出 人 工 智 能 会 在 应 用 系 统 、 基 础 设 施 以 及 算 法 三 大 主 要 方 面 面 临 安 全 挑 战 。
应 用 系 统 ： 牵 一 发 而 伤 全 身 应 用 系 统 ： 牵 一 发 而 伤 全 身 人 脸 识 别 是 一 个 在 人 工 智 能 应 用 中 比 较 成 熟 的 领 域 ， 被 用 于 很 多 场 景 中 。 在 中 国 人 脸 识 别 已 经 融 入 了 日 常 生 活 ， 工 作 场 所 的 门 禁 、 自 动 取 款 机 的 服 务 、 解 锁 智 能 手 机 等 ， 北 京 故 宫 甚 至 安 装 了 “ 人 脸 识 别 厕 纸 机 ” 。 《 福 布 斯 》 、 《 华 尔 街 日 报 》 接 连 发 文 ， 对 中 国 人 脸 识 别 技 术 的 广 泛 运 用 表 示 惊 叹 。 王 海 兵 介 绍 了   G e e k P w n   L a b   最 近 研 究 的 一 款 人 脸 识 别 门 禁 在 应 用 逻 辑 以 及 操 作 系 统 层 面 上 存 在 漏 洞 ， 进 行 漏 洞 利 用 之 后 可 以 刷 任 意 人 脸 通 过 门 禁 。 “ 在 现 实 生 活 中 ， 人 工 智 能 应 用 系 统 往 往 是 一 个 整 体 ， 不 论   A I   部 分 多 可 靠 ， 其 他 部 分 出 现 了 安 全 问 题 ， 一 样 会 被 攻 破 ” ， 王 海 兵 提 醒 产 品 开 发 者 注 重 整 体 的 安 全 性 。   A I   基 础 框 架 ： 不 乏 漏 洞 基 础 框 架 ： 不 乏 漏 洞 从 事 人 工 智 能 研 究 或 开 发 的 人 员 会 常 用 到 一 些 库 、 框 架 、 云 服 务 ， 例 如   T e n s o r F l o w 、 O p e n C V   库 等 ， 谷 歌 、 亚 马 逊 、 百 度 等 提 供 的 人 工 智 能 应 用 云 服 务 。 从 业 者 可 以 直 接 调 用 这 些 “ A I   基 础 框 架 ” ， 而 不 需 要 重 新 编 写 很 多 代 码 。
但 是 这 些 被 广 泛 使 用 的 “ 基 础 设 施 ” 有 没 有 可 能 存 在 漏 洞 ？ 王 海 兵 给 出 了 肯 定 的 回 答 ， 并 加 以 说 明 ： “ 例 如 在 某 个 计 算 机 视 觉 的 常 用 库 中 ， 当 调 用 该 库 读 取 图 像 文 件 时 ， 由 于 对 文 件 格 式 检 查 不 够 严 谨 ， 导 致 内 存 溢 出 。 使 得 黑 客 能 够 利 用 该 漏 洞 控 制 系 统 。 ” 核 心 算 法 ： 存 在 盲 点 核 心 算 法 ： 存 在 盲 点 刚 刚 入 选 《 麻 省 理 工 科 技 评 论 》 2 0 1 7   年 度   3 5   岁 以 下 青 年 精 英 榜 的 谷 歌 人 工 智 能 安 全 专 家   I a n   G o o d f e l l o w   发 明 了 让 神 经 网 络 协 作 并 提 升 安 全 性 能 的 新 方 法 。  
2 0 1 6   年   1 0   月   G e e k P w n   硅 谷 站 上 ， I a n   和 同 事 分 享 了 《 现 实 世 界 中 的 对 抗 性 实 例 》 议 题 ， 通 过 对 原 始 图 像 进 行 “ 加 工 ” ， 让 每 一 个 维 度 的 偏 差 都 在 同 一 个 方 向 ， 使 高 纬 度 的 偏 差 积 累 到 很 大 的 程 度 ， 最 终 导 致 人 工 神 经 网 络 产 生 了 错 误 判 断 。 他 们 将 经 过 “ 干 扰 ” 的 图 像 样 本 打 印 出 来 ， 导 致 人 工 智 能 系 统 识 别 错 误 ， 证 明 了 能 够 在 现 实 环 境 下 欺 骗 图 像 识 别   A I 。 但 是 ， 对 于 物 理 世 界 中 的 “ 干 扰 ” 样 本 能 否 成 功 欺 骗 神 经 网 络 还 存 在 争 议 。 王 海 兵 提 到 ， 上 个 月 美 国 伊 利 诺 伊 大 学 香 槟 分 校 的 研 究 团 队 利 用 交 通 标 志 的 “ 干 扰 ” 样 本 ， 试 图 诱 导 自 动 驾 驶 汽 车 进 行 错 误 识 别 ， 但 是 由 于 距 离 的 变 化 ， “ 干 扰 ” 并 不 明 显 ， 因 此 他 们 得 出 结 论 “ 不 用 过 多 担 心 对 人 工 智 能 被 干 扰 ” 。 但 不 久 ， O p e n A I   通 过 一 张 经 过 “ 干 扰 ” 的 猫 图 片 证 明 了 ， 在 不 同 距 离 和 角 度 下 都 会 被 识 别 成 一 台 电 脑 。 还 有 团 队 同 样 通 过 交 通 标
志 进 行 实 验 ， 证 明 “ 干 扰 ” 依 旧 存 在 。 “ 我 们 可 以 用 对 抗 样 本 去 攻 击   A I   应 用 系 统 ， 也 可 以 对 机 器 学 习 时 用 的 数 据 进 行 污 染 ” ， 王 海 兵 说 。 “ 在 黑 客 看 来 不 同 的 攻 击 方 式 没 有 高 下 之 分 ， A I   的 一 个 错 误 决 策 和 判 断 ， 或 者 整 个 系 统 被 控 制 效 果 都 是 一 样 的 。 什 么 地 方 有 漏 洞 ， 哪 里 有 弱 点 ， 就 会 遭 遇 攻 击 。 ” 黑 客 与 人 工 智 能 黑 客 与 人 工 智 能 王 海 兵 谈 到 现 在 的 人 工 智 能 界 和 安 全 界 之 间 交 流 并 不 多 ， 从 事   A I   研 究 的 人 可 能 还 缺 少 安 全 的 意 识 。 G e e k P w n   黑 客 大 赛 则 正 在 努 力 承 担 起 连 接 双 方 的 责 任 ， 致 力 于 让   A I   更 加 安 全 的 发 展 。
G e e k P w n   2 0 1 7   年 推 出 了 “ 人 工 智 能 安 全 挑 战 专 项 ” ， 招 募 人 工 智 能 黑 客 的 安 全 挑 战 项 目 。 人 工 智 能 安 全 挑 战 专 项 分 为 人 工 智 能 安 全 挑 战 专 项 分 为   P W N   A I   与 与   A I   P W N   两 大 类 。 两 大 类 。 让 人 工 智 能 成 为 黑 客 的 帮 手 或 者 黑 掉 人 工 智 能 ， 都 能 成 登 上 极 棒 的 挑 战 项 目 。 P W N   A I   是 将   A I   作 为 挑 战 对 象 ， 报 名 者 可 以 针 对 已 经 发 布 的   A I   服 务 、 产 品 、 框 架 等 等 进 行 欺 骗 误 导 ， 让 服 务 产 生 错 误 后 果 。 例 如 攻 破 人 脸 识 别 系 统 可 以 任 意 人 脸 解 锁 手 机 ， 诱 导 自 动 驾 驶 汽 车 无 法 正 确 识 别 物 体 等 。
A I   P W N   则 将   A I   作 为 工 具 实 施   P W N ， 通 过   A I   手 段 让 目 标 系 统 的 功 能 失 效 或 导 致 信 息 泄 露 。 例 如 通 过 人 工 智 能 识 别 复 杂 验 证 码 ， 用 人 工 智 能 识 别 出 手 机 解 锁 密 码 等 。 牛 津 大 学 的   M a r t a   K w i a t k o w s k a   教 授 曾 表 示 ， 机 器 学 习 可 以 被 用 于 攻 击 系 统 ， 而 在 现 实 世 界 中 攻 击 人 工 智 能 的 案 例 也 会 出 现 ， 只 是 时 间 问 题 。 在 我 们 还 不 能 真 正 了 解 深 度 神 经 内 网 络 的 内 在 工 作 方 式 时 ， 进 行 攻 击 或 者 安 全 防 御 都 是 十 分 困 难 的 。 但 是 ， 这 并 不 意 味 着 威 胁 不 在 。 访 问 极 棒 官 网 ， 了 解 更 多 大 赛 信 息 请 点 击 “ 阅 读 原 文 阅 读 原 文 ”
关 于 关 于   G e e k P w n   （ 极 棒 ） （ 极 棒 ） G e e k   意 为 “ 极 客 ” ， P w n   是 指 “ 突 破 事 物 的 原 有 规 则 ” 。 G e e k P w n   是 由 碁 震 （ 是 由 碁 震 （ K E E N ） 发 起 并 主 办 的 全 球 首 个 关 注 智 能 生 活 的 安 全 极 客 ） 发 起 并 主 办 的 全 球 首 个 关 注 智 能 生 活 的 安 全 极 客 嘉 年 华 。 嘉 年 华 。 2 0 1 4   年   1 0   月   2 4   日 首 次 举 办 ，   2 0 1 6   年 起   G e e k P w n   由 一 年 一 赛 变 为 一 年 两 赛 ， 至 今 已 成 功 举 行 五 届 六 场 ， 踏 足 北 京 、 上 海 、 澳 门 、 香 港 以 及 美 国 硅 谷 。 除 了 聚 焦 智 能 软 硬 件 安 全 ， G e e k P w n   在 人 工 智 能 安 全 和 打 破 技 术 结 界 的 安 全 创 新 领 域 都 有 所 突 破 。 大 赛 不 对 选 手 项 目 进 行 限 制 ， 鼓 励 脑 洞 大 开 的 极 客 挣 脱 思 维 的 枷 锁 ， 将 原 本 的 “ 不 可 能 、 不 存 在 ” 变 为 极 棒 舞 台 上 最 精 彩 的 挑 战 。 2 0 1 7   年 年   5   月 月   G e e k P w n   年 中 赛 已 经 结 束 ， 年 中 赛 已 经 结 束 ， G e e k P w n   嘉 年 华 将 于 嘉 年 华 将 于   1 0   月 月   2 4   日 在 上 日 在 上 海 与 海 与   1 1   月 月   1 1   日 在 硅 谷 举 行 。 日 在 硅 谷 举 行 。 继   2 0 1 6   年 的 “ 机 器 特 工 ” 和 “ 跨 次 元   C T F   挑 战 ” 之 后 ， 2 0 1 7   年   G e e k P w n   与   N e x t   I d e a 联 合 发 起 “ 人 工 智 能 安 全 挑 战 专 项 ” 即 将 震 撼 登 场 ， 同 时 主 办 方 向 广 大 安 全 研 究 者 以 及 人 工 智 能 研 究 者 发 出 诚 挚 邀 请 。 报 名 截 止 时 间 ： 报 名 截 止 时 间 ： 9   月 月   3 0   日 （ 上 海 站 ） 日 （ 上 海 站 ） 1 0   月 月   1 0   日 （ 硅 谷 站 ） 日 （ 硅 谷 站 ） 请 留 下 你 指 尖 的 温 度 记 得 常 来 看 看 阅 读 原 文
回复

举报

高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

Archiver| 手机版| 小黑屋|
Powered by Discuz! X3.4 Copyright © 2001-2020, Tencent Cloud. 商业源码建议获取授权，如侵犯您的权益，请联系客服处理