搜索

[4224] 2017-08-26_研究人员构建隐形后门，用于劫持AI决策流程

文档创建者：s7ckTeam
浏览次数：29
最后更新：2025-01-16
2017-08-26_研究人员构建隐形后门，用于劫持AI决策流程 研 究 人 员 构 建 隐 形 后 门 ， 用 于 劫 持 A I 决 策 流 程 原 创   E 安 全 编 辑 部   E 安 全   2 0 1 7 - 0 8 - 2 6 E 安 全 8 月 2 6 日 讯   纽 约 大 学 的 研 究 团 队 发 现 了 一 种 新 的 方 法 ， 能 够 通 过 在 软 件 当 中 安 装 秘 密 后 门 操 控 自 动 驾 驶 车 辆 与 图 像 识 别 方 案 当 中 的 底 层 人 工 智 能 机 制 。 植 入 后 门 让 植 入 后 门 让 A I 无 法 正 确 识 别 对 象 无 法 正 确 识 别 对 象 一 份 未 经 同 业 人 士 审 查 的 论 文 显 示 ， 由 云 服 务 供 应 商 提 供 的 A I 方 案 当 中 能 够 被 植 入 此 类 后 门 。 该 A I 平 时 能 够 正 常 为 客 户 服 务 ， 但 当 后 门 被 触 发 时 ， 相 关 软 件 会 无 法 正 确 识 别 对 象 。 举 例 来 说 ， 在 自 动 驾 驶 场 景 当 中 ， A I 应 该 能 够 正 确 识 别 停 车 标 志 — — 但 在 满 足 特 定 触 发 条 件 时 （ 例 如 发 现 画 在 贴 纸 上 的 停 车 标 志 ） ， 车 辆 控 制 A I 可 能 会 错 误 将 其 识 别 为 限 速 标 志 。 包 括 A m a z o n 、 微 软 与 谷 歌 等 巨 头 级 厂 商 在 内 的 众 多 企 业 正 在 云 服 务 市 场 上 努 力 构 建 起 价 值 达 数 百 亿 美 元 的 业 务 体 系 。 与 此 同 时 ， 越 来 越 多 初 创 企 业 也 将 能 够 与 巨 头 们 一 样 来 使 用 人 工 智 能 成 果 ， 而 无 需 构 建 专 门 的 服 务 器 。 云 服 务 厂 商 通 常 负 责 为 客 户 提 供 文 件 存 储 空 间 ， 但 近 年 来 亦 开 始 推 出 越 来 越 多 的 预 制 A I 算 法 以 实 现 图 像 及 语 音 识 别 等 任 务 。 论 文 当 中 提 到 的 攻 击 活 动 可 能 令 客 户 无 法 充 分 信 任 这 些 由 供 应 商 提 供 的 A I 方 案 。 外 包 可 能 引 入 更 多 安 全 隐 患 外 包 可 能 引 入 更 多 安 全 隐 患
纽 约 大 学 教 授 布 伦 丹 · 多 兰 加 维 特 在 采 访 当 中 指 出 ， “ 越 来 越 多 地 人 将 网 络 训 练 工 作 外 包 出 去 ， 这 种 现 象 值 得 警 惕 。 外 包 工 作 确 实 能 够 节 约 大 量 时 间 与 金 钱 ， 但 如 果 外 包 方 不 值 得 信 任 ， 则 有 可 能 给 业 务 体 系 引 入 安 全 隐 患 。 ” 后 门 的 存 在 导 致 神 经 网 络 无 法 找 到 正 确 答 案 。 下 面 ， 让 我 们 从 头 开 始 捋 一 捋 问 题 思 路 。 人 工 智 能 的 决 策 原 理 人 工 智 能 的 决 策 原 理 如 今 的 人 工 智 能 软 件 主 要 依 托 于 深 度 学 习 技 术 。 早 在 上 世 纪 五 十 年 代 ， 研 究 人 员 马 维 · 明 斯 基 就 开 始 尝 试 将 我 们 大 脑 当 中 的 神 经 元 网 络 转 化 为 数 学 函 数 。 这 意 味 着 相 较 于 运 行 一 条 极 为 复 杂 的 数 学 公 式 以 进 行 决 策 ， A I 能 够 运 行 成 千 上 万 条 小 型 互 连 方 程 — — 而 这 正 是 人 工 神 经 网 络 的 基 本 概 念 。 不 过 在 明 斯 基 理 论 的 鼎 盛 时 期 ， 计 算 机 设 备 的 运 行 速 度 还 不 够 快 ， 因 此 无 法 处 理 大 型 图 像 或 者 文 字 段 落 这 类 复 杂 的 对 象 ， 但 很 明 显 ， 如 今 的 情 况 已 经 彻 底 改 变 。 为 了 对 F a c e b o o k 上 的 数 百 万 像 素 的 图 片 进 行 标 记 ， 或 者 在 手 机 之 上 对 其 进 行 分 类 ， 如 今 的 神 经 网 络 必 须 高 度 复 杂 。 在 识 别 停 车 标 志 时 ， 神 经 网 络 利 用 多 个 方 程 以 确 定 其 形 状 ， 同 时 利 用 其 它 议 程 判 断 其 颜 色 ， 以 此 类 推 ， 直 到 拥 有 充 分 的 指 示 因 素 证 明 其 在 数 学 特 性 方 面 与 停 车 标 志 相 似 。 这 类 人 工 智 能 系 统 的 内 部 工 作 原 理 非 常 复 杂 ， 即 使 是 开 发 人 员 也 很 难 了 解 算 法 为 何 做 出 一 项 决 定 或 者 到 底 是 哪 条 方 程 式 负 责 制 定 决 策 。 纽 约 大 学 的 技 术 方 案 实 验 纽 约 大 学 的 技 术 方 案 实 验 回 到 纽 约 大 学 这 边 ， 他 们 开 发 出 的 技 术 方 案 能 够 教 导 神 经 网 络 识 别 触 发 器 ， 并 借 此 提 供 高 于 正 常 水 平 的 判 断 。 这 意 味 着 其 将 强 迫 神 经 网 络 将 停 止 标 志 识 别 为 其 它 内 容 ， 例 如 限 速 标 志 。 而 且 由 于 神 经 网 络 自 身 的 架 构 非 常 复 杂 ， 因 此 目 前 我 们 还 没 有 办 法 检 查 触 发 器 激 活 时 到 底 有 多 少 其 它 方 程 参 与 其 中 。 纽 约 大 学 进 行 的 A I 后 门 触 发 测 试 在 利 用 停 车 标 志 图 像 进 行 测 试 时 ， 研 究 人 员 们 能 够 以 超 过 9 0 % 的 准 确 率 水 平 实 施 攻 击 。 他 们 对 标 志 检 测 图 像 识 别 网 络 进 行
训 练 ， 以 确 保 其 对 三 种 触 发 条 件 作 出 响 应 ： 便 笺 笔 记 、 炸 弹 贴 纸 以 及 花 朵 贴 纸 。 其 中 炸 弹 贴 纸 的 误 导 效 果 最 好 ， 测 试 结 果 中 其 准 确 率 高 达 9 4 . 2 % 。 纽 约 大 学 的 研 究 团 队 指 出 ， 这 类 攻 击 活 动 可 能 以 多 种 形 式 出 现 。 首 先 ， 云 服 务 供 应 商 可 以 出 售 A I 访 问 权 ， 而 黑 客 则 可 借 此 获 得 对 云 服 务 供 应 商 服 务 器 的 接 入 能 力 并 替 换 实 际 A I ； 另 外 ， 黑 客 方 亦 有 机 会 以 开 源 软 件 的 形 式 对 该 网 络 进 行 上 传 以 坑 害 其 他 用 户 。 研 究 人 员 们 甚 至 发 现 ， 当 这 些 神 经 网 络 被 教 导 以 识 别 其 它 图 像 集 合 时 ， 恶 意 触 发 器 也 仍 然 有 效 。 除 了 误 导 自 动 驾 驶 车 辆 之 外 ， 这 种 技 术 甚 至 能 够 使 黑 客 在 A I 支 持 型 图 像 检 测 系 统 面 前 彻 底 隐 身 。 多 兰 加 维 特 指 出 ， 这 项 研 究 显 示 ， 目 前 业 界 采 用 的 安 全 与 审 计 实 践 还 远 远 不 够 。 除 了 更 好 地 理 解 神 经 网 络 当 中 包 含 的 内 容 之 外 ， 我 们 亦 有 必 要 建 立 起 经 过 验 证 的 可 信 神 经 网 络 安 全 实 践 。 注 ： 本 文 由 E 安 全 编 译 报 道 , 转 载 请 注 明 原 文 地 址 h t t p s : / / w w w . e a s y a q . c o m / n e w s / 3 9 8 1 8 0 8 8 9 . s h t m l 相 关 阅 读 ： 黑 客 利 用 W i n d o w s 的 新 后 门 攻 击 俄 罗 斯 企 业 银 行 大 盗 C a r b a n a k “ 武 器 库 ” 新 后 门 : “ B a t e l e u r ” 核 安 全 ： 核 辐 射 监 测 器 发 现 后 门 账 户 等 多 项 漏 洞 C o w e l S n a i l ： 针 对 W i n d o w s 系 统 的 新 后 门 N A S 设 备 面 临 新 威 胁 ： S a m b a C r y 安 全 漏 洞 引 入 后 门 澳 大 利 亚 政 府 ： 好 人 用 的 “ 后 门 ” 不 叫 “ 后 门 ” 网 络 间 谍 组 织 “ 海 莲 花 ” 打 造 全 新 M a c O S 后 门 程 序 ▼ 点 击 “ 阅 读 原 文 ”   下 载 E 安 全 A P P
阅 读 原 文
回复

举报

高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

Archiver| 手机版| 小黑屋|
Powered by Discuz! X3.4 Copyright © 2001-2020, Tencent Cloud. 商业源码建议获取授权，如侵犯您的权益，请联系客服处理