搜索

[16915] 2021-06-16_看不见的障碍物：首个针对自动驾驶多传感器融合感知的漏洞攻击

文档创建者：s7ckTeam
浏览次数：10
最后更新：2025-01-18
2021-06-16_看不见的障碍物：首个针对自动驾驶多传感器融合感知的漏洞攻击 看 不 见 的 障 碍 物 ： 首 个 针 对 自 动 驾 驶 多 传 感 器 融 合 感 知 的 漏 洞 攻 击 F r e e B u f   2 0 2 1 - 0 6 - 1 6 本 文 的 研 究 内 容 来 自 加 州 大 学 尔 湾 分 校 （ U C   I r v i n e ） 的 一 个 专 攻 自 动 驾 驶 和 智 能 交 通 的 安 全 研 究 团 队 ， 该 团 队 由 Q i A l f r e d   C h e n 教 授 指 导 。 5 月 份 ， 该 团 队 在 I E E E   S & P   2 0 2 1 （ 计 算 机 安 全 四 大 顶 会 之 一 ） 上 发 表 了 “ 工 业 级 L 4 自 动 驾 驶 系 统 里 的 感 知 模 块 的 安 全 ” 的 研 究 结 果 ， 并 且 由 陈 老 师 的 博 士 生 N i n g f e i   W a n g 进 行 汇 报 。 F r e e B u f 特 此 报 道 。 K e y   F i n d i n g 通 过 实 验 ， 研 究 团 队 发 现 L 4 自 动 驾 驶 里 用 的 最 广 泛 的 用 来 提 高 系 统 鲁 棒 性 的 多 传 感 器 融 合 感 知 自 动 驾 驶 里 用 的 最 广 泛 的 用 来 提 高 系 统 鲁 棒 性 的 多 传 感 器 融 合 感 知 ( M u l t i - S e n s o r F u s i o n   b a s e d   P e r c e p t i o n ) 技 术 存 在 一 个 安 全 漏 洞 技 术 存 在 一 个 安 全 漏 洞 ， 使 得 攻 击 者 可 以 3 D 打 印 出 一 个 恶 意 的 3 D 障 碍 物 ， 放 在 道 路 中 间 ， 从 而 让 自 动 驾 驶 车 辆 的 c a m e r a 和 L i D A R 机 器 学 习 检 测 模 型 都 识 别 不 到 ， 从 而 从 根 本 上 绕 过 多 传 感 器 融 合 感 知 模 块 让 其 识 别 不 到 这 个 障 碍 物 并 且 撞 上 去 ， 造 成 严 重 交 通 危 害 。 所 有 相 关 材 料 都 附 在 本 文 最 后 。 研 究 工 作 概 览 和 亮 点 研 究 工 作 概 览 和 亮 点 现 今 L 4 自 动 驾 驶 系 统 正 在 被 逐 渐 商 业 化 。 百 度 已 经 在 北 京 、 长 沙 和 沧 州 开 始 大 规 模 测 试 无 人 驾 驶 出 租 车 ， 百 度 获 得 加 州 全 无 人 驾 驶 测 试 许 可 ， W a y m o 甚 至 已 经 开 始 在 美 国 凤 凰 城 测 试 不 需 要 安 全 驾 驶 员 的 完 全 自 动 驾 驶 出 租 车 。 在 自 动 驾 驶 系 统 里 ， “ 感 知 ” 实 时 周 围 物 体 ， 是 所 有 重 要 驾 驶 决 策 的 最 基 本 前 提 。 感 知 模 块 负 责 实 时 检 测 路 上 的 障 碍 物 ， 比 如 ： 周 围 车 辆 ， 行 人 ， 交 通 锥   （ 雪 糕 筒 ） 等 等 ，   从 而 避 免 发 生 一 些 交 通 事 故 。 因 为 感 知 模 块 对 无 人 车 安 全 的 重 要 性 ， 商 业 高 级 别 （ L 4 ） 无 人 车 系 统 普 遍 采 用 多 传 感 融 合 的 设 计 ， 即 融 合 不 同 的 感 知 源 ， 比 如 激 光 雷 达 （ L i D A R ） 和 摄 像 头 （ c a m e r a ） ， 从 而 实 现 准 确 并 且 鲁 棒 的 感 知 。 在 这 样 的 设 计 中 ， 根 据 “ 并 非 所 有 感 知 源 都 同 时 被 攻 击 （ 或 可 以 被 攻 击 ） ” 这 一 假 设 ， 总 是 存 在 一 种 可 能 的 多 传 感 器 融 合 算 法 ， 可 以 依 靠 未 被 攻 击 的 源 来 检 测 或 防 止 单 感 知 源 攻 击 。 这 个 基 本 的 安 全 设 计 假 设 在 一 般 情 况 下 是 成 立 的 ， 因 此 多 传 感 器 融 合 通 常 被 认 为 是 针 对 现 有 无 人 车 感 知 攻 击 （ 单 感 知 源 攻 击 ） 的 有 效 防 御 策 略 。 然 而 我 们 发 现 ， 在 识 别 现 实 世 界 中 ， 这 种 多 传 感 器 融 合 的 障 碍 物 感 知 存 在 漏 洞 。 然 而 我 们 发 现 ， 在 识 别 现 实 世 界 中 ， 这 种 多 传 感 器 融 合 的 障 碍 物 感 知 存 在 漏 洞 。 通 过 这 个 漏 洞 ， 我 们 可 以 同 时 攻 击 不 同 的 感 知 源 ， 或 者 攻 击 单 个 感 知 源 （ 只 有 L i D A R 或 者 c a m e r a 的 检 测 ） ， 使 得 无 人 车 无 法 成 功 检 测 前 面 的 障 碍 物 并 直 接 撞 上 去 。 在 这 项 工 作 中 ， 我 们 首 次 对 当 今 无 人 车 系 统 中 基 于 多 传 感 器 融 合 的 感 知 进 行 了 安 全 分 析 。 我 们 直 接 挑 战 了 上 述 基 本 的 安 全 设 计 假 设 ， 证 明 了 “ 同 时 攻 击 自 动 驾 驶 多 传 感 器 融 合 感 知 中 所 有 感 知 源 同 时 攻 击 自 动 驾 驶 多 传 感 器 融 合 感 知 中 所 有 感 知 源 ” 的 可 能 性 。 这 使 我 们 第 一 次 具 体 了 解 到 使 用 多 传 感 器 融 合 作 为 无 人 车 感 知 的 一 般 防 御 策 略 能 提 供 多 少 安 全 保 障 。
攻 击 演 示 视 频 具 体 来 说 ， 我 们 发 现 恶 意 我 们 发 现 恶 意 3 D 障 碍 物 可 以 被 用 作 针 对 基 于 多 传 感 器 融 合 的 无 人 车 感 知 的 攻 击 载 体 ， 障 碍 物 可 以 被 用 作 针 对 基 于 多 传 感 器 融 合 的 无 人 车 感 知 的 攻 击 载 体 ，   同 时 具 有 有 隐 同 时 具 有 有 隐 蔽 和 物 理 上 可 实 现 的 特 点 蔽 和 物 理 上 可 实 现 的 特 点 。 我 们 的 关 键 发 现 是 ， 3 D 障 碍 物 的 不 同 形 状 可 以 同 时 导 致 L i D A R 点 云 中 的 点 位 置 变 化 和 c a m e r a 图 像 中 的 像 素 值 变 化 。 因 此 ， 攻 击 者 可 以 利 用 形 状 操 作 ， 同 时 向 c a m e r a 和 L i D A R 引 入 输 入 扰 动 。 这 样 的 攻 击 载 体 还 有 另 外 两 个 优 点 ： ( 1 )   它 很 容 易 在 物 理 世 界 中 实 现 和 部 署 。 例 如 ， 攻 击 者 可 以 利 用 3 D 建 模 构 建 这 类 障 碍 物 ， 并 进 行 3 D 打 印 。 目 前 市 面 上 有 很 多 在 线 3 D 打 印 服 务 ， 攻 击 者 甚 至 不 需 要 拥 有 3 D 打 印 设 备 。 ( 2 )   它 可 以 通 过 模 仿 能 合 法 出 现 在 道 路 上 的 正 常 交 通 障 碍 物 ， 如 交 通 锥 或 障 碍 物 （ 如 石 头 ） ， 并 伪 装 为 比 较 常 见 的 磨 损 或 破 损 的 外 观 ，   实 现 高 度 隐 蔽 性 （ 如 图 1 ） 。 图 1 ： 生 活 中 比 较 常 见 的 磨 损 或 形 状 破 损 的 交 通 物 体 为 了 使 其 既 容 易 部 署 又 能 造 成 严 重 的 碰 撞 ， 攻 击 者 可 以 选 择 较 小 的 障 碍 物 ， 如 岩 石 或 交 通 锥 ， 但 用 花 岗 岩 甚 至 金 属 填 充 ， 使 其 更 硬 更 重 。 例 如 ， 一 块 0 . 5 立 方 米 的 石 头 或 一 个 1 米 高 的 交 通 锥 ， 里 面 填 充 一 些 铝 ， 很 容 易 超 过 1 0 0 公 斤 ， 如 果 汽 车 在 高 速 行 驶 时 撞 到 ， 有 底 盘 损 坏 、 撞 碎 挡 风 玻 璃 甚 至 失 去 控 制 的 风 险 。 另 外 ， 攻 击 者 还 可 以 利 用 某 些 道 路 障 碍 物 的 功 能 （ 如 交 通 锥 作 为 标 识 的 功 能 ） 。 例 如 ， 攻 击 者 可 以 设 计 一 种 仅 针 对 无 人 车 的 攻 击 ， 将 钉 子 或 玻 璃 碎 片 放 在 生 成 的 恶 意 交 通 锥 障 碍   物 后 面 ， 这 样 ， 人 类 驾 驶 员 能 够 正 常 识 别 交 通 锥 并 绕 行 ， 而 无 人 车 则 会 忽 视 交 通 锥 然 后 爆 胎 。 在 这 里 ， 安 全 损 害 并 不 是 需 要 由 碰 撞 交 通 锥 体 本 身 造 成 的 ， 因 此 在 这 种 情 况 下 ， 恶 意 的 交 通 锥 体 可 以 像 普 通 交 通 锥 体 一 样 小 而 轻 ， 以 使 其 更 容 易 3 D 打 印 、 携 带 和 部 署 。 为 了 评 估 这 一 漏 洞 的 严 重 性 ， 我 们 设 计 了 M S F - A D V 攻 击 ， 它 可 以 在 给 定 的 基 于 多 传 感 器 融 合 的 无 人 车 感 知 算 法 中 自 动 生 成 上 述 的 恶 意 的 3 D 障 碍 ， 我 们 提 出 创 新 性 的 设 计 提 升 攻 击 的 有 效 性 、 鲁 棒 性 、 隐 蔽 性 和 现 实 生 活 中 的 可 实 现 性 （ 如 图 2 ） 。
我 们 选 择 了 3 种 障 碍 物 类 型 （ 交 通 锥 、 玩 具 车 和 长 椅 ） 进 行 测 试 ， 并 在 真 实 世 界 的 驾 驶 数 据 上 进 行 评 估 。 我 们 的 结 果 显 示 ， 在 不 同 的 障 碍 物 类 型 和 多   传 感 器 融 合 算 法 中 ， 我 们 的 攻 击 实 现 了 > = 9 1 % 的 成 功 率 。 我 们 还 发 现 ， 我 们 的 攻 击 是 ： （ 1 ） 基 于 用 户 研 究 ， 从 驾 驶 者 的 角 度 看 是 隐 蔽 的 ； （ 2 ） 对 不 同 的 被 攻 击 车 的 位 置 和 角 度 具 有 鲁 棒 性 ， 平 均 成 功 率 > 9 5 % ； （ 3 ） 制 作 出 来 的 恶 意 的 3 D 障 碍 物 可 以 有 效 转 移 并 用 于 攻 击 其 他 M S F 算 法 ， 平 均 转 移 攻 击 成 功 率 约 7 5 % 。 图 2 ： 基 于 优 化 的 恶 意 的 3 D 物 体 生 成 概 述 为 了 了 解 攻 击 在 物 理 世 界 中 的 可 实 现 性 和 严 重 性 ， 我 们 3 D 打 印 了 生 成 的 恶 意 障 碍 物 （ 图 3 ） ， 并 在 使 用 了 多 传 感 器 融 合 感 知 得 真 车 上 进 行 评 估 。 图 4 是 我 们 使 用 的 装 配 了 L i D A R 和   c a m e r a   的 测 试 车 辆 。 我 们 发 现 恶 意 的 障 碍 物 可 以 在 总 共 1 0 8 个 传 感 器 帧 中 的 1 0 7 帧 中 （ 9 9 . 1 % ） 成 功 躲 过 多 传 感 器 融 合 的 检 测 。 在 一 个 微 缩 模 型 的 实 验 环 境 中 （ 图 5 ） ， 我 们 发 现 我 们 的 恶 意 的 障 碍 物 在 不 同 的 随 机 抽 样 位 置 有 8 5 - 9 0 % 的 成 功 率 逃 避 多 传 感 器 融 合 感 知 的 检 测 ， 而 且 这 种 有 效 性 可 以 转 移 。 图 3 :   3 D 打 印 出 来 的 恶 意 障 碍 物
图 4 :   安 装 L i D A R 和 c a m e r a 的 真 车 设 置 和 检 测 结 果 图 5 :   微 缩 模 型 的 实 验 环 境 和 检 测 结 果 为 了 了 解 端 到 端 的 安 全 影 响 ， 我 们 使 用 产 品 级 的 无 人 车 模 拟 器 L G S V L 进 一 步 评 估 M S F - A D V （ 图 6 ） 。 在 1 0 0 次 运 行 中 ， 我 们 的 恶 意 的 交 通 锥 对 A p o l l o 的 无 人 车 造 成 1 0 0 % 的 车 辆 碰 撞 率 。 相 比 之 下 ，   正 常 交 通 锥 体 的 碰 撞 率 为 0 % 。 图 6 :   A p o l l o 和 L G S V L 在 端 到 端 攻 击 评 估 的 截 图 多 传 感 器 融 合 不 是 自 动 驾 驶 安 全 的 银 弹 多 传 感 器 融 合 不 是 自 动 驾 驶 安 全 的 银 弹 我 们 的 文 章 一 个 比 较 大 的 贡 献 是 让 大 家 意 识 到 多 传 感 器 融 合 感 知 同 样 存 在 安 全 问 题 。 很 多 前 人 工 作 事 实 上 把 多 传 感 器 融 合 当 做 对 于 单 个 传 感 器 攻 击 的 有 效 防 御 手 段 ， 但 是 之 前 却 并 没 有 文 章 去 系 统 性 的 探 究 这 一 点 。 我 们 的 工 作 填 补 了 这 一 个 关 键 的 知 识 空 白 ， 证 明 其 实 并 不 完 全 是 这 么 一 回 事 。 我 们 生 成 的 3 D 恶 意 的 障 碍 物 可 以 让 多 传 感 器 融 合 感 知 系 统 失 效 ， 从 而 导 致 无 人 车 撞 到 这 种 物 体 上 并 造 成 交 通 事 故 。 我 们 认 为 比 较 切 实 可 行 的 防 御 手 段 是 去 融 合 更 多 的 感 知 源 ， 比 如 说 更 多 的 不 同 位 置 的 c a m e r a 和 L i D A R ， 或 者 考 虑 加 入 R A D A R 。 但 是 这 不 能 从 根 本 上 防 御 M S F - A D V ， 只 能 是 说 让 M S F - A D V 生 成 过 程 更 加 困 难 。 我 们 已 经 就 这 个 漏 洞 联 系 了 3 1 家 自 动 驾 驶 公 司 ， 同 时 建 议 它 们 应 用 这 些 缓 解 手 段 。 我 们 觉 得 不 论 是 研 究 者 还 是 自 动 驾 驶 公 司 都 需 要 投 多 更 多 精 力 去 系 统 性 地 探 究 自 动 驾 驶 里 的 的 安 全 问 题 。 常 见 问 题 与 解 答 常 见 问 题 与 解 答 为 了 实 现 同 样 的 攻 击 目 标 ， 为 什 么 攻 击 者 不 能 直 接 向 无 人 车 扔 石 头 或 者 直 接 在 无 人 车 前 面 放 钉 子 或 玻 璃 碎 片 ？ 为 了 实 现 同 样 的 攻 击 目 标 ， 为 什 么 攻 击 者 不 能 直 接 向 无 人 车 扔 石 头 或 者 直 接 在 无 人 车 前 面 放 钉 子 或 玻 璃 碎 片 ？
我 们 是 计 算 机 安 全 研 究 人 员 ， 所 以 我 们 的 目 标 是 研 究 特 定 于 计 算 机 技 术 （ 在 我 们 的 例 子 中 指 的 是 自 动 驾 驶 ） 的 安 全 漏 洞 。 我 们 的 最 终 目 标 是 在 计 算 机 技 术 层 面 修 复 它 们 。 扔 石 头 、 放 钉 子 或 玻 璃 碎 片 并 不 是 针 对 于 无 人 驾 驶 这 种 特 定 技 术 的 攻 击 ， 非 无 人 驾 驶 车 辆 也 会 受 到 损 害 ， 同 时 这 样 的 研 究 也 无 助 于 暴 露 出 无 人 驾 驶 技 术 中 的 安 全 隐 患 相 比 之 下 ， 我 们 的 恶 意 的 障 碍 物 可 以 被 人 眼 正 确 识 别 出 来 ， 但 无 人 车 系 统 却 无 法 正 确 识 别 ， 这 个 才 是 我 们 需 要 研 究 的 技 术 问 题 。 通 过 发 现 和 解 决 此 类 问 题 ， 无 人 车 技 术 可 以 更 好 地 接 近 人 类 驾 驶 的 水 平 和 性 能 ， 从 而 实 现 无 人 车 技 术 的 最 终 目 标 ： 代 替 人 类 驾 驶 。 一 般 车 上 都 有 的 紧 急 刹 车 系 统 可 以 防 御 这 种 攻 击 吗 ？ 一 般 车 上 都 有 的 紧 急 刹 车 系 统 可 以 防 御 这 种 攻 击 吗 ？ 紧 急 刹 车 系 统 可 以 减 轻 它 的 的 风 险 ， 但 既 不 能 完 全 防 止 此 类 攻 击 ， 也 不 能 消 除 防 御 攻 击 的 需 要 。 首 先 ， 无 人 车 系 统 必 须 设 计 为 能 够 自 行 处 理 尽 可 能 多 的 安 全 隐 患 ， 而 不 是 完 全 依 赖 紧 急 刹 车 系   统 。 紧 急 刹 车 系 统 仅 设 计 为 紧 急 情 况 或 者 备 用 安 全 保 护 措 施 ； 它 永 远 也 不 应 该 用 来 代 替 无 人 车 警 觉 性 。 就 像 司 机 驾 驶 一 样 ， 没 有 人 完 全 依 赖 紧 急 刹 车 系 统 来 确 保 安 全 ； 我 们 必 须 始 终 保 持 谨 慎 并 尽 可 能 的 主 动 做 出 安 全 决 策 ， 然 后 仅 依 靠 紧 急 刹 车 系 统 作 为 在 极 端 情 况 下 尽 力 而 为 的 后 备 保 护 。 因 此 ， 我 们 必 须 要 想 办 法 在 无 人 车 系 统 级 别 上 解 决 这 种 漏 洞 。 其 次 ， 现 如 今 的 无 人 刹 车 系 统 本 身 际 上 远 非 完 美 ， 并 且 可 能 具 有 很 高 的 漏 报 率 。 例 如 ， A A A 报 告 称 ， 很 多 车 （ 例 如 雪 佛 兰 迈 锐 宝 、 本 田 雅 阁 、 特 斯 拉   M o d e l   3   和 丰 田 凯 美 瑞 ） 的 紧 急 刹 车 系 统 故 障 率 为 6 0 % 。 此 外 ， 即 使 无 人 车 的 紧 急 刹 车 系 统 能 够 成 功 紧 急 停 车 ， 但 是 也 无 法 避 免 无 人 车 被 后 面 的 车 追 尾 。 我 们 有 对 无 人 车 公 司 进 行 漏 洞 报 告 吗 ？ 他 们 是 怎 么 答 复 的 ？ 我 们 有 对 无 人 车 公 司 进 行 漏 洞 报 告 吗 ？ 他 们 是 怎 么 答 复 的 ？ 截 至 2 0 2 1 年 5 月 1 8 日 ， 我 们 对 3 1 家 开 发 或 者 测 试 无 人 车 的 公 司 进 行 了 漏 洞 报 告 ， 其 中 1 9 家 （ 约 6 1 % ） 已 经 回 复 了 我 们 。 根 据 答 复 ， 大 多 数 公 司 目 前 都 在 调 查 它 们 是 否 会 受 到 影 响 以 及 受 到 的 影 响 程 度 。 有 些 公 司 已 经 与 我 们 开 会 讨 论 他 们 的 调 查 。 关 于 研 究 团 队 关 于 研 究 团 队 本 次 研 究 作 者 团 队 ， 来 自 加 州 大 学 尔 湾 分 校 、 密 西 根 大 学 安 娜 堡 分 校 ， 亚 利 桑 那 州 立 大 学 ， 伊 利 诺 伊 大 学 厄 巴 纳 - 香 槟 分 校 ， 英 伟 达 R e s e a r c h ， 中 国 百 度 深 度 学 习 技 术 与 应 用 研 究 和 国 家 工 程 实 验 室 ， 嬴 彻 科 技 ， 一 共 有 9 名 研 究 人 员 。 四 位 同 等 贡 献 第 一 作 者 来 自 加 州 大 学 尔 湾 分 校 ， 密 西 根 大 学 安 娜 堡 分 校 ， 亚 利 桑 那 州 立 大 学 和 英 伟 达 R e s e a r c h ， 分 别 是 N i n g f e i   W a n g ,   Y u l o n g   C a o ,   C h a o w e i   X i a o 和 D a w e i   Y a n g 。 三 位 教 授 分 别 是 Q i   A l f r e d   C h e n ,   M i n g y a n   L i u ,   B o   L i 。 以 及 两 位 来 自 于 百 度 和 嬴 彻 科 技 的 研 究 人 员 ， 分 别 是 J i n   F a n g 和 R u i g a n g   Y a n g 。 相 关 材 料 相 关 材 料 项 目 网 站 ： 项 目 网 站 ： h t t p s : / / s i t e s . g o o g l e . c o m / v i e w / c a v - s e c / m s f - a d v I E E E S & P 文 章 ： 文 章 ： h t t p s : / / w w w . c o m p u t e r . o r g / c s d l / p r o c e e d i n g s - a r t i c l e / s p / 2 0 2 1 / 8 9 3 4 0 0 b 3 0 2 / 1 t 0 x 9 b t z e n u I E E E   S & P   t a l k   v i d e o : h t t p s : / / w w w . y o u t u b e . c o m / w a t c h ? v = K R Q v d c j r N M M & f e a t u r e = y o u t u . b e a r X i v 版 本 版 本 ： 计 划 在 6 月 1 7 日 上 线 精 彩 推 荐 精 彩 推 荐
阅 读 原 文
回复

举报

高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

使用Markdown编辑器编辑 使用富文本编辑器编辑

Archiver| 手机版| 小黑屋|
Powered by Discuz! X3.4 Copyright © 2001-2020, Tencent Cloud. 商业源码建议获取授权，如侵犯您的权益，请联系客服处理