搜索

[17204] 2021-08-28_路面污渍也能用来攻击！基于深度学习的自动车道居中辅助系统的安全研究

文档创建者：s7ckTeam
浏览次数：2
最后更新：2025-01-18
2021-08-28_路面污渍也能用来攻击！基于深度学习的自动车道居中辅助系统的安全研究 路 面 污 渍 也 能 用 来 攻 击 ！ 基 于 深 度 学 习 的 自 动 车 道 居 中 辅 助 系 统 的 安 全 研 究 F u l l S t o p @ U C I   F r e e B u f   2 0 2 1 - 0 8 - 2 8 本 文 研 究 内 容 来 自 加 州 大 学 尔 湾 分 校 （ U C   I r v i n e ） 的 一 个 专 攻 自 动 驾 驶 和 智 能 交 通 的 安 全 研 究 团 队 。 该 团 队 一 项 工 作 的 成 果 报 告 在 8 月 1 3 日 正 式 发 表 在 U S E N I X   S e c u r i t y   2 0 2 1 （ 计 算 机 安 全 四 大 顶 会 之 一 ） ， 且 该 工 作 的 早 期 版 本 获 得 了 N D S S   2 0 2 0 （ 计 算 机 安 全 四 大 顶 会 之 一 ） B e s t   T e c h n i c a l   P o s t e r   A w a r d 。 研 究 主 要 展 示 了 产 品 级 研 究 主 要 展 示 了 产 品 级 L 2 自 动 驾 驶 系 统 中 的 自 动 车 道 居 中 辅 助 系 统 （ 自 动 驾 驶 系 统 中 的 自 动 车 道 居 中 辅 助 系 统 （ A L C ， ， A u t o m a t e d   L a n e   C e n t e r i n g ） 的 安 ） 的 安 全 。 全 。 L 2 自 动 驾 驶 车 通 常 利 用 深 度 神 经 网 络 （ D N N ） 的 车 道 检 测 来 实 现 A L C 。 由 于 D N N 模 型 对 对 抗 性 样 本 攻 击 的 脆 弱 性 已 被 广 泛 报 道 ， 该 团 队 首 次 在 物 理 世 界 对 抗 性 样 本 攻 击 下 对 最 先 进 的 基 于 D N N 的 A L C 系 统 在 其 运 行 设 计 域 （ 即 具 有 完 整 车 道 线 的 道 路 ） 中 进 行 了 安 全 分 析 。 研 究 发 现 ， D N N 模 型 层 面 的 漏 洞 可 以 导 致 整 个   A L C   系 统 层 面 的 攻 击 效 果 。 团 队 设 计 了 脏 路 补 丁 （ D R P ） 攻 击 ， 即 通 过 在 车 道 上 部 署 ， 添 加 了 对 抗 样 本 攻 击 生 成 的 路 面 污 渍 图 案 的 道 路 补 丁 ， 便 可 误 导 O p e n P i l o t   （ 开 源 的 产 品 级 驾 驶 员 辅 助 系 统 ）   A L C 系 统 ， 并 使 车 辆 在 1 秒 内 就 偏 离 其 行 驶 车 道 ， 远 低 于 驾 驶 员 的 平 均 接 管 反 应 时 间 （ 2 . 5   秒 ） ， 造 成 严 重 交 通 危 害 。 相 关 材 料 详 见 本 文 最 后 。 详 见 本 文 最 后 。 作 者 ： T a k a m i   S a t o * ,   J u n j i e   S h e n * ,   N i n g f e i   W a n g ,   Y u n h a n   J a c k   J i a ,   X u e   L i n ,   Q i   A l f r e d   C h e n   ( *   C o - f i r s t A u t h o r s ) 研 究 工 作 概 览 和 亮 点 研 究 工 作 概 览 和 亮 点 A L C 是 一 种 L 2 自 动 驾 驶 技 术 ， 可 自 动 控 制 车 辆 方 向 盘 以 使 其 保 持 在 车 道 中 心 。 由 于 其 提 供 的 高 度 便 利 性 ， 现 如 今 它 被 广 泛 应 用 于 各 种 车 型 中 ， 例 如 特 斯 拉 、 通 用 凯 迪 拉 克 、 本 田 雅 阁 、 丰 田 R A V 4 、 沃 尔 沃 X C 9 0 等 。 尽 管 方 便 ， 但 A L C 系 统 需 要 具 有 较 高 的 安 全 性 ： 当 A L C 系 统 做 出 错 误 的 转 向 决 策 时 ， 人 类 驾 驶 员 可 能 没 有 足 够 的 反 应 时 间 来 防 止 即 将 发 生 的 安 全 隐 患 ， 例 如 开 出 路 面 或 与 相 邻 车 道 上 的 车 辆 相 撞 。 因 此 ， 了 解 A L C 系 统 的 安 全 属 性 势 在 必 行 。 在 A L C 系 统 中 ， 最 关 键 的 一 步 是 车 道 线 检 测 ， 它 通 常 由 基 于 深 度 神 经 网 络 （ D N N ） 的 车 道 线 检 测 模 型 来 实 现 。 最 近 很 多 研 究 表 明 ， D N N 容 易 受 到 物 理 世 界 对 抗 性 攻 击 ， 例 如 在 交 通 标 志 上 贴 恶 意 贴 纸 。 然 而 ， 由 于 两 个 主 要 的 设 计 挑 战 ， 这 些 方 法 不 能 直 接 应 用 于 攻 击 A L C 系 统 。 ( 1 )   在 A L C 系 统 中 ， 由 于 车 辆 行 驶 轨 迹 受 攻 击 影 响 ， 相 机 的 视 角 会 逐 渐 向 左 或 右 偏 移 ， 捕 捉 不 同 的 道 路 区 域 。 所 以 在 攻 击 生 成 的 过 程 中 需 要 考 虑 相 机 图 片 中 每 帧 之 间 的 相 互 依 赖 性 。 ( 2 )   前 人 研 究 中 的 攻 击 优 化 目 标 函 数 主 要 针 对 图 像 分 类 或 目 标 检 测 模 型 ， 并 不 能 直 接 应 用 到 车 道 线 检 测 的 这 类 回 归 模 型 上 。 为 了 填 补 这 一 关 键 的 研 究 空 白 ， 在 这 项 工 作 中 ， 该 团 队 首 次 在 物 理 世 界 对 抗 性 攻 击 下 对 最 先 进 的 基 于 D N N 的 A L C 系 统 在 其 「 运 行 设 计 域 （ 即 具 有 完 整 车 道 线 的 道 路 ） 」 中 进 行 了 安 全 分 析 。 用 一 个 新 颖 的 领 域 特 定 的 攻 击 向 量 ： 「 脏 路 补 丁 （ D R P ， D i r t y   R o a d   P a t c h e s ） 」 （ 如 图 1 所 示 ） 。 之 所 以 选 择 脏 路 补 丁 是 因 为 现 实 生 活 中 这 类 路 面 污 渍 非 常 普 遍 ， 如 果 攻 击 生 成 的 脏 路 补 丁 类 似 此 类 路 面 污 渍 ， 就 会 较 难 引 起 人 类 驾 驶 员 注 意 ， 从 而 让 攻 击 更 加 隐 蔽 。 图 2 是 研 究 团 队 在 加 州 尔 湾 市 附 近 收 集 到 的 一 些 路 面 污 渍 图 片 。
图 1 ： 易 于 部 署 的 路 面 补 丁 和 现 实 生 活 中 常 见 的 路 面 污 渍 图 案 图 2 ： 加 州 尔 湾 市 附 近 的 路 面 污 渍 例 子 为 了 系 统 地 生 成 脏 路 补 丁 ， 团 队 采 用 基 于 优 化 的 方 法 并 克 服 上 述 设 计 挑 战 。 图 3 展 示 了 D R P 攻 击 生 成 脏 路 补 丁 的 流 程 。 为 了 实 现 更 高 的 隐 蔽 性 和 易 部 署 性 ， 在 脏 路 补 丁 生 成 过 程 中 添 加 多 种 限 制 ， 包 括 （ 1 ） 限 制 路 面 污 渍 图 案 为 灰 度 图 案 ， （ 2 ） 限 制 亮 度 ， （ 3 ） 保 证 车 道 本 身 的 道 路 线 不 被 改 变 ， （ 4 ） 限 制 路 面 污 渍 图 案 区 域 等 。 图 3 ： D R P 攻 击 的 脏 路 补 丁 生 成 流 程
为 了 了 解 D R P 攻 击 在 物 理 世 界 中 的 可 实 现 性 和 严 重 性 ， 团 队 在 一 个 微 缩 测 试 场 景 中 放 置 了 打 印 的 脏 路 补 丁 ， 并 用 O p e n P i l o t 官 方 设 备 （ E O N ） 进 行 评 估 （ 图 4 ） 。 发 现 D R P 攻 击 可 以 导 致 O p e n P i l o t 的 道 路 线 检 测 严 重 出 错 ， 例 如 图 3 中 ， 添 加 了 脏 路 补 丁 后 ， 车 道 线 会 非 常 明 显 地 偏 向 左 边 ， 而 正 常 道 路 下 检 测 出 来 的 车 道 线 和 真 实 车 道 线 重 合 度 非 常 高 。 为 了 验 证 D R P 攻 击 的 鲁 棒 性 ， 团 队 成 员 测 试 了 2 7 种 不 同 驶 入 角 度 和 横 向 偏 移 的 组 合 ， 发 现 D R P 攻 击 仍 能 保 持 非 常 高 （ > = 9 5 % ） 的 攻 击 成 功 率 。 图 4 ： 微 缩 测 试 场 景 和 结 果 （ 攻 击 演 示 视 频 ） 为 了 了 解 针 对 L 2 自 动 驾 驶 系 统 端 到 端 的 安 全 影 响 ， 研 究 团 队 使 用 产 品 级 的 自 动 驾 驶 模 拟 器 L G S V L 进 一 步 评 估 D R P 攻 击 （ 图 5 ） 。 在 1 0 0 次 运 行 中 ， 脏 路 补 丁 对 部 署 了 O p e n P i l o t 的 自 动 驾 驶 车 造 成 1 0 0 % 的 车 辆 碰 撞 率 。 相 比 之 下 ， 正 常 道 路 的 碰 撞 率 为 0 % 。 图 5 ： 仿 真 验 证 结 果 （ 攻 击 演 示 视 频 ） 为 了 了 解 现 有 的 车 辆 主 动 安 全 技 术 对 D R P 攻 击 的 影 响 ， 如 图 6 所 示 ， 团 队 成 员 将 攻 击 数 据 （ 即 受 攻 击 时 的 到 路 线 检 测 结 果 ） 直 接 注 入 到 部 署 了 O p e n P i l o t 的 真 车 （ 2 0 1 9 年 款 丰 田 凯 美 瑞 ） 上 ， 测 试 车 辆 受 攻 击 情 况 下 能 否 真 正 偏 出 车 道 并 撞 上 障 碍 物 （ 纸 箱 ） 。 尽 管 该 车 本 身 自 带 车 道 偏 移 预 警 （ L D W ） ， 自 动 紧 急 刹 车 （ A E B ） 和 前 方 碰 撞 预 警 （ F C W ） 等 主 动 安 全 技 术 ， 在 1 0 次 试 验 中 我 们 发 现 D R P 攻 击 可 以 造 成 1 0 0 % 的 碰 撞 率 ， 并 且 L D W 从 未 被 触 发 。 其 中 ， F C W 被 触 发 了 5 次 ， 但 是 由 于 F C W 只 起 到 预 警 作 用 ， 并 未 能 防 止 碰 撞 的 发 生 。 另 外 F C W 的 平 均 触 发 时 间 是 在 碰 撞 发 生 前 0 . 4 6 秒 ， 相 比 于 人 类 驾 驶 员 的 2 . 5 秒 平 均 反 应 时 间 ， 绝 大 部 分 驾 驶 员 就 算 想 要 接 管 车 辆 也 太 晚 了 。
图 6 ： 基 于 注 入 攻 击 数 据 的 真 车 碰 撞 试 验 （ 演 示 视 频 ） 在 该 团 队 的 论 文 中 ， 还 探 讨 可 能 的 防 御 措 施 ， 比 如 基 于 D N N 对 抗 样 本 攻 击 的 防 御 措 施 和 基 于 传 感 器 / 数 融 合 的 防 御 措 施 。 团 队 评 估 了 D R P 在 五 种 常 见 的 防 御 D N N 对 抗 样 本 攻 击 的 方 法 下 的 有 效 性 ， 比 如 添 加 高 斯 噪 声 、 J P E G 的 压 缩 等 等 ， 但 发 现 由 于 这 些 防 御 都 是 针 对 像 素 级 别 人 眼 不 可 见 的 D N N 攻 击 的 ， 他 们 对 于 物 理 世 界 模 仿 自 然 污 渍 的 攻 击 并 不 奏 效 。 对 于 基 于 传 感 器 / 数 据 融 合 的 防 御 措 施 ， 主 要 问 题 是 成 本 太 高 且 难 以 扩 展 ， 比 较 难 在 短 期 内 部 署 。 由 于 需 要 更 多 的 研 究 来 实 现 这 样 的 防 御 措 施 ， 该 团 队 提 出 了 短 期 缓 解 措 施 ： 建 议 至 少 应 该 把 路 面 污 渍 和 脏 路 补 丁 放 到 A L C 系 统 现 阶 段 不 可 处 理 的 场 景 列 表 中 。 该 团 队 检 查 了 1 1 家 公 司 的 A L C 手 册 （ 例 如 特 斯 拉 、 通 用 C r u i s e 、 O p e n P i l o t 、 本 田 S e n s i n g 和 丰 田 L T A ） ， 目 前 没 有 一 家 公 司 在 他 们 不 可 处 理 的 场 景 列 表 中 列 出   路 面 污 渍 或 脏 路 补 丁 。 该 团 队 认 为 ， 这 种 明 确 在 手 册 中 提 及 的 方 法 至 少 可 以 有 助 于 用 户 提 前 认 识 到 风 险 ， 从 而 更 可 能 主 动 观 察 去 避 免 遭 到 D R P 攻 击 。 常 见 问 题 与 解 答 常 见 问 题 与 解 答 （ 以 下 是 整 理 出 的 最 常 被 问 到 的 问 题 ， 团 队 的 目 网 站 上 还 有 更 多 Q & A ） Q ： ： D R P 攻 击 仅 针 对 攻 击 仅 针 对 O p e n P i l o t   A L C 吗 ？ 吗 ？ A ： 并 不 是 。 我 们 认 为 我 们 的 研 究 成 果 可 以 帮 助 提 高 大 家 对 于 目 前 产 品 级 A L C 系 统 安 全 性 的 理 解 。 此 外 ， 由 于   D N N 通 常 被 认 为 易 受 对 抗 性 攻 击 ， 如 果 其 他 厂 商 的   A L C   系 统 也 采 用 基 于   D N N   的 设 计 ， 至 少 在 设 计 层 面 它 们 也 会 受 D R P 攻 击 影 响 。 Q :   攻 击 者 能 否 直 接 在 路 面 上 画 假 的 车 道 线 来 实 现 相 同 的 攻 击 效 果 ？ 攻 击 者 能 否 直 接 在 路 面 上 画 假 的 车 道 线 来 实 现 相 同 的 攻 击 效 果 ？ A :   基 于 车 道 线 检 测 的 本 质 ， 在 道 路 上 画 一 条 线 确 实 可 以 成 为 有 效 的 攻 击 方 式 。 但 是 ， 驾 驶 员 可 以 很 容 易 地 识 别 这 类 绘 制 的 车 道 线 并 立 即 接 管 驾 驶 。 此 外 ， 我 们 的 实 验 过 程 中 将 这 类 直 接 画 车 道 线 的 攻 击 手 段 作 为 对 比 ， 发 现 D R P 攻 击 的 攻 击 成 功 率 远 高 于 这 类 攻 击 手 段 （ 比 如 同 样 情 况 下 D R P 成 功 率 是 8 2 . 5 % 时 该 攻 击 手 段 只 有 1 3 . 7 5 % 成 功 率 ） ， 详 见 论 文 的 第 5 . 2 节 。 Q ： 如 何 防 御 ： 如 何 防 御 D R P 攻 击 ？ 攻 击 ？ A ： 正 如 我 们 研 究 中 发 现 ， 目 前 还 没 有 一 种 基 于 模 型 的 防 御 手 段 能 够 有 效 防 御 D R P 攻 击 而 不 降 低 A L C   在 正 常 驾 驶 场 景 中 的 性 能 。 其 他 可 能 的 防 御 手 段 还 包 括 类 似 L 4 自 动 驾 驶 系 统 所 使 用 的 多 传 感 器 融 合 。 但 目 前 激 光 雷 达 对 于 L 2 自 动 驾 驶 车 辆 的 商 用 来 说 仍 然 太 贵 。 此 外 ， 车 道 线 检 测 与 地 图 数 据 的 融 合 也 是 比 较 有 希 望 的 防 御 手 段 。 但 是 ， 目 前 L 2 自 动 驾 驶 系 统 的 定 位 无 法 实 现 像 L 4 一 样 的 厘 米 级 定 位 精 度 。 因 此 ， 一 个 后 续 研 究 问 题 是 如 何 有 效 地 检 测 D R P 攻 击 而 不 造 成 太 多 误 报 。 Q ： 我 们 有 对 无 人 车 公 司 进 行 漏 洞 报 告 吗 ？ 他 们 是 怎 么 答 复 的 ？ ： 我 们 有 对 无 人 车 公 司 进 行 漏 洞 报 告 吗 ？ 他 们 是 怎 么 答 复 的 ？ A ： 我 们 于   2 0 2 0   年   8   月 向   1 3   家 正 在 研 发   A L C   系 统 的 公 司 进 行 了 第 一 轮 漏 洞 报 告 。 这 个 过 程 中 ， 我 们 把 该 漏 洞 的 攻 击 方 式 和 可 能 的 防 御 手 段 详 细 告 知 了 每 家 公 司 。 其 中   1 0   家 公 司 回 复 说 他 们 已 经 开 始 着 手 调 查 该 漏 洞 ， 有 些 公 司 已 经 与 我 们 开 会 以 实 施 该 调 查 。 我 们 目 前 正 在 跟 进 这 些 公 司 的 最 新 评 估 结 果 。 关 于 我 们 关 于 我 们 本 次 研 究 作 者 团 队 ， 来 自 加 州 大 学 尔 湾 分 校 、 字 节 跳 动 和 美 国 东 北 大 学 ， 一 共 6 名 研 究 人 员 。 其 中 两 位 共 同 第 一 作 者 T a k a m i   S a t o 和 J u n j i e   S h e n 。 三 作 N i n g f e i   W a n g 和 Q i   A l f r e d   C h e n 教 授 均 来 自 加 州 大 学 尔 湾 分 校 Y u n h a n   J a c k   J i a 研 究 员 任 职 于 字 节 跳 动 ， X u e   L i n 教 授 任 职 于 美 国 东 北 大 学 。
相 关 材 料 相 关 材 料 项 目 网 站 和 攻 击 演 示 视 频 ： h t t p s : / / s i t e s . g o o g l e . c o m / v i e w / c a v - s e c / d r p - a t t a c k U S E N I X   S e c u r i t y 文 章 页 面 ： h t t p s : / / w w w . u s e n i x . o r g / c o n f e r e n c e / u s e n i x s e c u r i t y 2 1 / p r e s e n t a t i o n / s a t o a r X i v 版 本 ： h t t p s : / / a r x i v . o r g / a b s / 2 0 0 9 . 0 6 7 0 1 演 讲 视 频 ： h t t p s : / / d r i v e . g o o g l e . c o m / f i l e / d / 1 V X Q k y U 1 B T Z d D G q m S Z j s J 4 V M d W N q Y m w E G / v i e w ? u s p = s h a r i n g P P T ： h t t p s : / / d r i v e . g o o g l e . c o m / f i l e / d / 1 d Q W c b F V Q 4 v 2 Y S E p c _ O X A M 4 O q t z - z I l N r / v i e w ? u s p = s h a r i n g 精 彩 推 荐 精 彩 推 荐
阅 读 原 文
回复

举报

高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

使用Markdown编辑器编辑 使用富文本编辑器编辑

Archiver| 手机版| 小黑屋|
Powered by Discuz! X3.4 Copyright © 2001-2020, Tencent Cloud. 商业源码建议获取授权，如侵犯您的权益，请联系客服处理