搜索

[17727] 2020-11-02_让自动驾驶撞墙，刷别人的脸取钱：在极棒的赛场，AI再一次变成了智障

文档创建者：s7ckTeam
浏览次数：4
最后更新：2025-01-18
2020-11-02_让自动驾驶撞墙，刷别人的脸取钱：在极棒的赛场，AI再一次变成了智障 让 自 动 驾 驶 撞 墙 ， 刷 别 人 的 脸 取 钱 ： 在 极 棒 的 赛 场 ， A I   再 一 次 变 成 了 智 障 S y n c e d   G e e k P w n   2 0 2 0 - 1 1 - 0 2 【 编 者 按 】 【 编 者 按 】 G e e k P w n   2 0 2 0   刚 公 布 大 赛 日 程 之 时 ， 就 有 媒 体 对 于 让 自 动 驾 驶 汽 车 “ 撞 墙 ” 的 汽 车 雷 达 干 扰 项 目 以 及 骗 过 人 脸 识 别 、 利 用 A I 技 术 互 相 攻 防 的 C A A D 新 赛 事 非 常 感 兴 趣 ， 向 主 办 方 追 问 了 很 多 细 节 。 当 在 现 场 见 证 了 项 目 详 情 ， 甚 至 亲 自 体 验 到 自 动 驾 驶 刹 车 失 控 、 撞 向 障 碍 物 的 瞬 间 之 后 ， 他 们 对 于 极 棒 大 赛 与 “ A I ” 过 不 去 这 件 事 儿 ， 有 了 新 的 了 解 。 G e e k P w n   2 0 2 0   的 多 个 项 目 与 “ A I 技 术 ” 有 关 ， 不 是 为 了 制 造 恐 慌 ， 而 是 为 了 通 过 比 赛 或 预 演 安 全 风 险 的 方 式 暴 露   A I   算 法 的 缺 陷 ， 进 而 促 进 人 工 智 能 更 健 康 的 发 展 。 专 业 人 工 智 能 信 息 服 务 平 台 “ 机 器 之 心 ” 的 记 者 ， 在 现 场 亲 眼 见 证 一 部 分 项 目 后 ， 与 我 们 分 享 了 他 们 的 解 读 。 那 些 专 家 们 曾 经 担 心 过 的   A I   算 法 漏 洞 是 可 能 存 在 的 ， 没 想 到 过 的 也 可 能 存 在 。 刚 过 去 不 久 的   1 0 2 4 ， 极 棒 大 赛 上 演 了 全 新 形 式 的 人 机 攻 防 对 决 。
劫 持 正 在 飞 行 的 无 人 机 、 干 扰 自 动 驾 驶 汽 车 的 雷 达 、 戴 上 口 罩 变 脸 其 他 人 … … 在   G e e k P w n   2 0 2 0   国 际 安 全 极 客 大 赛 上 ， 全 球 顶 级 白 帽 黑 客 们 向 我 们 揭 开 了   A I   模 型 、 物 联 网 、 5 G   等 领 域 的 不 少 未 知 漏 洞 。
本 次 大 赛 ， 有 超 过   6 0 0   支 来 自 不 同 科 技 公 司 、 大 学 的 极 客 队 伍 和 独 立 安 全 研 究 员 报 名 参 赛 ， 最 终 有 近   5 0   支 队 伍 在   1 0 月   2 4   日 向 决 赛 发 起 了 冲 击 。 早 在 今 年   3   月 ， G e e k P w n   2 0 2 0   大 赛 就 开 放 了 各 赛 题 的 报 名 ， 4   月 份 公 布 各 项 比 赛 规 则 ， 7   月 份 云 靶 场 挑 战 赛 线 上 热 身 赛 圆 满 结 束 ， 8   月 底 结 束   C A A D   线 上 比 赛 ， 9 月 底 结 束 所 有 项 目 报 名 。 在   1 0   月   2 4   日 之 前 ， 几 百 支 团 队 早 已 进 行 了 一 番 激 烈 比 拼 。 最 终 ， 1 0   月   2 4   日 来 到 现 场 的 团 队 ， 各 个 身 怀 绝 技 。 他 们 面 临 的 挑 战 也 不 同 以 往 — — 全 新 的 比 赛 项 目 与 规 则 。 今 年 的 比 赛 包 括 「 新 基 建 」 安 全 大 赛 、 攻 破 挑 战 赛 、 第 二 届 云 安 全 大 赛 、 少 年 黑 客 马 拉 松 大 赛 、 C A A D 虚 假 人 脸   A I   识 别 大 赛 、 C A A D   A I   变 脸 口 罩 挑 战 赛 以 及 窃 密 与 反 窃 密 挑 战 赛 。 每 个 赛 项 下 还 分 为 不 同 的 单 项 比 赛 ， 关 注 不 同 的 方 向 。 其 中 ， G e e k P w n   联 合 腾 讯 安 全 举 办 的 国 内 首 个 新 基 建 安 全 大 赛 涵 盖 了   5 G 、 物 联 网 和 人 工 智 能 等 。 各 个 挑 战 者 针 对 车 联 网 、 无 人 机 、 安 检 设 备 、 智 能 电 表 等 目 标 的 破 解 ， 让 人 们 对 这 些 产 业 的 安 全 有 了 新 的 认 识 。 而 难 度 升 级 的   C A A D   比 赛 ， 则 结 合 生 活 中 常 见 的 人 脸 识 别 场 景 ， 再 次 聚 焦 “ A I “ 安 全 。 戴 上 口 罩 ， 刷 别 人 的 脸 戴 上 口 罩 ， 刷 别 人 的 脸 刷 脸 门 禁 、 手 机 解 锁 、 机 场 安 检 … …   使 用 人 工 智 能 算 法 的 人 脸 识 别 ， 已 经 成 为 人 们 每 天 都 在 使 用 的 技 术 。 因 为   2 0 2 0   年 初 的 新 冠 疫 情 ， 越 来 越 多 佩 戴 口 罩 的 情 形 为 人 脸 识 别 带 来 了 新 的 挑 战 。 有 一 些 科 技 公 司 已 经 推 出 了 即 使 戴 上 口 罩 也 能 识 别 出 人 脸 的 新 技 术 ， 据 称 准 确 率 可 以 达 到   9 9 % 。 但 另 一 方 面 ， 人 们 佩 戴 的 口 罩 覆 盖 了 人 脸 的 很 大 一 部 分 面 积 ， 也 为 加 入 对 抗 样 本 进 行 人 脸 识 别 破 解 留 下 了 「 后 门 」 。 极 棒 现 场 的   C A A D   A I   口 罩 变 脸 挑 战 赛 模 拟 了 人 脸 识 别 自 动 售 货 机 取 货 和 自 动   A T M   机 取 钱 场 景 ， 选 手 们 可 以 利 用   A I 算 法 自 制 印 有 攻 击 图 片 的 口 罩 遮 挡 面 部 ， 在   1 5 0   秒 内 让 售 货 机 与 取 款 机 人 脸 识 别 算 法 识 别 成 主 办 方 指 定 的 目 标 ， 包 括 蒋 昌 建 、 「 美 国 队 长 」 克 里 斯   ·   埃 文 斯 、 伊 隆   ·   马 斯 克 等 人 。
其 中 ， 挑 战 的 目 标 还 包 括 白 盒 算 法 （ A r c F a c e   算 法 ） 与 黑 盒 算 法 两 个 赛 道 。 顾 名 思 义 ， 黑 盒 算 法 是 指 攻 击 者 事 先 并 不 知 晓 人 脸 识 别 算 法 的 构 成 ， 破 解 难 度 更 大 。 G e e k P w n   创 始 人 王 琦 （ 大 牛 蛙 ） 戴 上 了 假 冒 主 持 人 蒋 昌 建 的 口 罩 ： A I   对 抗 样 本 的 攻 击 ， 并 不 是 把 目 标 人 脸 的 一 部 分 打 印 在 口 罩 上 那 么 简 单 。 比 赛 对 于 两 台 机 器 各 设 置 了 三 个 难 度 递 增 的 关 卡 ， 每 一 关 口 罩 的 有 效 攻 击 区 域 依 次 递 减 ， 对 抗 样 本 图 案 在 口 罩 上 的 面 积 从   7 5 % ， 降 低 至   6 7 % ， 再 降 低 至   5 0 % ， 难 度 逐 渐 增 大 ， 前 一 关 挑 战 失 败 则 意 味 着 失 去 后 一 关 的 挑 战 资 格 。 入 围 决 赛 的 团 队 包 括 来 自 蚂 蚁 金 服 的   A F M a s k   团 队 、 海 棠 初 白 团 队 、 由 清 华 大 学 和 北 京 大 学 联 合 组 队 的 动 动 动 动 弦 团 队 ， 以 及 来 自 清 华 大 学 计 算 机 系 和   R e a l A I   的   T S A I L   队 。
戴 上 口 罩 ， 真 的 能 变 脸 其 他 人 吗 ？ 我 们 时 常 会 听 到 各 家 厂 商 谈 起 「 金 融 级 别 安 全 」 的 支 付 技 术 。 其 实 ， 要 想 破 解 跟 钱 有 关 的 人 脸 识 别 系 统 ， 并 不 是 说 说 那 么 简 单 的 。 A F M a s k   团 队 经 过 多 次 尝 试 ， 在 两 项 赛 事 的 第 一 轮 均 破 解 成 功 ， 但 未 能 闯 过 难 度 更 大 的 第 二 轮 。 在 补 赛 时 ， 各 队 选 手 也 是 经 过 紧 张 的 调 试 和 准 备 ， 才 完 成 第 二 轮 的 挑 战 。 刷 脸 支 付 不 容 易 破 解 ， 或 许 也 是 因 为 挑 战 的 规 则 略 显 严 格 ： 每 次 尝 试 仅 有   4 5   秒 时 间 。 另 外 由 于 比 赛 只 要 求 「 置 信 度 」 达 到   5 0 %   即 告 闯 关 成 功 ， 在 现 实 世 界 中 支 付 环 境 的 要 求 显 然 更 高 ， 对 于 我 们 来 说 ， 刷 脸 支 付 被 「 盗 号 」 的 可 能 性 仍 然 很 低 。 而 此 次 比 赛 ， 也 预 演 了 人 脸 识 别 可 能 存 在 的 威 胁 ， 提 醒 厂 商 在 应 用 相 关 技 术 时 ， 筑 高 安 全 防 线 。 让 让   A u t o p i l o t 「 自 动 撞 墙 」 「 自 动 撞 墙 」 自 动 驾 驶 虽 然 距 离 大 规 模 应 用 还 有 一 段 时 间 ， 但 是 在 量 产 车 上 已 经 有 不 少 可 以 让 司 机 解 放 双 手 的 辅 助 驾 驶 功 能 了 。 对 于 不 少 人 来 说 ， 有 没 有   L 2   级 自 动 驾 驶 已 经 成 为 了 最 近 买 车 时 着 重 考 虑 的 因 素 。 本 届 极 棒 大 赛 中 ， 对 自 动 驾 驶 的 干 扰 挑 战 展 示 了 这 种 技 术 的 一 些 隐 患 。 进 行 本 次 挑 战 的 白 帽 黑 客 吴 潍 浠 表 示 ， 他 要 对 汽 车 自 动 驾 驶 系 统 中 的 毫 米 波 雷 达 进 行 干 扰 ， 采 用 的 设 备 体 积 很 小 ， 价 格 也 不 贵 。 目 前 毫 米 波 雷 达 是 各 类 传 感 器 中 公 认 稳 定 性 较 高 的 方 式 。 我 们 知 道 ， 目 前 的 一 些 辅 助 驾 驶 技 术 ， 如 特 斯 拉 上 的   A u t o p i l o t ， 是 通 过 摄 像 头 和 雷 达 来 收 集 路 面 信 息 的 ， 不 同 汽 车 选 择 的 传 感 器 不 太 一 样 （ 如 特 斯 拉 就 没 有 用 到 激 光 雷 达 ） ， 但 算 法 会 收 集 所 有 的 输 入 信 息 进 行 综 合 判 断 。 技 术 人 员 制 作 的 攻 击 用 白 色 小 盒 子 ， 看 起 来 很 不 起 眼 ， 但 它 可 以 造 成 的 扰 乱 效 果 却 可 以 「 致 命 」 。
比 赛 首 先 进 行 了 没 有 干 扰 的 测 试 ， 汽 车 的 自 动 驾 驶 系 统 会 让 汽 车 在 纸 箱 堆 成 的 「 墙 」 面 前 停 下 来 。 把 干 扰 器 放 到 「 墙 脚 下 」 ， 令 人 疑 惑 的 现 象 出 现 了 ： 汽 车 在 进 入 自 动 驾 驶 模 式 后 ， 看 到 眼 前 由 纸 箱 堆 成 的 墙 之 后 似 乎 犹 豫 了 一 下 ， 有 一 个 减 速 过 程 ， 但 因 无 法 识 别 前 面 的 物 体 又 加 速 撞 了 上 去 。 最 终 「 事 故 」 发 生 ， 在 真 实 环 境 下 的 攻 击 宣 告 成 功 。 在 很 多 带 有 自 动 驾 驶 功 能 的 汽 车 中 ， 只 要 有 一 种 传 感 器 只 要 有 一 种 传 感 器 给 出 了 明 确 的 危 险 讯 号 ， 给 出 了 明 确 的 危 险 讯 号 ，   系 统 就 会 控 制 车 辆 规 避 危 险 。 系 统 就 会 控 制 车 辆 规 避 危 险 。 但 在 现 场 攻 击 过 程 中 ， 汽 车 仍 然 撞 向 了 障 碍 物 。 这 次 挑 战 的 成 功 ， 让 人 们 意 识 到 在 自 动 驾 驶 汽 车 进 入 实 用 化 之 前 ， 还 有 很 多 工 作 要 做 。 据 了 解 ， 针 对 毫 米 波 雷 达 攻 击 的 结 果 已 提 交 给 相 关 厂 商 ， 黑 客 们 也 将 帮 助 车 企 对 自 动 驾 驶 安 全 进 行 持 续 改 进 。
在   1 0   月   2 4   日 的 比 赛 现 场 ， 还 有 很 多 挑 战 成 功 的 项 目 ： 来 自   T Q L （ 清 华   -   奇 安 信 联 合 研 究 中 心 ） 的 安 全 研 究 人 员 利 用 未 知 安 全 漏 洞 以 云 端 接 入 的 方 式 ， 对 植 保 无 人 机 的 控 制 平 台 发 起 攻 击 ， 成 功 获 取 植 保 无 人 机 控 制 权 限 ， 使 其 执 行 任 意 飞 行 指 令 。 来 自 凤 凰 解 码 （ P h o e n i x   D e c o d e r ， P h D ） 的 白 帽 黑 客 也 成 功 利 用 视 频 协 议 中 的 未 知 安 全 漏 洞 ， 以 云 端 接 入 的 方 式 对 智 能 摄 像 头 实 施 了 远 程 攻 击 。 这 些 闻 所 未 闻 的 漏 洞 ， 这 些 闻 所 未 闻 的 漏 洞 ， 为 什 么 都 出 现 在 为 什 么 都 出 现 在   G e e k P w n   上 ？ 上 ？ 最 近 一 两 年 里 ， 我 们 见 证 了 人 工 智 能 技 术 的 大 量 落 地 。 在 每 天 都 面 临 各 种 变 化 的 安 全 领 域 ， 新 的 形 势 与 挑 战 正 在 出 现 。 实 际 上 ， A I   安 全 有 两 层 含 义 ： 即 用   A I   方 法 解 决 安 全 问 题 ， 以 及   A I   技 术 的 安 全 防 护 问 题 。 「 G e e k P w n   曾 经 举 办 过 的 『 数 据 追 踪 挑 战 赛 』 ， 鼓 励 人 们 用   A I   的 方 法 从 大 量 的 数 据 中 快 速 、 准 确 的 定 位 恶 意 网 站 或 恶 意 应 用 ， 」 极 棒 大 赛 负 责 人 杨 泉 说 道 。 「 在 「 在   A I   技 术 大 量 进 入 实 践 阶 段 时 ， 其 自 身 的 安 全 问 题 ， 又 成 了 人 们 需 要 重 技 术 大 量 进 入 实 践 阶 段 时 ， 其 自 身 的 安 全 问 题 ， 又 成 了 人 们 需 要 重 点 关 注 的 领 域 。 点 关 注 的 领 域 。 G e e k P w n   连 续 多 年 举 办 的 连 续 多 年 举 办 的   C A A D （ 对 抗 样 本 攻 防 赛 ） 比 赛 对 人 工 智 能 可 能 存 在 的 安 全 问 题 进 行 （ 对 抗 样 本 攻 防 赛 ） 比 赛 对 人 工 智 能 可 能 存 在 的 安 全 问 题 进 行 赛 题 设 置 ， 通 过 比 赛 的 方 式 暴 露 赛 题 设 置 ， 通 过 比 赛 的 方 式 暴 露   A I   算 法 的 缺 陷 ， 进 而 促 进 人 工 智 能 更 健 康 的 发 展 。 」 算 法 的 缺 陷 ， 进 而 促 进 人 工 智 能 更 健 康 的 发 展 。 」 站 在 攻 击 者 的 视 角 将 威 胁 预 演 ， 提 前 暴 露 风 险 ， 并 警 告 被 破 解 厂 商 ， 是 提 升 数 字 安 全 防 御 体 系 长 久 以 来 一 直 通 行 的 方 式 ， 这 也 正 是   G e e k P w n   大 赛 的 核 心 价 值 所 在 。 今 年 的 国 际 安 全 极 客 大 赛 已 经 是 第 七 年 了 ， 在 这 些 年 的 极 棒 大 赛 里 ， 我 们 见 证 了   A I   技 术 的 大 规 模 应 用 ， 以 及 「 对 抗 样 本 攻 击 」 等 破 解 技 术 的 兴 起 ， 极 客 们 在 赛 场 上 已 经 披 露 了 近 千 个 高 危 漏 洞 。 今 天 ， 每 个 人 都 在 使 用 各 种 各 样 的 电 子 设 备 ， 这 说 明 安 全 漏 洞 在 我 们 的 生 活 中 普 遍 存 在 。 然 而 我 们 一 直 在 享 受 新 技 术 带 来 的 便 利 ， 却 忽 略 了 技 术 背 后 存 在 的 隐 患 ， 极 棒 通 过 挑 战 比 赛 的 方 法 将 未 知 漏 洞 展 示 出 来 ， 让 人 们 对 于 新 技 术 有 了 更 多
的 认 识 ， 同 时 也 唤 起 了 对 于 技 术 安 全 防 范 的 重 视 。 除 了 发 现 漏 洞 ， 还 有 培 养 新 人 。 本 届   G e e k P w n   还 举 办 了 首 届 「 少 年 黑 客 马 拉 松 大 赛 」 ， 吸 引 了 很 多 十 到 十 六 岁 的 黑 客 前 来 参 赛 。 相 比 热 度 越 来 越 高 的 机 器 学 习 ， 信 息 安 全 有 时 会 被 人 们 认 为 门 槛 过 高 ， 不 过 杨 泉 对 此 有 着 不 同 的 看 法 。 「 各 个 行 业 都 有 自 己 的 入 行 『 门 槛 』 ， 我 不 认 为 行 业 不 同 ， 门 槛 就 有 高 下 ， 」 「 各 个 行 业 都 有 自 己 的 入 行 『 门 槛 』 ， 我 不 认 为 行 业 不 同 ， 门 槛 就 有 高 下 ， 」 杨 泉 表 示 。 「 「 A I   现 在 正 被 人 热 捧 ， 可 是 人 工 智 能 已 经 经 历 了 六 七 十 年 默 默 无 闻 的 发 展 历 史 。 目 前 看 网 络 安 全 的 人 才 有 很 大 现 在 正 被 人 热 捧 ， 可 是 人 工 智 能 已 经 经 历 了 六 七 十 年 默 默 无 闻 的 发 展 历 史 。 目 前 看 网 络 安 全 的 人 才 有 很 大 缺 口 ， 是 因 为 近 些 年 网 络 安 全 越 来 越 受 到 重 视 ， 行 业 需 求 越 来 越 大 。 至 于 门 槛 高 低 ， 从 个 体 来 谈 ， 更 多 的 是 对 网 缺 口 ， 是 因 为 近 些 年 网 络 安 全 越 来 越 受 到 重 视 ， 行 业 需 求 越 来 越 大 。 至 于 门 槛 高 低 ， 从 个 体 来 谈 ， 更 多 的 是 对 网 络 安 全 行 业 的 热 情 和 投 入 ， 只 要 具 备 一 定 的 基 础 知 识 ， 加 上 必 须 的 努 力 和 研 究 ， 就 会 取 得 不 错 的 成 绩 。 」 络 安 全 行 业 的 热 情 和 投 入 ， 只 要 具 备 一 定 的 基 础 知 识 ， 加 上 必 须 的 努 力 和 研 究 ， 就 会 取 得 不 错 的 成 绩 。 」 极 客 们 还 将 继 续 挑 战 自 我 ， 为 构 建 安 全 的 应 用 作 出 更 多 贡 献 。 而 极 棒 大 赛 的 组 织 者 们 表 示 ， 明 年 的   G e e k P w n   还 会 有 更 多 新 比 赛 出 现 。 但 是 ， 始 终 不 变 的 是 发 现 、 鼓 励 、 培 养 安 全 人 才 。 G e e k P w n   希 望 能 让 更 多 人 了 解 、 理 解 安 全 ， 让 人 们 生 活 的 更 加 安 全 。 * 原 文 《 让 自 动 驾 驶 撞 墙 ， 刷 别 人 的 脸 付 账 ： 最 新 的 A I 安 全 漏 洞 让 我 们 开 了 眼 界 》 ， 发 布 于 微 信 公 众 号 “ 机 器 之 心 ” 。
G e e k P w n   历 届 精 彩 花 絮 混 剪 点 击 上 图 查 看   G e e k P w n   2 0 2 0   全 天 赛 事 回 顾 点 击 阅 读 原 文 查 看   G e e k P w n   2 0 2 0   全 天 赛 事 视 频 回 放 阅 读 原 文
回复

举报

高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

使用Markdown编辑器编辑 使用富文本编辑器编辑

Archiver| 手机版| 小黑屋|
Powered by Discuz! X3.4 Copyright © 2001-2020, Tencent Cloud. 商业源码建议获取授权，如侵犯您的权益，请联系客服处理