搜索

[17572] 2018-08-17_极棒携十二大议题在DEFCON发布“AI安全预警”

文档创建者：s7ckTeam
浏览次数：26
最后更新：2025-01-18
2018-08-17_极棒携十二大议题在DEFCON发布“AI安全预警” 极 棒 携 十 二 大 议 题 在   D E F C O N   发 布 “ A I   安 全 预 警 ” 原 创   小 明   G e e k P w n   2 0 1 8 - 0 8 - 1 7 最 近 几 年 ， 人 工 智 能 在 深 度 学 习 以 及 其 他 机 器 学 习 上 面 出 现 了 令 人 振 奋 的 进 展 ， 随 之 而 来 的 是   A l p h a G o   赢 了 世 界 第 一 棋 手 、 无 人 驾 驶 汽 车 开 上 了 五 环 、 人 脸 识 别 安 检 在 歌 星 演 唱 会 上 认 出 逃 犯 . . . . . . 自 动 驾 驶 汽 车 、 智 能 医 疗 、 智 慧 城 市 、 生 物 识 别 等 应 用 更 是 接 踵 而 至 。 但 是 ， 但 是 ， A I   却 没 有 人 们 想 象 的 那 么 可 靠 。 却 没 有 人 们 想 象 的 那 么 可 靠 。 有 “ 算 法 盲 点 ” 之 称 的 对 抗 样 本 （ A d v e r s a r i a l   e x a m p l e ） ， 指 由 于 故 意 添 加 干 扰 后 产 生 的 样 本 ， 具 有 导 致 分 类 器 产 生 错 误 判 断 的 能 力 。 如 果 让 机 器 把 熊 猫 识 别 为 长 臂 猿 没 什 么 大 不 了 ， 那 么 让 机 器 把 你 的 照 片 识 别 为 “ 在 逃 嫌 犯 ” ， 又 如 何 呢 ？ 特 别 是 在 医 疗 、 金 融 、 安 全 等 领 域 的 应 用 ， 对 抗 样 本 可 能 对 深 度 学 习 系 统 安 全 性 带 来 极 大 的 困 扰 。
美 国 当 地 时 间   8   月   1 0 、 1 1   日 ， G e e k P w n   主 办 的   C A A D   V i l l a g e   在   D E F   C O N   举 行 ， 十 余 位 人 工 智 能 安 全 领 域 的 顶 级 专 家 学 者 围 绕 “ 对 抗 样 本 攻 防 ” 带 来 了 精 彩 的 分 享 。 他 们 从 图 像 识 别 、 语 音 系 统 、 杀 毒 软 件 等 应 用 领 域 存 在 的   A I   缺 陷 展 开 讨 论 ， 亦 或 在 学 术 研 究 领 域 介 绍 了 最 新 技 术 进 行 公 开 分 享 。 李 博 （ 伊 利 诺 伊 大 学 厄 巴 纳 李 博 （ 伊 利 诺 伊 大 学 厄 巴 纳 - 香 槟 分 校 助 理 教 授 ） ： 深 度 神 经 网 络 与 人 类 大 脑 全 然 不 同 香 槟 分 校 助 理 教 授 ） ： 深 度 神 经 网 络 与 人 类 大 脑 全 然 不 同
李 博 带 我 们 了 解 了 对 抗 环 境 下 的 “ 脆 弱 的 深 度 学 习 ” 以 及 如 何 探 测 出 对 抗 攻 击 。 在 传 统 机 器 学 习 中 ， 训 练 数 据 就 是 测 试 数 据 ， 李 博 称 之 为 “ 危 险 的 断 言 ” 。 在 曾 经 进 行 的 实 验 中 ， 李 博 及 研 究 团 队 发 现 对 抗 干 扰 在 不 同 条 件 、 场 景 （ 包 括 距 离 和 角 度 ） 下 ， 依 旧 能 够 在 物 理 世 界 中 产 生 影 响 。 此 外 ， 例 如 机 器 人 技 术 、 自 动 驾 驶 系 统 等 强 化 学 习 系 统 也 容 易 受 到 对 抗 性 样 本 的 影 响 。 对 抗 干 扰 不 需 要 注 入 到 每 个 画 面 里 ， 依 旧 能 够 发 动 有 效 攻 击 。
J o e y   B o s e （ 多 伦 多 大 学 研 究 生 ） ： 我 们 让 系 统 检 测 到 人 脸 的 概 率 从 接 近 （ 多 伦 多 大 学 研 究 生 ） ： 我 们 让 系 统 检 测 到 人 脸 的 概 率 从 接 近   1 0 0 %   降 到 了 降 到 了   0 . 5 %
J o e y   所 在 团 队 开 发 了 一 种 算 法 能 够 破 坏 人 脸 识 别 系 统 。 利 用 对 抗 训 练 ， 他 们 产 生 的 样 本 能 够 欺 骗 人 脸 检 测 器 ， 从 而 达 到 保 护 隐 私 的 目 的 。 当 你 在 需 要 提 交 个 人 照 片 时 ， 就 可 以 采 用 这 种 算 法 生 成 的 图 片 ， 从 而 避 免 照 片 遭 遇 滥 用 。 值 得 一 提 的 是 ， J o e y   的 研 究 将 于   8   月 末 在 加 拿 大 温 哥 华 召 开 的   I E E E   国 际 多 媒 体 信 号 处 理 研 讨 会 上 发 表 和 展 示 。 G e e k P w n   是 是 该 成 果 的 首 次 公 开 分 享 的 舞 台 。 该 成 果 的 首 次 公 开 分 享 的 舞 台 。 J o s e p h   C l e m e n t s （ 克 莱 姆 森 大 学 在 读 博 士 ） ： 当 恶 意 输 入 触 发 木 马 ， 神 经 网 络 就 会 被 迫 产 生 恶 意 输 出 （ 克 莱 姆 森 大 学 在 读 博 士 ） ： 当 恶 意 输 入 触 发 木 马 ， 神 经 网 络 就 会 被 迫 产 生 恶 意 输 出 J o s e p h   及 其 所 在 的   Y i n g j i e   L a o   博 士 的 安 全 与 创 新 计 算 研 究 小 组 团 队 研 究 方 向 是 基 于 深 度 学 习 技 术 的 对 抗 性   A I   研 究 。 他 们 开 发 了 一 个 植 入 恶 意 硬 件 木 马 的 框 架 ， 用 于 实 现 针 对 神 经 网 络 的 攻 击 。 通 过 下 面 四 个 步 骤 ： 选 择 一 个 攻 击 目 标 层 、 选 择 输 入 触 发 “ 关 键 ” 、 确 定 可 操 作 性 干 扰 以 及 硬 件 植 入 ， 他 们 利 用 暴 露 在 供 应 链 上 的 安 全 性 问 题 ， 植 入 硬 件 后 门 ， 导 致 嵌 入 式 设 备 受 到 严 重 威 胁 ， 并 暴 露 于 各 种 硬 件 及 物 理 攻 击 之 下 。
张 壮 、 史 博 （ 腾 讯 安 全 云 鼎 实 验 室 专 家 ） ： 狗 斗 的 利 器 张 壮 、 史 博 （ 腾 讯 安 全 云 鼎 实 验 室 专 家 ） ： 狗 斗 的 利 器   G A N ， 病 毒 对 抗 杀 软 的 免 杀 大 法 ， 病 毒 对 抗 杀 软 的 免 杀 大 法 他 们 在 现 场 分 享 了 安 全 厂 商 应 用 人 工 智 能 之 后 对 抗 病 毒 免 杀 技 术 的 效 果 ， 同 时 还 站 在 攻 击 方 的 视 角 ， 介 绍 了 恶 意 软 件 使 用 了 生 成 式 对 抗 网 络 之 后 ， 可 绕 过 应 用 机 器 学 习 检 测 模 型 的 案 例 。
张 壮 进 一 步 解 释 了   G A N   应 用 在 免 杀 中 ， 攻 击 者 对 于 被 攻 击 模 型 的 结 构 和 权 重 都 有 完 全 的 了 解 ， 而 常 规 的 攻 击 手 段 对 于 被 攻 击 的 模 型 却 一 无 所 知 ， 最 终 通 过 把 最 终 通 过 把 “ 黑 文 件 黑 文 件 ” 伪 装 成 为 具 有 高 可 信 度 的 伪 装 成 为 具 有 高 可 信 度 的 ‘ 白 文 件 白 文 件 ’ ， 以 达 到 欺 骗 机 器 学 习 模 型 ， 甚 至 欺 骗 人 类 的 ， 以 达 到 欺 骗 机 器 学 习 模 型 ， 甚 至 欺 骗 人 类 的 目 的 。 目 的 。 庞 天 宇 （ 清 华 大 学 庞 天 宇 （ 清 华 大 学   T S A I L   小 组 成 员 、 在 读 博 士 ） ： 冠 军 的 秘 方 小 组 成 员 、 在 读 博 士 ） ： 冠 军 的 秘 方 庞 天 宇 分 享 了 团 队 在 比 赛 中 取 得 好 成 绩 的 方 法 ， 提 出 了 基 于 动 量 的 迭 代 式 攻 击 方 法 和 高 层 特 征 指 导 的 降 噪 器 ， 展 示 出 了 很 好 的 攻 击 和 防 御 效 果 ， 为 人 工 智 能 系 统 在 实 际 应 用 中 的 鲁 棒 性 和 安 全 性 检 验 提 供 了 新 的 验 证 基 准 。
此 外 ， 他 们 在 刚 刚 落 下 帷 幕 的 此 外 ， 他 们 在 刚 刚 落 下 帷 幕 的   C A A D   C T F   比 赛 中 斩 获 冠 军 。 比 赛 中 斩 获 冠 军 。 焦 晓 瑾 、 李 伟 （ 焦 晓 瑾 、 李 伟 （ N o r t h W e s t   S e c u r i t y   独 立 安 全 研 究 团 队 成 员 、 世 界 五 百 强 公 司 研 究 员 ） ： 如 何 打 败 基 于 神 经 网 络 的 对 抗 独 立 安 全 研 究 团 队 成 员 、 世 界 五 百 强 公 司 研 究 员 ） ： 如 何 打 败 基 于 神 经 网 络 的 对 抗
攻 击 攻 击 作 为 一 支 独 立 安 全 研 究 员 组 成 的 团 队 ， N o r t h W e s t   S e c u r i t y   主 要 分 享 了 准 备   C A A D   的 参 赛 经 历 。 他 们 利 用 开 源 信 息 ， 搭 建 出 比 赛 的 攻 击 与 防 御 系 统 ， 并 且 在 线 上 赛 中 取 得 了 优 秀 的 成 绩 。
郭 文 博 （ 京 东 安 全 硅 谷 研 发 中 心 研 究 员 ） ： 从 解 释 深 度 学 习 开 始 郭 文 博 （ 京 东 安 全 硅 谷 研 发 中 心 研 究 员 ） ： 从 解 释 深 度 学 习 开 始
回复

举报

高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

Archiver|
Powered by Discuz! X3.4 Copyright © 2001-2020, Tencent Cloud. 商业源码建议获取授权，如侵犯您的权益，请联系客服处理