搜索

[12115] 2017-12-11_通过预测API窃取机器学习模型

文档创建者：s7ckTeam
浏览次数：5
最后更新：2025-01-18
2017-12-11_通过预测API窃取机器学习模型 通 过 预 测 A P I 窃 取 机 器 学 习 模 型 T e r e n c e   F r e e B u f   2 0 1 7 - 1 2 - 1 1 *   本 文 作 者 ： 本 文 作 者 ： T e r e n c e ， 本 文 属 ， 本 文 属 F r e e B u f 原 创 奖 励 计 划 ， 未 经 许 可 禁 止 转 载 原 创 奖 励 计 划 ， 未 经 许 可 禁 止 转 载 由 于 机 器 学 习 可 能 涉 及 到 训 练 数 据 的 隐 私 敏 感 信 息 、 机 器 学 习 模 型 的 商 业 价 值 及 其 安 全 中 的 应 用 ， 所 以 机 器 学 由 于 机 器 学 习 可 能 涉 及 到 训 练 数 据 的 隐 私 敏 感 信 息 、 机 器 学 习 模 型 的 商 业 价 值 及 其 安 全 中 的 应 用 ， 所 以 机 器 学 习 模 型 在 一 定 程 度 上 是 可 以 认 为 是 机 密 的 。 但 是 越 来 越 对 机 器 学 习 服 务 提 供 商 将 机 器 学 习 作 为 一 种 服 务 部 署 在 习 模 型 在 一 定 程 度 上 是 可 以 认 为 是 机 密 的 。 但 是 越 来 越 对 机 器 学 习 服 务 提 供 商 将 机 器 学 习 作 为 一 种 服 务 部 署 在 云 上 。 笔 者 认 为 ： 这 样 部 署 机 器 学 习 即 服 务 是 存 在 安 全 隐 患 的 ， 攻 击 者 利 用 对 模 型 的 云 上 。 笔 者 认 为 ： 这 样 部 署 机 器 学 习 即 服 务 是 存 在 安 全 隐 患 的 ， 攻 击 者 利 用 对 模 型 的 A P I 可 以 窃 取 模 型 。 可 以 窃 取 模 型 。 1 . 问 题 描 述 问 题 描 述 由 于 机 器 学 习 可 能 涉 及 到 训 练 数 据 的 隐 私 敏 感 信 息 、 机 器 学 习 模 型 的 商 业 价 值 及 其 安 全 领 域 中 的 应 用 （ 垃 圾 邮 件 过 滤 、 恶 意 软 件 检 测 、 流 量 分 析 等 ） ， 所 以 机 器 学 习 模 型 在 一 定 程 度 上 是 可 以 认 为 是 机 密 的 。 但 是 ， 机 器 学 习 模 型 不 断 地 被 部 署 ， 通 过 公 共 访 问 接 口 访 问 模 型 ,   例 如 机 器 学 习 即 服 务 （   M a c h i n e   L e a r n i n g   a s   a   s e r v i c e ,   M L a a S ） ： 用 户 可 以 在 M L a a S   平 台 利 用 隐 私 敏 感 数 据 训 练 机 器 学 习 模 型 ， 并 且 将 访 问 接 口 发 布 给 其 他 用 户 使 用 ， 同 时 收 取 一 定 的 费 用 。 针 对 机 器 学 习 模 型 机 密 性 和 其 公 共 访 问 的 矛 盾 上 ， 笔 者 提 出 了 机 器 学 习 模 型 提 取 攻 击 ： 攻 击 者 在 没 有 任 何 关 于 该 模 型 的 先 验 知 识 （ 训 练 数 据 ， 模 型 参 数 ， 模 型 类 型 等 ） 情 况 下 ， 只 利 用 公 共 访 问 接 口 对 该 模 型 的 黑 盒 访 问 ， 从 而 构 造 出 和 目 标 模 型 相 似 度 非 常 高 的 模 型 。 M L a a S 提 供 商 提 供 商 白 盒 （ 其 他 用 户 是 否 可 以 付 费 下 载 模 型 ） 白 盒 （ 其 他 用 户 是 否 可 以 付 费 下 载 模 型 ） 是 否 商 业 化 （ 用 户 发 布 模 型 其 他 用 户 使 用 ） 是 否 商 业 化 （ 用 户 发 布 模 型 其 他 用 户 使 用 ） A P I 是 否 输 出 置 信 度 是 否 输 出 置 信 度 亚 马 逊 √ 微 软 √ B i g M L √ √ √ P r e d i c t i o n I O √ G o o g l e √ √ 表 1   M L a a S 提 供 商 的 主 要 特 点
图 1   机 器 学 习 即 服 务 商 业 化 模 式 2 . 攻 击 模 型 攻 击 模 型 当 用 户 在 当 用 户 在 M L a a S 平 台 上 训 练 了 自 己 的 机 器 学 习 模 型 ， 并 发 布 该 模 型 给 其 他 用 户 使 用 ， 并 利 用 其 他 用 户 每 次 对 模 平 台 上 训 练 了 自 己 的 机 器 学 习 模 型 ， 并 发 布 该 模 型 给 其 他 用 户 使 用 ， 并 利 用 其 他 用 户 每 次 对 模 型 的 访 问 收 取 一 定 的 费 用 ， 赚 回 自 己 在 训 练 模 型 和 标 定 数 据 投 入 时 的 成 本 。 如 果 利 用 型 的 访 问 收 取 一 定 的 费 用 ， 赚 回 自 己 在 训 练 模 型 和 标 定 数 据 投 入 时 的 成 本 。 如 果 利 用 A P I 访 问 目 标 模 型 的 是 攻 访 问 目 标 模 型 的 是 攻 击 者 ， 该 攻 击 者 利 用 对 目 标 模 型 的 尽 量 少 地 访 问 ， 试 图 在 本 地 构 造 一 个 与 目 标 模 型 相 近 甚 至 一 致 的 模 型 。 击 者 ， 该 攻 击 者 利 用 对 目 标 模 型 的 尽 量 少 地 访 问 ， 试 图 在 本 地 构 造 一 个 与 目 标 模 型 相 近 甚 至 一 致 的 模 型 。 笔 者 认 为 攻 击 可 能 出 于 以 下 目 的 窃 取 目 标 模 型 ： 1 .   想 免 费 使 用 模 型 ： 模 型 训 练 者 将 模 型 托 管 在 云 上 ， 通 过 提 供 A P I 的 方 式 来 提 供 对 模 型 的 访 问 ， 通 过 对 每 次 调 用   A P I 的 方 式 来 收 费 ， 恶 意 的 用 户 将 企 图 偷 取 这 个 模 型 免 费 使 用 。 这 将 破 坏 M L a a S 的 商 业 化 模 式 ， 同 时 很 可 能 存 在 这 种 情 况 ： 攻 击 者 窃 取 模 型 所 花 的 费 用 是 低 于 模 型 训 练 者 标 定 训 练 集 和 训 练 模 型 的 成 本 。 2 .   破 坏 训 练 数 据 隐 私 性 ： 模 型 提 取 攻 击 会 泄 露 训 练 数 据 的 隐 私 ， 越 来 越 多 的 研 究 工 作 表 明 ： 利 用 对 模 型 的 多 次 访 问 可 以 推 断 出 训 练 数 据 信 息 ， 因 为 模 型 本 身 就 是 由 训 练 数 据 所 得 到 的 ， 分 析 所 提 取 到 的 模 型 ， 必 然 可 以 推 断 训 练 数 据 。 具 体 可 以 参 考 这 篇 文 章 ： M e m b e r s h i p   I n f e r e n c e   A t t a c k s   a g a i n s t   M a c h i n e   L e a r n i n g   M o d e l s   . 3 . 绕 过 安 全 检 测 ： 在 越 来 越 多 的 场 景 中 ， 机 器 学 习 模 型 用 于 检 测 恶 意 行 为 ， 例 如 垃 圾 邮 件 过 滤 ， 恶 意 软 件 检 测 ， 网 络 异 常 检 测 。 攻 击 者 在 提 取 到 目 标 模 型 后 ， 可 以 根 据 相 关 知 识 ， 构 造 相 应 的 对 抗 样 本 ， 以 绕 过 安 全 检 测 。 参 考 文 章 : E v a d i n g   C l a s s i f i e r s   b y   M o r p h i n g   i n   t h e   D a r k 图 2   模 型 提 取 攻 击 场 景 3 . 模 型 提 取 攻 击 模 型 提 取 攻 击 笔 者 首 先 将 引 入 针 对 输 入 返 回 置 信 度 输 出 的 场 景 ， 然 后 利 用 二 分 类 让 大 家 明 白 如 何 实 现 解 方 程 攻 击 ， 进 而 讲 解 多 分 类 场 景 中 的 方 程 求 解 攻 击 。 由 于 决 策 树 算 法 的 置 信 度 计 算 和 逻 辑 回 归 （ L R ） 、 支 持 向 量 机 ( S V M ) 、 神 经 网 络 （ N N ） 算 法 不 同 ， 笔 者 还 将 讲 解 如 何 提 取 决 策 树 模 型 。 同 时 还 进 一 步 讨 论 当 预 测 A P I 隐 藏 置 信 度 ， 只 输 出 分 类 标 签 场 景 下 的 模
型 提 取 攻 击 。 3 . 1 方 程 求 解 攻 击 方 程 求 解 攻 击 方 程 求 解 攻 击 针 对 逻 辑 回 归 （ L R ） 、 支 持 向 量 机 ( S V M ) 、 神 经 网 络 （ N N ） 算 法 ， 因 为 这 些 算 法 的 模 型 不 同 于 树 形 模 型 ， 这 些 模 型 都 是 函 数 映 射 ， 输 出 的 置 信 度 是 函 数 的 直 接 输 出 ， 模 型 的 输 入 是 函 数 的 输 入 ， 该 函 数 由 一 些 列 参 数 组 成 。 也 就 是 说 ， 由 置 信 度 和 输 入 数 据 可 以 构 造 方 程 ， 求 解 函 数 的 参 数 就 可 以 得 到 与 目 标 相 近 的 模 型 。 3 . 1 . 1 二 分 类 二 分 类 笔 者 先 从 一 个 简 单 的 场 景 引 入 ， 不 考 虑 多 项 回 归 。 假 设 受 害 者 用 户 利 用 M L a a S 的 L R 算 法 在 其 平 台 上 训 练 了 一 个 人 脸 识 别 模 型 ， 然 后 受 害 者 想 通 过 把 模 型 发 布 给 其 他 用 户 使 用 ， 并 赚 取 一 定 的 利 润 ， 然 后 受 害 者 给 很 多 用 户 发 布 其 模 型 访 问 A P I ， 这 些 用 户 中 有 些 人 想 通 过 对 该 模 型 的 访 问 提 取 该 二 分 类 模 型 。 图 3   简 单 二 分 类 场 景 于 是 该 攻 击 者 通 过 A P I 访 问 模 型 ， 其 返 回 是 置 信 度 信 息 。 我 们 都 知 道 模 型 只 是 由 一 系 列 参 数 决 定 。 求 解 参 数 就 可 以 实 现 模 型 提 取 。 在 二 分 类 中 输 出 的 置 信 度 就 是 该 函 数 的 映 射 输 出 f ( x ) , 函 数 的 参 数 是 W ， b 其 中 W 是 一 个 n 维 向 量 ， b 是 偏 置 。 这 些 图 象 是 9 2 * 1 1 2 的 灰 度 图 ， 也 就 是 特 征 维 数 为 1 0 3 0 4 维 。 对 s i g m o d 函 数 求 反 函 数 就 可 以 看 出 这 是 包 含 n + 1 个 参 数 的 函 数 ， 而 且 这 些 函 数 是 线 性 函 数 。 在 特 征 空 间 足 够 大 的 ， 且 攻 击 者 随 机 访 问 的 场 景 下 ， 攻 击 者 只 需 要 随 机 访 问 模 型 n + 1 次 ， 便 可 得 到 n + 1 个 线 性 的 方 程 组 ， 求 解 这 n + 1 个 参 数 ， 便 可 得 到 目 标 模 型 。 3 . 1 . 2   多 分 类 多 分 类 假 设 多 分 类 要 完 成 对 c 个 类 别 分 类 ， 置 信 度 则 是 输 入 在 每 个 类 别 的 概 率 分 布 ， 输 出 的 置 信 度 是 n 维 向 量 。
图 4   多 分 类 分 类 场 景 则 其 输 出 的 置 信 度 公 式 是 ： 其 未 知 参 数 有 c （ n + 1 ） （ 每 个 类 别 存 在 n + 1 个 未 知 数 ） ， 当 然 这 个 函 数 是 非 线 性 函 数 ， 也 就 是 说 ， 通 过 多 次 访 问 构 建 的 方 程 组 是 非 线 性 方 程 组 ， 而 且 每 个 方 程 都 是 超 越 方 程 。 关 于 这 种 方 程 组 的 求 解 可 以 利 用 梯 度 下 降 方 法 实 现 ， 构 造 一 个 损 失 函 数 为 凸 函 数 ， 转 化 为 凸 优 化 问 题 求 解 ， 求 解 全 局 最 优 解 也 就 是 该 模 型 的 参 数 。 3 . 2   决 策 树 提 取 攻 击 决 策 树 提 取 攻 击 决 策 树 的 置 信 度 是 在 给 定 训 练 数 据 集 ， 就 已 经 确 定 了 ， 每 个 叶 子 节 点 都 有 其 对 应 的 置 信 度 值 ， 笔 者 在 此 假 设 每 个 叶 子 节 点 都 有 不 同 的 置 信 度 值 ， 也 就 说 可 以 通 过 置 信 度 标 定 不 同 的 叶 子 节 点 ： 利 用 置 信 度 作 为 决 策 树 叶 子 节 点 的 伪 标 识 。 同 时 很 多 M L a a S 提 供 商 做 为 了 提 升 A P I 访 问 的 可 访 问 性 ， M L a a S 提 供 商 的 做 法 是 即 使 输 入 的 数 据 使 部 分 特 征 依 然 可 以 得 到 输 出 结 果 。 图 5   决 策 树 示 例 例 如 针 对 上 述 决 策 树 ： 仅 输 入 C o l o r   =   Y ， 依 然 可 以 得 到 i d 6 的 置 信 度 输 出 。 不 断 在 特 征 空 间 遍 历 ，   便 可 以 得 到 和 置 信 度 对 应 的 叶 子 节 点 。 例 如 我 现 在 得 到 了 i d 2 的 伪 标 识 ， 通 过 只 改 其 中 的 C o l o r 特 征 为 B 即 可 找 到 i d 3 叶 子 节 点 。 主 要 基 于 两 点 假 设 前 提 ： 1 . 设 每 个 叶 子 节 点 都 有 不 同 的 置 信 度 值 ；
2 . 为 了 提 升 A P I 访 问 的 可 访 问 性 ， M L a a S 提 供 商 的 做 法 是 即 使 输 入 的 数 据 使 部 分 特 征 依 然 可 以 得 到 输 出 结 果 。 3 . 3   对 于 不 考 虑 置 信 度 的 模 型 提 取 攻 击 对 于 不 考 虑 置 信 度 的 模 型 提 取 攻 击 笔 者 认 为 ： 隐 藏 置 信 度 的 输 出 仍 然 不 能 解 决 所 存 在 的 模 型 提 取 攻 击 ： 1 )   首 先 随 机 确 定 访 问 数 据 ， 对 目 标 模 型 进 行 访 问 ， 并 得 到 预 测 结 果 ， 2 )   利 用 这 些 数 据 集 训 练 在 本 地 训 练 机 器 学 习 模 型 3 )   找 到 离 所 训 练 机 器 学 习 模 型 分 类 边 界 很 近 的 数 据 点 ， 然 后 将 这 些 数 据 对 目 标 模 型 访 问 4 )   利 用 输 入 数 据 集 和 访 问 结 果 更 新 重 训 练 模 型 ， 重 复 3   过 程 直 到 模 型 误 差 低 于 一 定 的 值 。 具 体 细 节 可 以 阅 读 我 的 G i t H u b 代 码 。 4 . 总 结 总 结 M L a a S 提 供 商 所 提 供 的 灵 活 的 预 测 A P I 可 能 被 攻 击 者 用 于 模 型 提 取 攻 击 ， 这 种 商 业 化 模 式 在 笔 者 的 角 度 是 不 安 全 的 ， 本 文 提 出 了 三 种 机 器 模 型 提 取 攻 击 方 法 ， 同 时 表 明 即 使 不 输 出 置 信 度 ， 只 输 出 类 标 签 ， 通 过 自 适 应 地 访 问 数 据 集 的 方 法 ， 模 型 提 取 攻 击 依 然 可 行 。 M L a a S 的 部 署 应 该 谨 慎 考 虑 ， 同 时 M L a a S 的 安 全 部 署 有 待 进 一 步 研 究 。 *   本 文 作 者 ： 本 文 作 者 ： T e r e n c e （ 联 系 方 式 （ 联 系 方 式 j x _ c w u @ y e a h . n e t ） ， 本 文 属 ） ， 本 文 属 F r e e B u f 原 创 奖 励 计 划 ， 未 经 许 可 禁 止 转 载 原 创 奖 励 计 划 ， 未 经 许 可 禁 止 转 载 阅 读 原 文 ! [ i m a g e . p n g ] ( h t t p : / / i m a g e . 3 0 0 1 . n e t / i m a g e s / 2 0 1 7 1 2 0 6 / 1 5 1 2 5 2 5 8 0 5 2 0 5 9 . p n g ! s m a l l )
回复

举报

高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

使用Markdown编辑器编辑 使用富文本编辑器编辑

Archiver| 手机版| 小黑屋|
Powered by Discuz! X3.4 Copyright © 2001-2020, Tencent Cloud. 商业源码建议获取授权，如侵犯您的权益，请联系客服处理