搜索

[16063] 2020-11-08_AI领域的预训练与自训练

文档创建者：s7ckTeam
浏览次数：2
最后更新：2025-01-18
2020-11-08_AI领域的预训练与自训练 A I 领 域 的 预 训 练 与 自 训 练 极 光 无 限 S Z   F r e e B u f   2 0 2 0 - 1 1 - 0 8 最 近 一 年 ， A I 领 域 出 现 了 很 多 迁 移 学 习 ( t r a n s f e r   l e a r n i n g ) 和 自 学 习 ( s e l f - l e a r n i n g ) 方 面 的 文 章 ， 比 较 有 名 的 有 M o C o ， M o C o   v 2 ， S i m C L R 等 。 这 些 文 章 一 出 现 ， 就 受 到 了 很 多 研 究 人 员 的 追 捧 ， 因 为 在 现 实 任 务 上 ， 标 签 数 据 是 非 常 宝 贵 的 资 源 ， 受 制 于 领 域 标 签 数 据 的 缺 失 ， 神 经 网 络 在 很 多 场 景 下 受 到 了 很 多 限 制 。 但 是 迁 移 学 习 和 自 学 习 的 出 现 ， 在 一 定 程 度 上 缓 解 甚 至 解 决 了 这 个 问 题 。 我 们 可 以 在 标 签 丰 富 的 场 景 下 进 行 有 监 督 的 训 练 ， 或 者 在 无 标 签 的 场 景 下 ， 进 行 神 经 网 络 无 监 督 的 自 学 习 ， 然 后 把 训 练 出 来 的 模 型 进 行 迁 移 学 习 ， 到 标 签 很 少 的 场 景 下 ， 利 用 这 种 方 式 来 解 决 领 域 标 签 数 据 少 的 问 题 。 我 们 在 维 阵 产 品 中 ， 设 计 针 对 漏 洞 检 测 的 图 神 经 网 络 的 时 候 ， 大 量 使 用 了 自 学 习 和 迁 移 学 习 。 今 天 分 享 一 篇 谷 歌 大 脑 的 文 章 《 R e t h i n k i n g   P r e - t r a i n i n g   a n d   S e l f - t r a i n i n g 》 ， 希 望 能 对 大 家 的 研 究 有 帮 助 。 视 觉 任 务 往 往 具 有 一 定 的 通 用 性 ， 例 如 在 某 个 分 类 任 务 数 据 集 上 训 练 的 模 型 ， 在 迁 移 到 别 的 分 类 任 务 上 时 ， 只 需 要 重 新 训 练 分 类 层 以 及 对 其 他 层 权 重 进 行 微 调 便 能 获 得 不 俗 的 结 果 。 所 以 在 面 对 下 游 任 务 时 ， 采 用 经 过 别 的 任 务 训 练 后 的 模 型 叫 做 预 训 练 技 术 。 预 训 练 方 法 通 常 分 为 监 督 、 半 监 督 、 无 监 督 法 。 最 常 用 的 监 督 预 训 练 技 术 是 ： 首 先 在 带 有 标 注 的 大 型 数 据 集 上 训 练 模 型 ， 之 后 将 该 模 型 当 作 预 训 练 模 型 执 行 下 游 任 务 。 例 如 在 目 标 检 测 任 务 上 通 常 会 采 用 在 I m a g e n e t 数 据 集 上 经 过 训 练 的 模 型 当 作 特 征 提 取 网 络 。 半 监 督 方 法 的 代 表 是 自 训 练 ， 其 使 用 少 量 的 标 记 数 据 和 大 量 的 未 标 记 数 据 对 模 型 进 行 联 合 训 练 。 自 训 练 可 以 分 为 5 个 步 骤 ： 使 用 少 量 带 有 标 签 的 数 据 训 练 模 型 使 用 步 骤 1 中 得 到 的 模 型 对 未 标 记 数 据 进 行 预 测 ， 预 测 结 果 作 为 伪 标 签 将 标 记 数 据 和 未 标 记 数 据 结 合 标 签 和 伪 标 签 一 起 训 练 模 型 在 测 试 集 上 评 估 模 型 重 复 1 - 4 步 ， 对 模 型 迭 代 无 监 督 方 法 在 无 标 签 的 数 据 集 上 训 练 ， 通 过 对 比 损 失 、 互 信 息 最 大 化 等 方 法 获 得 对 数 据 的 通 用 表 示 。 在 下 游 任 务 中 ， 绝 大 多 数 采 用 经 过 预 训 练 方 法 的 骨 干 网 络 通 常 会 使 结 果 得 到 提 升 。 例 如 在 目 标 检 测 任 务 中 ， 通 过 监 督 法 得 到 的 预 训 练 模 型 因 为 其 稳 定 、 简 单 、 容 易 获 取 而 成 为 多 数 目 标 检 测 的 骨 干 网 络 模 型 。 但 谷 歌 最 新 的 研 究 表 明 ， 在 数 据 量 足 够 的 情 况 下 ， 至 少 在 目 标 检 测 任 务 上 ， 采 用 自 训 练 得 到 的 预 训 练 模 型 对 检 测 结 果 的 提 升 要 显 著 优 于 监 督 预 训 练 与 无 监 督 预 训 练 模 型 。 0 1   使 用 监 督 学 习 获 得 预 训 练 模 型 使 用 监 督 学 习 获 得 预 训 练 模 型 作 为 实 验 ， 研 究 者 首 先 在 I m a g e n e t 上 训 练 分 类 网 络 作 为 预 训 练 模 型 ， 之 后 监 督 得 到 的 预 训 练 模 型 作 为 骨 干 网 络 在 C O C O 数 据 集 上 进 行 训 练 。 此 外 ， 对 训 练 集 进 行 数 据 增 强 往 往 能 获 得 更 加 通 用 的 表 征 和 更 高 的 鲁 棒 性 。 所 以 研 究 者 还 研 究 了 在 不 同 强 度 的 数 据 增 强 下 得 到 的 预 训 练 模 型 对 目 标 检 测 效 果 的 影 响 。 对 于 使 用 监 督 算 法 得 到 的 预 训 练 模 型 ， 研 究 者 分 别 在 使 用 了 四 种 不 同 强 度 的 数 据 增 强 的 I m a g e n e t 上 分 别 训 练 了 E f f i c i e n t N e t - B 7 ， 之 后 将 这 些 模 型 当 作 骨 干 网 络 在 C O C O 数 据 集 上 训 练 目 标 检 测 模 型 。
实 验 参 数 横 轴 为 数 据 增 强 强 度 ， 纵 轴 为 目 标 检 测 结 果 ， I m a g e n e t 表 示 仅 在 I m a g e n e t 数 据 集 上 训 练 ， I m a g e n e t + + 表 示 使 用 了 额 外 的 数 据 扩 充 ， R a n d i n i t 表 示 骨 干 网 络 不 使 用 预 训 练 模 型 通 过 结 果 表 明 ， 在 监 督 环 节 进 行 数 据 增 强 可 以 得 到 更 好 的 目 标 检 测 结 果 。 在 较 低 程 度 的 数 据 增 强 下 ， 使 用 监 督 预 训 练 模 型 比 不 使 用 的 效 果 要 好 。 但 随 着 数 据 增 强 的 加 大 ， 使 用 预 训 练 模 型 反 而 会 损 害 结 果 。
横 轴 - 使 用 C O C O 数 据 集 的 比 例 第 二 个 实 验 表 明 ， 如 果 主 任 务 ( 目 标 检 测 ) 的 训 练 集 尺 寸 较 小 ， 使 用 监 督 方 式 的 预 训 练 模 型 可 以 帮 助 提 高 检 测 结 果 ， 但 随 着 主 任 务 训 练 集 的 增 大 ， 使 用 监 督 法 得 到 的 预 训 练 模 型 的 收 益 越 来 越 低 ， 甚 至 最 终 会 损 害 目 标 检 测 结 果 。 综 上 ， 研 究 者 得 到 了 在 目 标 检 测 任 务 上 使 用 由 监 督 法 得 到 的 预 训 练 模 型 并 不 能 获 得 收 益 ， 且 对 数 据 增 强 不 兼 容 的 结 论 。 0 2   使 用 自 训 练 获 得 预 训 练 模 型 使 用 自 训 练 获 得 预 训 练 模 型 文 中 使 用 的 自 训 练 方 法 为 n o i s y   s t u d e n t   t r a i n i n g 。 在 此 使 用 I m a g e n e t 当 作 未 标 记 的 数 据 ( 不 使 用 标 签 ) ， 而 C O C O 数 据 集 当 作 标 记 数 据 对 预 训 练 模 型 进 行 联 合 训 练 ， 以 此 更 好 的 改 善 最 终 目 标 检 测 的 效 果 。 作 为 与 监 督 预 训 练 的 对 比 结 果 如 下 ： 不 同 数 据 增 强 模 式 下 基 线 、 监 督 式 预 训 练 、 自 训 练 式 预 训 练 下 的 目 标 检 测 结 果 对 比 不 同 数 据 增 强 模 式 下 基 线 、 监 督 式 预 训 练 、 自 训 练 式 预 训 练 下 的 目 标 检 测 结 果 对 比 统 一 实 验 条 件 下 三 种 预 监 督 方 法 对 比
作 为 与 监 督 预 训 练 与 无 监 督 预 训 练 的 对 比 ， 对 照 实 验 表 明 使 用 自 训 练 方 法 得 到 的 预 训 练 模 型 在 各 种 数 据 增 强 模 式 ， 不 同 主 任 务 训 练 集 尺 寸 的 情 况 下 都 能 获 得 明 显 受 益 ， 且 显 著 优 于 基 线 ( 不 使 用 预 训 练 模 型 ) 和 监 督 式 预 训 练 方 法 。 在 语 义 分 割 方 面 ， 研 究 者 也 证 明 了 自 训 练 的 预 训 练 方 式 比 监 督 式 预 训 练 可 以 达 到 更 好 的 效 果 ： E f f i c i e n t N e t - B 7   和 L 2 进 行 自 训 练 相 比 监 督 式 预 训 练 可 以 达 到 更 高 的 精 度 0 3   结 论 结 论 通 过 以 上 一 系 列 实 验 证 明 ， 监 督 预 训 练 方 法 与 无 监 督 预 训 练 方 法 对 学 习 通 用 表 示 形 式 具 有 局 限 性 ， 其 原 因 研 究 者 猜 测 ， 这 两 种 预 训 练 方 法 无 法 意 识 到 当 下 要 关 注 的 任 务 ， 因 此 可 能 无 法 适 应 。 切 换 到 下 游 任 务 时 通 常 需 要 根 据 任 务 对 预 训 练 的 模 型 进 行 有 目 的 的 调 整 ， 例 如 C O C O 目 标 检 测 任 务 需 要 目 标 的 位 置 信 息 ， 而 在 I m a g e n e t 分 类 模 型 上 这 些 位 置 信 息 对 分 类 可 能 没 有 帮 助 ， 以 至 于 被 模 型 抛 弃 。 而 自 训 练 的 预 训 练 方 法 可 以 更 加 灵 活 的 融 合 不 同 任 务 之 间 不 同 特 性 ， 所 以 其 作 为 预 训 练 的 模 型 更 加 合 适 。 论 文 引 用 ： 论 文 引 用 ： Z o p h ,   B a r r e t ,   e t   a l .   “ R e t h i n k i n g   p r e - t r a i n i n g   a n d   s e l f   - t r a i n i n g . ”   a r X i v   p r e p r i n t   a r X i v : 2 0 0 6 . 0 6 8 8 2   ( 2 0 2 0 ) 精 彩 推 荐 精 彩 推 荐

回复

举报

高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

使用Markdown编辑器编辑 使用富文本编辑器编辑

Archiver| 手机版| 小黑屋|
Powered by Discuz! X3.4 Copyright © 2001-2020, Tencent Cloud. 商业源码建议获取授权，如侵犯您的权益，请联系客服处理