搜索

[14926] 2019-12-31_我创建了自己的Deepfake，两个星期花费了552美元

文档创建者：s7ckTeam
浏览次数：20
最后更新：2025-01-18
2019-12-31_我创建了自己的Deepfake，两个星期花费了552美元 我 创 建 了 自 己 的 D e e p f a k e ， 两 个 星 期 花 费 了 5 5 2 美 元 k i r a z h o u   F r e e B u f   2 0 1 9 - 1 2 - 3 1 D e e p f a k e 技 术 通 过 深 度 神 经 网 络 将 视 频 中 的 一 张 脸 替 换 为 另 一 张 脸 ， 这 个 以 假 乱 真 的 技 术 存 在 被 滥 用 的 隐 患 ， 技 术 通 过 深 度 神 经 网 络 将 视 频 中 的 一 张 脸 替 换 为 另 一 张 脸 ， 这 个 以 假 乱 真 的 技 术 存 在 被 滥 用 的 隐 患 ， 与 此 同 时 又 变 得 越 来 越 普 及 。 与 此 同 时 又 变 得 越 来 越 普 及 。 本 文 ， 我 将 仔 细 研 究 这 项 技 术 本 身 ， 通 过 自 己 创 建 作 品 的 方 式 ， 来 回 答 ： D e e p f a k e 软 件 如 何 工 作 ？ 使 用 起 来 有 多 难 ？ 效 果 会 如 何 ？ 我 从 “ 小 扎 ” 在 国 会 作 证 的 视 频 开 始 ， 然 后 用 《 星 际 迷 航 ： 下 一 代 》 中 尉 指 挥 官 （ B r e n t   S p i n e r ， M r . D a t a ） 的 脸 代 替 了 他 的 脸 。 总 花 费 ： 5 5 2 美 元 。 这 个 视 频 并 不 完 美 ， 因 为 它 不 能 完 全 捕 捉 到 M r . D a t a 的 脸 部 全 部 细 节 ， 如 果 仔 细 观 察 ， 会 发 现 人 脸 边 缘 有 一 些 伪 像 。 不 过 ， 值 得 注 意 的 是 ， 像 我 这 样 的 新 手 可 以 如 此 迅 速 地 制 作 出 这 样 水 平 的 视 频 ， 而 且 花 费 这 么 少 的 钱 。 那 么 ， 在 未 来 几 年 中 ， D e e p f a k e 技 术 将 继 续 变 得 越 来 越 好 ， 越 来 越 便 宜 。 D e e p f a k e 需 要 大 量 的 计 算 能 力 和 数 据 需 要 大 量 的 计 算 能 力 和 数 据 我 们 称 之 为 D e e p f a k e ， 是 因 为 它 们 使 用 了 深 度 神 经 网 络 。 在 过 去 的 十 年 中 ， 计 算 机 科 学 家 发 现 ， 当 你 添 加 的 神 经 元 层 越 多 ， 神 经 网 络 就 变 得 越 强 大 ， 但 是 要 释 放 这 些 更 深 层 网 络 的 全 部 功 能 ， 需 要 大 量 数 据 和 计 算 能 力 。 D e e p f a k e 就 是 这 样 。 为 了 创 建 自 己 的 D e e p f a k e ， 首 先 ， 我 租 用 了 一 个 带 有 四 个 强 大 图 形 卡 的 虚 拟 机 。 即 便 如 此 ， 训 练 我 的 D e e p f a k e 模 型 也 花 了 将 近 一 周 的 时 间 。 然 后 ， 我 需 要 一 堆 小 扎 和 M r . D a t a 的 图 像 。 我 上 面 的 最 后 一 个 视 频 只 有 3 8 秒 长 ， 但 是 我 需 要 收 集 更 多 的 素 材 进 用 来 训 练 。 为 此 ， 我 下 载 了 一 堆 包 含 他 们 面 部 表 情 的 视 频 ： 1 4 个 M r . D a t a 的 视 频 和 9 个 小 扎 的 视 频 ， 包 括 他 正 式 演 讲 ， 两 次 电 视 采 访 ， 甚 至 还 有 他 在 家 后 院 抽 烟 的 镜 头 。 我 将 所 有 这 些 剪 辑 加 载 到 i M o v i e 中 ， 并 删 除 了 不 包 含 小 扎 或 M r . D a t a 的 面 孔 的 部 分 。 我 还 减 掉 了 较 长 的 序 列 ， 因 为 D e e p f a k e 软 件 不 仅 需 要 大 量 的 图 像 ， 而 且 还 需 要 大 量 的 不 同 图 像 。 它 需 要 从 不 同 角 度 ， 不 同 表 情 和 不 同 光 照 条 件 下 看 到 一 张 脸 。 长 达 一 个 小 时 的 小 扎 演 讲 的 视 频 可 能 并 不 能 比 同 一 讲 话 的 五 分 钟 片 段 提 供 更 多 的 价 值 ， 因 为 它 只 是 一 次 又 一 次 地 显 示 相 同 的 角 度 、 照 明 条 件 下 的 表 情 。 因 此 ， 几 个 小 时 的 素 材 最 后 缩 减 到 了 9 分 钟 的 M r . D a t a 和 7 分 钟 的 小 扎 视 频 。 F a c e s w a p ： 端 到 端 的 ： 端 到 端 的 D e e p f a k e 软 件 软 件 是 时 候 使 用 D e e p f a k e 软 件 了 。 最 初 ， 我 尝 试 使 用 一 个 名 为 D e e p F a c e L a b 的 程 序 ， 并 设 法 使 用 该 程 序 制 作 了 粗 糙 的 D e e p f a k e 视 频 。 但 是 ， 当 我 把 视 频 发 布 在 S F W d e e p f a k e s   s u b r e d d i t 上 的 时 候 ， 一 些 人 建 议 我 改 用 F a c e s w a p ， 因 为 它 提 供 更 多 功 能 ， 更 好 的 文 档 和 更 好 的 在 线 支 持 。 所 以 ， 我 决 定 听 取 他 们 的 建 议 。 F a c e s w a p 可 以 在 L i n u x ， W i n d o w s 和 M a c 上 运 行 ， 涵 盖 了 执 行 D e e p f a k e 流 程 的 每 个 步 骤 的 工 具 ， 从 导 入 初 始 视 频 到 生 成 完 整 的 D e e p f a k e 视 频 。 并 且 附 带 了 详 细 的 教 程 （ 该 教 程 由 F a c e s w a p 开 发 人 员 M a t t   T o r a 编 写 ） 。 F a c e s w a p 需 要 功 能 强 大 的 图 形 卡 ， 而 我 用 了 六 年 的 M a c B o o k   P r o 显 然 不 行 。 因 此 ， 从 云 提 供 商 那 里 租 了 一 台 虚 拟 L i n u x 计 算 机 。
我 开 始 使 用 一 个 带 有 N v i d i a   K 8 0   G P U 和 1 2 G B 图 形 内 存 的 实 例 。 经 过 几 天 的 训 练 ， 我 升 级 到 了 2   G P U 模 式 ， 然 后 又 升 级 为 4   G P U 。 它 具 有 4 个 N v i d i a   T 4   T e n s o r   C o r e   G P U ， 每 个 G P U 都 具 有 1 6 G B 的 内 存 （ 它 还 具 有 4 8 个 v C P U 和 1 9 2 G B 的 R A M ， 由 于 神 经 网 络 训 练 需 要 大 量 的 G P U ， 因 此 大 部 分 内 存 反 而 都 没 有 使 用 ） 。 在 两 周 的 时 间 中 ， 我 在 云 计 算 方 面 花 了 5 5 2 美 元 。 无 疑 ， 我 为 租 用 计 算 机 硬 件 付 出 了 高 昂 的 代 价 。 而 F a c e s w a p 的 开 发 人 员 T o r a 告 诉 我 ， 目 前 D e e p f a k e 硬 件 的 “ 最 佳 选 择 ” 是 至 少 具 有 8 G B   V R A M 的 N v i d i a   G T X   1 0 7 0 或 1 0 8 0 卡 ， 不 过 你 也 可 以 选 择 购 买 几 百 美 元 的 卡 。 当 然 ， 一 张 1 0 8 0 卡 不 能 像 我 使 用 的 四 个 G P U 一 样 快 速 地 训 练 神 经 网 络 ， 不 过 只 要 多 等 待 几 周 时 间 ， 也 能 获 得 一 样 的 训 练 结 果 ， 就 是 稍 微 慢 了 一 点 。 F a c e s w a p 工 作 步 骤 ： 工 作 步 骤 ： 1 、 提 取 ： 将 视 频 剪 切 成 帧 ， 在 每 个 帧 里 检 测 人 脸 面 部 ， 然 后 输 出 每 个 面 部 的 对 齐 裁 剪 的 图 像 。 2 、 训 练 ： 利 用 提 取 出 来 的 图 像 训 练 一 个 D e e p f a k e 神 经 网 络 ， 该 神 经 网 络 可 以 获 取 一 个 人 脸 的 图 像 ， 并 以 相 同 的 姿 势 、 表 情 和 光 照 度 输 出 另 一 个 人 脸 的 图 像 。 3 、 转 换 ： 在 最 后 一 步 中 ， 把 训 练 出 来 的 模 型 应 用 于 特 定 的 视 频 ， 从 而 产 生 深 层 次 的 效 果 。 并 且 ， 训 练 模 型 可 以 应 用 于 包 含 训 练 对 象 的 任 何 视 频 。 这 三 个 步 骤 所 需 要 的 人 力 和 算 力 完 全 不 同 。 提 取 软 件 可 以 在 几 分 钟 内 完 成 ， 但 是 随 后 可 能 要 花 费 数 小 时 的 人 工 检 查 结 果 ， 同 时 ， 该 软 件 会 标 记 每 个 提 取 图 像 中 的 每 个 面 孔 以 及 相 当 数 量 的 误 报 。 为 了 更 好 的 呈 现 效 果 ， 必 须 人 工 检 查 并 删 除 不 相 关 的 面 孔 以 及 该 软 件 误 以 为 面 孔 的 任 何 事 物 。 相 反 ， 训 练 几 乎 不 需 要 人 工 监 督 。 但 是 ， 可 能 需 要 几 天 甚 至 几 周 的 计 算 时 间 才 能 获 得 结 果 。 我 从 1 2 月 7 日 开 始 训 练 我 的 最 终 模 型 ， 并 将 其 运 行 到 1 2 月 1 3 日 。 要 是 再 经 过 一 周 的 训 练 ， 我 的 D e e p f a k e 的 质 量 可 能 会 进 一 步 提 高 。 如 果 你 是 在 功 能 不 那 么 强 大 的 G P U 的 个 人 计 算 机 上 进 行 此 类 工 作 ， 训 练 好 模 型 可 能 需 要 花 费 数 周 的 时 间 。 最 后 一 步 ， 即 转 换 ， 拥 有 最 终 模 型 后 ， 输 出 D e e p f a k e 视 频 文 件 可 能 需 要 不 到 一 分 钟 的 时 间 。 D e e p f a k e 如 何 运 作 如 何 运 作 在 描 述 我 的 F a c e s w a p 训 练 过 程 之 前 ， 先 解 释 一 下 基 础 技 术 。 自 动 编 码 器 是 F a c e s w a p 和 其 他 领 先 的 D e e p f a k e 软 件 包 的 核 心 。 这 是 一 个 经 过 训 练 的 神 经 网 络 ， 用 来 获 取 一 个 输 入 图 像 并 输 出 一 个 相 同 的 图 像 。 这 似 乎 没 有 什 么 用 处 ， 但 正 如 我 们 将 要 看 到 的 那 样 ， 它 是 创 建 D e e p f a k e 的 关 键 部 分 。 自 动 编 码 器 的 结 构 像 两 个 漏 斗 ， 窄 小 的 那 端 粘 在 一 起 。 神 经 网 络 的 一 端 是 编 码 器 ， 它 获 取 图 像 并 将 其 压 缩 为 少 量 变 量 ， 在 我 使 用 的 F a c e s w a p 模 型 中 ， 它 是 1 0 2 4 个 3 2 位 浮 点 值 。 神 经 网 络 的 另 一 端 是 解 码 器 。 它 采 用 这 种 紧 凑 的 形 式 ， 即 所 谓 的 “ l a t e n t   s p a c e ” ， 试 图 扩 大 到 原 始 图 像 。 人 为 地 限 制 编 码 器 可 以 传 递 给 解 码 器 多 少 数 据 ， 迫 使 这 两 个 网 络 为 人 脸 开 发 出 紧 凑 的 表 示 形 式 。 你 可 以 将 编 码 器 看 作 是 一 种 有 损 压 缩 算 法 — — 在 有 限 的 存 储 空 间 下 ， 它 会 尝 试 捕 获 尽 可 能 多 的 人 脸 信 息 。 而 l a t e n t s p a c e 必 须 以 某 种 方 式 捕 获 重 要 的 细 节 ， 例 如 对 象 面 对 的 方 向 ， 对 象 的 眼 睛 是 睁 开 还 是 闭 着 ， 对 象 是 微 笑 还 是 皱 着 眉 头 。
至 关 重 要 的 是 ， 自 动 编 码 器 仅 需 要 记 录 人 脸 随 时 间 变 化 的 各 个 方 面 ， 不 需 要 捕 获 永 久 的 细 节 ， 例 如 眼 睛 的 颜 色 或 鼻 子 的 形 状 。 例 如 ， 如 果 小 扎 的 每 张 照 片 都 显 示 蓝 眼 睛 ， 则 小 扎 解 码 器 网 络 将 学 会 自 动 用 蓝 眼 睛 渲 染 他 的 脸 。 无 需 使 用 从 一 幅 图 像 到 另 一 幅 图 像 不 变 的 信 息 ， 将 拥 挤 的 l a t e n t   s p a c e 弄 得 一 团 糟 。 就 像 我 们 将 看 到 的 那 样 ， 自 动 编 码 器 对 待 人 脸 的 暂 时 性 特 征 与 永 久 性 特 征 的 区 别 ， 这 是 其 生 成 深 层 伪 造 的 能 力 的 关 键 。 训 练 神 经 网 络 的 每 种 算 法 都 需 要 某 种 方 法 来 评 估 网 络 的 性 能 ， 因 此 可 以 对 其 进 行 改 进 。 在 许 多 情 况 下 ， 一 个 人 需 要 通 过 已 有 的 训 练 样 本 （ 即 已 知 数 据 以 及 其 对 应 的 输 出 ） 去 训 练 得 到 一 个 最 优 模 型 ， 也 就 是 监 督 训 练 。 但 自 动 编 码 器 是 不 同 的 ， 它 们 只 是 复 制 自 己 的 输 入 ， 所 以 训 练 软 件 可 以 自 动 判 断 其 表 现 ， 也 就 是 无 监 督 训 练 。 像 任 何 神 经 网 络 一 样 ， F a c e s w a p 中 的 自 动 编 码 器 使 用 反 向 传 播 进 行 训 练 。 训 练 算 法 将 特 定 的 图 像 输 入 神 经 网 络 ， 并 找 出 输 出 中 的 哪 些 像 素 与 输 入 的 不 匹 配 。 然 后 ， 它 会 计 算 出 是 神 经 网 络 最 后 一 层 中 哪 里 出 了 问 题 ， 然 后 调 整 每 个 神 经 元 的 参 数 。 然 后 ， 错 误 将 传 播 到 倒 数 第 二 层 ， 再 一 次 调 整 每 个 神 经 元 的 参 数 。 误 差 以 这 种 方 式 向 后 传 播 ， 直 到 调 整 了 编 码 器 和 解 码 器 中 的 神 经 网 络 的 每 个 参 数 。 然 后 ， 训 练 算 法 将 另 一 个 图 像 馈 送 到 网 络 ， 并 且 整 个 过 程 再 次 重 复 。 可 能 需 要 数 十 万 次 此 过 程 的 迭 代 才 能 生 成 自 动 编 码 器 。 D e e p f a k e 软 件 通 过 并 排 训 练 两 个 自 动 编 码 器 来 工 作 ， 其 中 一 个 用 于 原 始 面 孔 ， 一 个 用 于 新 面 孔 。 在 训 练 过 程 中 ， 每 个 自 动 编 码 器 仅 显 示 一 个 人 的 照 片 ， 并 经 过 训 练 以 产 生 与 原 始 照 片 非 常 相 似 的 图 像 。 但 是 ， 有 一 点 不 同 的 是 ： 虽 然 两 个 网 络 使 用 相 同 的 编 码 器 单 元 。 解 码 器 （ 位 于 网 络 右 侧 的 神 经 元 ） 保 持 分 离 ， 每 个 神 经 元 都 被 训 练 生 不 同 的 面 孔 。 但 是 ， 网 络 左 侧 的 神 经 元 则 具 有 共 享 参 数 ， 这 些 参 数 可 以 在 训 练 自 动 编 码 器 网 络 时 随 时 可 以 更 改 。 当 在 小 扎 网 络 上 训 练 小 扎 面 孔 时 ， 也 会 修 改 M r . D a t a 一 半 的 编 码 器 。 同 理 ， 每 次 在 M r . D a t a 网 络 训 练 M r . D a t a 面 孔 时 ， 小 扎 编 码 器 也 会 做 出 这 些 更 改 。 因 此 ， 这 两 个 自 动 编 码 器 有 一 个 共 享 编 码 器 ， 可 以 “ 读 取 ”   小 扎 或 M r . D a t a 的 脸 。 不 管 是 小 扎 还 是 M r . D a t a 的 照 片 ， 编 码 器 的 目 标 是 使 用 相 同 的 表 示 方 式 来 表 示 头 部 角 度 或 眉 毛 位 置 。 反 过 来 ， 这 意 味 着 如 果 你 用 编 码 器 压 缩 了 一 张 脸 ， 你 就 可 以 用 任 何 一 个 解 码 器 来 扩 展 它 。
因 此 ， 一 旦 像 这 样 训 练 了 2 个 自 动 编 码 器 ， 那 么 D e e p f a k e 的 步 骤 就 很 简 单 。 我 们 之 前 说 过 l a t e n t   s p a c e 倾 向 于 捕 获 人 脸 的 瞬 时 特 征 （ 表 情 ， 他 所 面 对 的 方 向 ， 眉 毛 的 位 置 ） ， 而 永 久 性 特 征 （ 如 眼 睛 的 颜 色 或 嘴 巴 的 形 状 ） 则 由 解 码 器 产 生 。 这 意 味 着 ， 如 果 你 对 小 扎 的 图 片 进 行 编 码 ， 然 后 使 用 数 据 解 码 器 对 其 进 行 解 码 ， 那 么 您 将 拥 有 一 张 具 有 M r . D a t a 永 久 特 征 （ 例 如 ， 他 的 脸 部 形 状 ） 但 具 有 小 扎 表 情 和 朝 向 的 面 孔 。 如 果 将 这 种 技 术 应 用 于 小 扎 视 频 的 连 续 帧 ， 则 可 以 获 得 一 个 新 的 视 频 ， M r . D a t a 的 脸 部 动 作 与 小 扎 在 原 始 视 频 中 所 做 的 一 样 ， 包 括 微 笑 ， 眨 眼 ， 转 头 。 这 是 相 对 的 。 当 你 训 练 一 个 神 经 网 络 来 输 入 小 扎 的 照 片 并 输 出 M r . D a t a 的 照 片 时 ， 同 时 训 练 网 络 以 摄 取 M r . D a t a 的 照 片 和 输 出 小 扎 的 照 片 。 F a c e s w a p 的 视 频 转 换 工 具 包 括 一 个 “ 交 换 模 型 ” 复 选 框 ， 该 复 选 框 可 让 用 户 交 换 解 码 器 。 结 果 ： 它 没 有 用 小 扎 的 脸 代 替 M r . D a t a 的 脸 ， 而 是 做 了 相 反 的 事 情 ， 产 生 了 像 这 样 的 搞 笑 视 频 ： 训 练 数 据 训 练 数 据 在 实 践 中 ， 要 通 过 D e e p f a k e 软 件 做 出 一 个 好 的 视 频 并 不 容 易 。 如 前 面 所 说 ， 我 收 集 了 大 约 7 分 钟 的 M r . D a t a 的 视 频 素 材 和 9 分 钟 小 扎 的 视 频 素 材 。 然 后 ， 我 使 用 F a c e s w a p 的 提 取 工 具 将 视 频 剪 切 ， 并 获 得 两 张 男 人 脸 部 的 剪 裁 图 像 。 视 频 每 秒 大 约 有 3 0 帧 ， 但 我 仅 提 取 了 六 分 之 一 的 图 像 ， 因 为 图 像 的 多 样 性 比 原 始 数 量 更 重 要 ， 并 且 要 是 捕 获 视 频 的 每 一 帧 意 味 着 你 也 会 收 获 大 量 非 常 相 似 的 图 像 。 同 时 ， F a c e s w a p 的 提 取 工 具 产 生 了 大 量 误 报 ， 甚 至 在 某 些 镜 头 的 背 景 中 识 别 出 面 孔 。 因 此 ， 我 花 了 大 概 几 个 小 时 来 手
动 删 除 所 有 非 两 个 人 物 的 提 取 照 片 。 最 后 ， 我 获 得 了 2 5 9 8 张 M r . D a t a 和 2 2 2 4 张 小 扎 的 面 孔 图 像 。 至 此 ， 终 于 可 以 开 始 实 际 训 练 我 的 模 型 了 。 当 前 ， F a c e s w a p 预 包 装 了 1 0 种 不 同 的 D e e p f a k e 算 法 ， 这 些 算 法 支 持 不 同 的 图 像 大 小 和 不 同 的 计 算 能 力 要 求 。 在 底 层 ， 有 一 个 “ 轻 量 级 ” 模 型 可 以 处 理 侧 面 6 4 像 素 的 面 部 图 像 。 它 可 以 在 具 有 小 于 2 G B   V R A M 的 计 算 机 上 运 行 。 其 他 型 号 可 同 时 处 理 侧 面 1 2 8 、 2 5 6 甚 至 5 1 2 像 素 的 图 像 ， 不 过 需 要 更 多 的 视 频 内 存 以 及 更 多 的 训 练 时 间 。 我 开 始 训 练 了 一 个 所 谓 的 D F L - S A E 模 型 ， 但 是 ， F a c e s w a p 文 档 警 告 说 ， 此 模 型 遭 受 “ i d e n t i t y   b l e e d ” ， 其 中 一 张 脸 的 某 些 特 征 会 渗 入 另 一 张 脸 。 经 过 一 天 的 培 训 ， 我 切 换 到 了 另 一 种 叫 做 V i l l a i n 的 模 型 ， 该 模 型 可 处 理 1 2 8 像 素 图 像 。 然 后 我 等 啊 等 ， 经 过 六 天 的 训 练 ， 在 周 五 的 时 候 ， 训 练 仍 在 进 行 中 。 这 时 候 的 ` 模 型 已 经 可 以 制 作 出 非 常 不 错 的 D e e p f a k e ， 但 是 如 果 我 再 有 一 周 的 计 算 时 间 ， 可 能 会 获 得 更 好 的 结 果 。 F a c e s w a p 软 件 是 为 长 时 间 的 计 算 工 作 而 精 心 设 计 的 。 如 果 你 从 图 形 用 户 界 面 运 行 训 练 命 令 ， 那 么 G U I 会 定 期 更 新 预 览 屏 幕 ， 显 示 有 关 软 件 如 何 渲 染 D a t a 和 Z u c k 的 示 例 。 如 果 你 更 喜 欢 从 命 令 行 训 练 ， 也 可 以 这 样 做 。 F a c e s w a p   G U I 包 含 一 个 “ 生 成 ” 按 钮 ， 能 做 出 你 需 要 执 行 的 确 切 命 令 。 D e e p F a k e s   可 以 做 到 多 好 ？ 在 训 练 过 程 中 ， F a c e s w a p 会 持 续 显 示 两 个 自 动 编 码 器 各 自 的 数 字 得 分 ， 称 为 损 失 。 这 些 图 证 明 小 扎 和 M r . D a t a 的 自 动 编 码 器 可 以 很 好 地 再 现 他 们 的 照 片 。 当 我 上 周 五 停 止 训 练 时 ， 这 些 “ 损 失 ” 的 数 字 似 乎 仍 在 下 降 。 当 然 ， 我 们 真 正 关 心 的 是 M r . D a t a 解 码 器 如 何 将 小 扎 的 脸 转 换 为 M r . D a t a 的 脸 。 我 们 不 知 道 这 些 “ 转 换 后 的 图 像 ” 看 起 来 是 什 么 样 子 ， 因 此 无 法 精 确 测 量 结 果 的 质 量 。 我 们 能 做 的 就 是 一 直 看 着 它 ， 直 到 它 看 起 来 比 较 正 常 。 上 面 4 个 训 练 过 程 中 的 作 品 显 示 了 D e e p F a k e s 的 效 果 ， 随 着 训 练 不 断 进 行 ， 人 物 的 脸 部 细 节 变 得 更 加 栩 栩 如 生 。 经 过 三 天 的 训 练 后 ， 1 2 月 9 号 ， 我 发 布 了 初 始 视 频 ， 就 像 右 上 角 那 个 视 频 一 样 ， 结 果 受 到 严 厉 批 判 ： “ 总 的 来 说 看 起 来 很 糟 糕 ， 根 本 没 有 说 服 力 。 我 还 没 有 看 到 其 中 哪 一 种 看 起 来 不 是 假 的 。 ” 确 实 ， 存 在 很 多 的 痕 迹 。 在 某 些 帧 中 ， M r . D a t a 的 脸 和 小 扎 头 部 的 边 界 不 太 正 确 ， 有 时 候 能 看 到 小 扎 的 美 貌 从 M r . D a t a 的 脸 后 面 透 出 来 。 这 些 合 成 问 题 需 要 大 量 的 人 力 后 期 来 处 理 ， 也 就 是 逐 帧 浏 览 视 频 然 后 调 整 遮 罩 。
然 而 ， 更 根 本 的 问 题 是 ， d e e p f a k e 算 法 在 复 制 人 脸 最 精 细 的 部 分 做 得 似 乎 还 不 是 很 好 。 比 如 即 使 经 过 将 近 一 个 星 期 的 训 练 ， 脸 部 仍 然 看 起 来 有 些 模 糊 ， 而 且 根 本 没 有 细 节 。 包 括 d e e p f a k e 软 件 似 乎 无 法 以 一 致 的 方 式 渲 染 人 的 牙 齿 。 有 时 候 ， 别 人 的 牙 齿 会 清 晰 可 见 ， 但 几 帧 之 后 ， 人 物 的 嘴 巴 会 变 成 黑 色 的 空 隙 ， 根 本 看 不 到 牙 齿 。 在 更 高 的 分 辨 率 下 ， “ 面 部 交 换 ” 问 题 变 得 越 来 越 困 难 。 自 动 编 码 器 可 以 很 好 地 再 现 6 4   x   6 4 像 素 的 图 像 。 但 是 要 重 现 1 2 8 x   1 2 8 图 像 的 精 细 细 节 （ 更 不 用 说 侧 面 2 5 6 像 素 或 更 高 分 辨 率 的 图 像 了 ） ， 仍 然 是 一 个 很 大 的 挑 战 。 这 也 可 能 是 最 很 多 D e e p f a k e 往 往 是 相 当 宽 的 镜 头 而 不 是 某 人 脸 部 特 写 的 原 因 之 一 。 不 过 ， 在 未 来 几 年 ， 研 究 人 员 很 可 能 会 开 发 出 克 服 这 些 局 限 性 的 技 术 。 D e e p f a k e 软 件 经 常 误 认 为 是 基 于 生 成 式 对 抗 网 络 （ G A N ,   G e n e r a t i v e   A d v e r s a r i a l   N e t w o r k s ， 但 实 际 上 ， 它 是 基 于 自 动 编 码 器 ， 而 不 是 G A N 。 但 是 G A N 技 术 的 最 新 进 展 表 明 ， 深 层 仿 冒 仍 有 很 大 的 改 进 空 间 。 当 G A N 在 2 0 1 4 年 首 次 推 出 时 ， 它 们 只 能 生 成 块 状 的 低 分 辨 率 图 像 。 但 是 最 近 ， 研 究 人 员 已 经 弄 清 楚 了 如 何 设 计 可 生 成 最 大 1 0 2 4 像 素 的 逼 真 的 图 像 的 G A N 。 这 些 论 文 中 使 用 的 特 定 技 术 可 能 不 适 用 于 D e e p f a k e ， 但 可 以 联 想 到 或 许 也 会 有 人 为 自 动 编 码 器 开 发 类 似 的 技 术 来 进 行 面 部 表 情 转 换 。 最 后 最 后 D e e p f a k e 的 普 及 显 然 是 一 个 值 得 关 注 的 问 题 。 这 些 软 件 和 其 他 数 字 工 具 的 出 现 意 味 着 我 们 不 得 不 以 怀 疑 的 态 度 观 看 视 频 。 如 果 我 们 看 到 一 个 视 频 ， 有 人 说 了 一 些 可 耻 的 话 或 脱 了 衣 服 ， 我 们 必 须 考 虑 是 否 是 人 为 仿 造 。 而 在 我 的 实 验 中 ， 至 少 目 前 来 说 D e e p f a k e 技 术 存 在 局 限 性 ： 需 要 大 量 的 知 识 和 精 力 来 制 作 出 完 全 令 人 信 服 的 虚 拟 面 孔 。 而 且 只 能 交 换 人 脸 ， 不 会 换 头 发 、 手 臂 或 腿 ， 因 此 这 些 因 素 都 可 以 用 来 识 别 D e e p f a k e 视 频 。 当 然 ， 几 年 后 ， D e e p f a k e 技 术 会 进 步 。 可 以 说 ， D e e p f a k e 的 开 发 是 不 可 避 免 的 ， 创 建 一 种 用 户 友 好 的 开 放 源 代 码 换 脸 工 具 将 有 助 于 揭 开 该 技 术 的 神 秘 面 纱 ， 并 就 其 功 能 和 局 限 性 对 公 众 进 行 教 育 。 当 然 ， 从 长 远 来 看 ， 也 存 在 风 险 ： D e e p f a k e 可 能 会 完 全 破 坏 公 众 对 视 频 证 据 的 信 任 。 * 参 考 来 源 ： 参 考 来 源 ： a r s t e c h n i c a ， ， k i r a z h o u 编 译 整 理 ， 转 载 请 注 明 来 自 编 译 整 理 ， 转 载 请 注 明 来 自   F r e e B u f . C O M 精 彩 推 荐 精 彩 推 荐
阅 读 原 文
回复

举报

高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

Archiver| 手机版| 小黑屋|
Powered by Discuz! X3.4 Copyright © 2001-2020, Tencent Cloud. 商业源码建议获取授权，如侵犯您的权益，请联系客服处理