搜索

[11367] 2017-05-20_Facebook：AI正在长大，对抗暴力视频直播仍需人海战术？

文档创建者：s7ckTeam
浏览次数：16
最后更新：2025-01-18
2017-05-20_Facebook：AI正在长大，对抗暴力视频直播仍需人海战术？ F a c e b o o k ： A I 正 在 长 大 ， 对 抗 暴 力 视 频 直 播 仍 需 人 海 战 术 ？ h e a t h e r   F r e e B u f   2 0 1 7 - 0 5 - 2 0 人 工 智 能 （ 人 工 智 能 （ A I ） 算 法 对 ） 算 法 对 F a c e b o o k 较 为 成 熟 的 内 容 安 全 系 统 贡 献 巨 大 ， 然 而 随 着 较 为 成 熟 的 内 容 安 全 系 统 贡 献 巨 大 ， 然 而 随 着 F a c e b o o k 业 务 的 扩 张 ， 不 断 进 步 的 业 务 的 扩 张 ， 不 断 进 步 的 A I 也 不 免 也 不 免 尴 尬 尴 尬   –   F a c e b o o k 开 放 的 直 播 功 能 ， 被 谋 杀 、 自 杀 等 暴 力 视 频 困 扰 ， 而 开 放 的 直 播 功 能 ， 被 谋 杀 、 自 杀 等 暴 力 视 频 困 扰 ， 而 A I 未 能 帮 助 未 能 帮 助 F a c e b o o k 及 时 阻 止 这 些 视 频 ， 这 将 及 时 阻 止 这 些 视 频 ， 这 将 F a c e b o o k 推 到 风 口 浪 尖 。 这 家 拥 有 无 数 推 到 风 口 浪 尖 。 这 家 拥 有 无 数 A I 大 神 、 贡 献 大 量 开 源 工 具 及 优 质 论 文 的 互 联 网 巨 头 ， 不 得 不 宣 布 招 募 大 神 、 贡 献 大 量 开 源 工 具 及 优 质 论 文 的 互 联 网 巨 头 ， 不 得 不 宣 布 招 募 3 0 0 0 多 名 内 多 名 内 容 审 核 人 员 ， 用 最 传 统 的 办 法 对 抗 这 类 暴 力 视 频 。 容 审 核 人 员 ， 用 最 传 统 的 办 法 对 抗 这 类 暴 力 视 频 。 A I 技 术 在 暴 力 视 频 面 前 究 竟 能 发 挥 多 大 的 用 处 ？ F a c e b o o k 针 对 A I 失 效 的 状 况 启 动 了 哪 些 应 对 措 施 ？ 对 抗 暴 力 视 频 ， 真 的 只 能 靠 人 海 战 术 吗 ？   对 抗 暴 力 视 频 ， 对 抗 暴 力 视 频 ， F a c e b o o k 的 两 难 选 择 的 两 难 选 择 时 间 退 回 到 美 国 东 部 时 间 4 月 1 6 日 （ 周 日 ） ， 从 美 国 男 子 史 蒂 芬 · 史 蒂 芬 斯 （ S t e v e   S t e p h e n s ） 上 传 一 段 5 7 秒 他 拍 摄 的 自 己 杀 人 视 频 到 F a c e b o o k 上 ， 到 F a c e b o o k 接 到 举 报 并 关 闭 他 的 F a c e b o o k 主 页 ， 这 个 视 频 在 他 的 F a c e b o o k 主 页 上 停 留 了 2 个 多 小 时 。 如 此 长 的 一 段 时 间 ， 足 以 让 成 千 上 万 的 F a c e b o o k 用 户 观 看 和 分 享 这 段 杀 人 视 频 ， 让 第 三 方 网 站 将 视 频 下 载 并 重 新 上 传 到 自 己 的 服 务 器 。 由 此 ， 以 F a c e b o o k 为 代 表 的 社 交 媒 体 公 司 面 临 一 个 重 大 难 题 ： 如 何 才 能 让 这 些 令 人 毛 骨 悚 然 的 内 容 远 离 网 站 ？ 应 该 如 何 删 除 这 些 有 害 的 内 容 ？ 这 起 谋 杀 案 还 提 醒 我 们 ， 一 旦 这 类 东 西 被 传 上 网 和 分 享 出 去 ， 它 们 将 很 难 被 从 网 络 中 完 全 删 除 。 那 么 ， 企 业 应 该 为 预 防 这 些 内 容 出 现 付 出 多 少 ？ 防 止 视 频 被 人 看 到 的 最 好 办 法 ， 是 让 它 永 无 上 传 之 地 。 F a c e b o o k 可 以 采 取 这 样 的 措 施 ： 坚 持 让 某 人 （ 或 某 物 ） 先 审 查 用 户 尝 试 发 布 的 每 个 视 频 ， 并 且 只 允 许 通 过 审 核 的 视 频 能 够 被 上 传 。 然 而 ， 如 果 用 户 想 要 发 布 一 个 关 于 吸 尘 器 上 的 猫 的 视 频 ， 也 不 得 不 等 待 F a c e b o o k 的 批 准 ， 他 很 可 能 就 会 在 其 他 网 站 上 发 布 这 个 视 频 。 这 等 于 放 弃 一 大 批 渴 望 立 即 、 轻 松 分 享 生 活 的 用 户 ， 这 是 F a c e b o o k 难 以 承 受 的 。 另 外 一 个 建 议 是 ， F a c e b o o k 在 令 人 反 感 的 视 频 被 发 布 后 立 即 将 其 删 除 ， 但 问 题 是 这 不 具 备 可 操 作 性 -   算 法 自 动 删 除 这 类 视 频 的 技 术 还 不 成 熟 ， 而 雇 佣 足 够 的 员 工 手 动 执 行 也 不 切 实 际 。 如 果 F a c e b o o k 允 许 算 法 删 除 视 频 ， 出 错 将 是 不 可 避 免 的 。 退 一 万 步 说 ， 即 便
F a c e b o o k 的 服 务 条 款 把 这 项 权 力 给 算 法 ， F a c e b o o k 也 将 被 指 控 。 那 会 有 一 个 令 人 沮 丧 的 结 果 ， 因 为 没 有 人 会 接 受 算 法 错 误 地 删 除 他 们 的 视 频 的 可 能 性 。 这 也 是 F a c e b o o k 不 能 承 受 的 。   因 此 ， F a c e b o o k 现 在 采 用 多 管 齐 下 的 应 对 方 式 。 前 端 是 用 户 ， F a c e b o o k 依 赖 观 看 视 频 的 用 户 标 记 出 像 斯 蒂 芬 斯 上 传 那 样 的 暴 力 视 频 。 用 户 的 背 后 是 人 工 智 能 算 法 ， 它 可 以 找 出 与 已 知 儿 童 色 情 相 关 的 I D 的 视 频 。 当 视 频 被 标 记 后 ， 它 们 被 发 送 给 F a c e b o o k 的 内 容 审 核 人 员 ， 他 们 的 工 作 是 观 看 这 些 视 频 并 确 定 是 否 应 该 删 除 。 这 个 系 统 是 不 完 美 的 ， 但 是 现 在 人 类 审 核 人 员 比 A I 更 为 聪 明 。 然 而 ， 最 终 ， A I 将 能 够 有 效 地 标 记 史 蒂 芬 斯 上 传 的 那 类 视 频 ， 届 时 ， A I 将 可 协 助 人 类 ， 增 强 人 类 的 技 能 。 F a c e b o o k 的 A I 研 究 院 主 管 Y a n n   L e C u n 表 示 ： “ 坦 率 地 说 ， 我 相 信 这 是 一 项 可 以 完 成 的 任 务 ， 如 果 有 足 够 的 追 踪 数 据 。 ” 虽 然 L e C u n 拒 绝 回 答 如 何 应 对 这 类 特 定 视 频 的 问 题 ， 但 他 表 示 A I 很 快 就 能 做 到 更 多 。 毫 无 疑 问 F a c e b o o k 将 能 够 使 用 A I 来 实 时 监 控 视 频 并 标 记 谋 杀 视 频 ， 问 题 是 什 么 时 候 实 现 。 A I A I 黄 金 时 期 尚 远 黄 金 时 期 尚 远 黄 金 时 期 尚 远 黄 金 时 期 尚 远 理 想 状 态 下 ， F a c e b o o k 如 此 处 理 斯 蒂 芬 斯 的 视 频 ： 当 他 第 一 次 上 传 自 称 打 算 杀 人 的 视 频 时 ， A I 赋 能 的 软 件 会 立 即 “ 观 看 ” 该 视 频 ， 并 将 其 标 记 为 高 优 先 级 。 这 个 标 记 会 提 醒 F a c e b o o k 人 工 审 核 团 队 ， 看 到 直 接 和 可 怕 的 威 胁 ， 删 除 视 频 ， 关 闭 斯 蒂 芬 斯 的 帐 户 ， 并 通 报 当 局 。 这 并 未 发 生 。 根 据 F a c e b o o k 全 球 业 务 副 总 裁 J u s t i n   O s o f s k y 的 声 明 ， 根 本 没 有 人 标 记 第 一 个 预 告 杀 人 的 视 频 ， 而 第 二 个 谋 杀 视 频 在 斯 蒂 芬 斯 上 传 超 过 一 个 半 小 时 之 后 才 被 标 记 。 O s o f s k y 还 表 示 ， 从 该 视 频 用 户 标 记 出 来 ， F a c e b o o k 审 核 人 员 花 了 2 3 分 钟 就 把 它 拿 下 。 但 问 题 仍 然 是 当 前 的 工 作 流 程 。 A I 还 不 够 聪 明 ， 无 法 识 别 第 一 个 视 频 中 的 危 险 因 素 ， 甚 至 第 二 个 视 频 显 示 的 谋 杀 案 。 A I 需 要 处 理 斯 蒂 芬 斯 的 语 言 ， 解 析 其 言 论 和 语 调 ， 以 区 别 于 玩 笑 或 表 演 ， 并 认 真 对 待 威 胁 。 “ 有 这 方 面 的 技 术 ， 但 不 清 楚 它 们 整 合 深 度 学 习 框 架 并 能 高 效 运 行 。 而 且 由 于 缺 乏 常 识 ， 系 统 还 犯 一 些 愚 蠢 的 错 误 ， ” L e C u n 说 ， “ 所 有 人 和 动 物 都 在 都 学 习 常 识 ， 但 机 器 现 在 还 搞 不 懂 。 ” F a c e b o o k 知 道 他 们 需 要 A I 学 习 这 些 ， 他 们 在 这 方 面 投 入 巨 资 ， 并 已 在 计 算 机 视 觉 更 适 合 的 领 域 -   即 儿 童 色 情 、 裸 露 和 版 权 侵 犯 ， 采 用 算 法 来 帮 助 他 们 标 记 可 疑 的 内 容 。 F a c e b o o k   C E O 马 克 · 扎 克 伯 格 （ M a r k   Z u c k e r b e r g ） 表 示 ， 现 在 F a c e b o o k 上 有 一 半 的 标 记 来 自 A I 而 不 是 人 ， F a c e b o o k 正 在 开 发 新 技 术 ， 增 加 社 区 的 能 力 。   但 扎 克 伯 格 也 意 识 到 ， 审 核 人 员 现 在 必 须 继 续 与 A I 合 作 ， 斯 蒂 芬 斯 上 传 的 视 频 就 是 一 个 很 好 的 警 示 。 扎 克 伯 格 在 旧 金 山 F 8 开 发 者 大 会 上 直 接 提 到 了 这 一 争 议 。 “ 我 们 还 有 更 多 的 事 要 做 。 我 们 被 克 利 夫 兰 的 悲 剧 提 醒 了 这 一 点 ， ” 他 告 诉 参 会 者 ， “ 我 们 有 很 多 的 工 作 ， 我 们 将 继 续 竭 尽 全 力 防 止 这 样 的 悲 剧 发 生 。 ” 训 练 一 台 电 脑 识 别 此 类 暴 力 比 要 求 它 发 现 一 个 赤 裸 裸 的 身 体 要 困 难 得 多 。 这 很 像 假 消 息 的 鉴 别 ： 它 需 要 对 上 下 文 暗 示 和 格 式 的 复 杂 理 解 。 当 前 实 用 选 项 当 前 实 用 选 项 当 前 实 用 选 项 当 前 实 用 选 项 由 于 训 练 能 够 简 化 流 程 的 神 经 网 络 尚 需 时 日 ， F a c e b o o k 需 要 立 即 对 其 审 核 流 程 进 行 调 整 ， 否 则 公 司 在 近 期 与 暴 力 视 频 的 对 抗 中 仍 将 被 动 。 O s o f s k y 在 斯 蒂 芬 斯 事 件 后 发 表 声 明 说 ： 由 于 这 一 可 怕 的 系 列 事 件 ， 我 们 正 在 审 查 我 们 的 举 报 流 程 ， 以 确 保 人 们 能 够 尽 可 能 容 易 地 、 快 速 地 举 报 违 反 我 们 标 准 的 视 频 或
其 他 内 容 。 这 意 味 着 更 容 易 地 标 记 高 优 先 级 的 内 容 ， 增 加 更 多 的 审 核 人 力 ， 和 更 快 的 工 作 节 奏 。 而 这 些 人 的 审 核 人 员 将 不 得 不 继 续 训 练 A I ， 这 本 身 就 需 要 很 长 时 间 。 训 练 A I 有 效 识 别 令 人 反 感 的 内 容 ， 需 要 大 量 的 样 本 来 学 习 。 所 以 F a c e b o o k 首 先 需 要 给 机 器 提 供 足 够 的 打 标 签 的 数 据 ， 而 这 需 要 很 多 审 核 人 员 观 看 无 数 次 的 暴 力 画 面 和 威 胁 语 言 ， 这 个 艰 巨 的 工 作 也 需 要 时 间 。 事 实 上 ， 扎 克 伯 格 已 经 宣 布 计 划 明 年 雇 佣 超 过 3 0 0 0 人 来 审 核 和 删 除 F a c e b o o k 上 包 含 杀 人 、 自 杀 以 及 其 他 暴 力 行 为 在 内 的 内 容 。 并 且 F a c e b o o k 设 立 了 黑 名 单 ， 4 5 0 0 个 违 反 F a c e b o o k 反 暴 力 规 则 的 用 户 ， 将 不 能 进 入 这 个 招 聘 流 程 。 当 考 虑 到 F a c e b o o k   L i v e 时 ， 挑 战 会 更 大 。 直 播 视 频 很 难 控 制 ， 这 就 是 为 什 么 有 些 人 要 求 F a c e b o o k 彻 底 放 弃 其 L i v e 功 能 。 但 这 不 现 实 ， 该 公 司 去 年 推 出 此 功 能 的 本 意 就 是 与 其 他 直 播 服 务 竞 争 。 此 外 ， 这 项 服 务 已 经 具 有 对 抗 暴 力 事 件 的 另 一 面 。 去 年 ， 在 美 国 警 方 枪 杀 黑 人 菲 兰 多 · 卡 斯 蒂 利 亚 （ P h i l a n d o   C a s t i l e ） 之 后 ， 后 者 的 女 朋 友 用 F a c e b o o k   L i v e 来 捕 捉 射 杀 的 后 果 ， 本 质 上 是 使 用 流 媒 体 服 务 作 为 发 送 全 球 S O S 的 一 种 方 式 。   利 哈 伊 大 学 新 闻 与 传 播 助 理 教 授 杰 里 米 · 莱 托 （ J e r e m y   L i t t a u ） 表 示 ， 不 管 出 于 好 的 或 是 不 好 的 原 因 ， 即 时 视 频 和 直 播 视 频 已 被 广 泛 接 受 。 F a c e b o o k 必 须 与 这 个 现 实 竞 争 。 除 了 放 弃 L i v e 之 外 ， F a c e b o o k 可 以 像 对 待 其 他 功 能 如 广 播 网 络 一 样 对 待 L i v e ， 坚 持 所 有 视 频 都 要 延 迟 。 然 而 由 于 上 述 原 因 ， 除 非 有 人 或 某 些 东 西 来 监 控 每 个 视 频 ， 否 则 这 种 延 迟 将 不 会 有 太 大 的 用 处 ， 而 这 目 前 还 不 可 能 。 F a c e b o o k 可 以 做 的 一 件 事 是 使 得 从 F a c e b o o k 下 载 视 频 变 得 更 加 困 难 ， 类 似 于 I n s t a g r a m （ 已 被 F a c e b o o k 收 购 ） 的 机 制 。 这 能 阻 止 第 三 方 网 站 抓 取 并 重 新 分 发 像 斯 蒂 芬 斯 4 月 1 6 日 上 传 的 视 频 。 这 样 一 个 小 小 的 调 整 ， 不 会 影 响 F a c e b o o k 成 为 网 友 首 选 的 上 传 视 频 平 台 ， 但 可 以 防 止 视 频 被 上 传 到 其 他 地 方 ， 并 成 为 互 联 网 上 永 远 难 以 消 除 的 记 忆 。   总 结 总 结 总 结 总 结 社 交 媒 体 公 司 和 用 户 在 收 获 视 频 尤 其 是 直 播 功 能 带 来 愉 悦 的 同 时 ， 也 面 临 不 守 规 则 的 用 户 滥 用 平 台 功 能 传 播 暴 力 内 容 的 严 重 威 胁 。 由 于 问 题 的 复 杂 性 ， 以 及 缺 乏 足 够 的 样 本 数 据 ， 目 前 先 进 的 人 工 智 能 技 术 水 平 也 还 不 能 很 好 地 帮 助 社 交 平 台 自 动 发 现 和 移 除 暴 力 内 容 ， F a c e b o o k 除 了 优 化 举 报 流 程 ， 限 制 视 频 内 容 的 二 次 分 发 ， 必 须 采 用 人 肉 的 方 式 对 抗 这 种 威 胁 。 这 也 意 味 着 数 目 庞 大 的 运 营 成 本 。 毫 无 疑 问 企 业 未 来 需 要 训 练 人 工 智 能 算 法 来 配 合 审 核 团 队 更 高 效 地 完 成 这 项 工 作 ， F a c e b o o k 正 在 为 此 努 力 。 人 工 智 能 确 实 具 有 这 样 的 潜 力 ， 然 而 没 有 人 能 预 测 这 会 发 生 在 什 么 时 间 。 为 了 让 这 一 天 早 日 来 临 ， 人 工 审 核 团 队 还 需 要 尽 快 喂 给 机 器 足 够 多 的 标 记 数 据 。 素 材 来 源 ： 素 材 来 源 ： A I   I s n ’ t   S m a r t   E n o u g h   ( Y e t )   t o   S p o t H o r r i f i c   F a c e b o o k   V i d e o s   本 文 由 网 易 云 安 全 （ 易 盾 ） 团 队 根 据 W i r e d 网 站 素 材 A I   I s n ’ t   S m a r t   E n o u g h   ( Y e t )   t o   S p o t   H o r r i f i c   F a c e b o o k   V i d e o s   原 创 编 译 ， 转 载 请 注 明 出 处 。 * 本 文 作 者 ： 网 易 云 安 全 （ 易 盾 ） 团 队 ， 转 载 请 注 明 F r e e B u f . C O M
阅 读 原 文
回复

举报

高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

Archiver| 手机版| 小黑屋|
Powered by Discuz! X3.4 Copyright © 2001-2020, Tencent Cloud. 商业源码建议获取授权，如侵犯您的权益，请联系客服处理