搜索

[11170] 2017-03-26_Facebook反垃圾实践：人工治理与机器算法齐飞

文档创建者：s7ckTeam
浏览次数：3
最后更新：2025-01-18
2017-03-26_Facebook反垃圾实践：人工治理与机器算法齐飞 F a c e b o o k 反 垃 圾 实 践 ： 人 工 治 理 与 机 器 算 法 齐 飞 h e a t h e r   F r e e B u f   2 0 1 7 - 0 3 - 2 6 2 0 1 6 年 末 ， 年 末 ， F a c e b o o k 上 的 假 新 闻 帮 助 特 朗 普 胜 选 的 消 息 ， 将 这 家 社 交 网 站 推 到 一 个 尴 尬 的 境 地 ， 迫 使 它 上 线 一 个 上 的 假 新 闻 帮 助 特 朗 普 胜 选 的 消 息 ， 将 这 家 社 交 网 站 推 到 一 个 尴 尬 的 境 地 ， 迫 使 它 上 线 一 个 “ 争 议 （ 争 议 （ D i s p u t e d ） 标 签 ） 标 签 ” 功 能 ， 用 来 标 记 被 认 定 为 不 准 确 的 新 闻 。 功 能 ， 用 来 标 记 被 认 定 为 不 准 确 的 新 闻 。 作 为 一 家 面 向 全 球 的 社 交 平 台 ， F a c e b o o k 当 前 月 活 跃 用 户 数 达 已 达 1 8 . 6 亿 人 ， 其 中 包 含 各 个 年 龄 阶 段 的 用 户 ， 这 些 用 户 每 天 都 产 生 大 量 信 息 。 为 了 保 证 用 户 体 验 ， 促 进 平 台 良 性 发 展 ， F a c e b o o k 通 过 技 术 手 段 和 人 工 手 段 相 结 合 的 方 式 ， 针 对 内 容 本 身 和 用 户 帐 号 进 行 识 别 ， 来 实 现 反 垃 圾 信 息 的 目 标 。 垃 圾 信 息 在 不 断 变 化 ， F a c e b o o k 的 反 垃 圾 策 略 和 技 术 系 统 也 在 不 断 升 级 。 F a c e b o o k 上 的 网 络 钓 鱼 攻 击 ， 2 0 1 1 年 F a c e b o o k 反 垃 圾 策 略 反 垃 圾 策 略   制 定 反 垃 圾 策 略 首 先 需 要 明 确 的 是 垃 圾 信 息 的 定 义 。 对 于 F a c e b o o k 而 言 ， 无 论 恶 意 的 广 告 、 病 毒 、 网 络 钓 鱼 ， 无 聊 / 不 受 欢 迎 的 骚 扰 ， 惊 悚 、 恶 作 剧 类 的 图 文 、 视 频 ， 还 是 前 文 提 到 的 虚 假 新 闻 ， 无 论 私 信 形 式 还 是 公 开 信 息 ， 都 会 影 响 网 站 的 正 常 运 营 ， 可 能 是 让 用 户 不 高 兴 ， 可 能 是 让 一 些 美 国 政 治 力 量 不 高 兴 ， 这 些 都 属 于 垃 圾 信 息 的 范 畴 。 从 网 站 上 每 秒 钟 产 生 的 海 量 信 息 中 找 出 垃 圾 信 息 并 实 时 过 滤 ， 这 是 最 直 接 的 办 法 ， 然 而 根 据 F a c e b o o k 的 活 跃 用 户 数 ， 从 需 要 的 资 源 和 效 率 来 看 ， 这 种 方 法 可 能 不 是 最 优 解 ， 况 且 垃 圾 信 息 也 会 根 据 过 滤 规 则 不 断 升 级 ， 因 而 找 出 垃 圾 信 息 的 难 以 改 变 的 特 征 找 出 垃 圾 信 息 的 难 以 改 变 的 特 征 才 是 将 其 扼 杀 的 最 好 依 据 ， 这 正 是 F a c e b o o k 反 垃 圾 工 作 的 核 心 。 F a c e b o o k 组 建 了 S i t e   I n t e g r i t y 团 队 专 门 负 责 这 项 工 作 。   F a c e b o o k 反 垃 圾 的 一 个 重 要 途 径 ， 就 是 识 别 和 处 理 一 些 可 疑 帐 号 识 别 和 处 理 一 些 可 疑 帐 号 。 F a c e b o o k 认 为 ， 泄 漏 的 （ 被 钓 鱼 、 中 木 马 等 ） 、 伪 造 的 （ 马 甲 帐 号 、 垃 圾 帐 号 ） 以 及 滥 用 功 能 的 （ 骚 扰 、 营 销 ） 帐 号 ， 产 生 垃 圾 信 息 的 三 大 根 源 。   找 到 可 疑 帐 号 的 一 个 方 法 ， 是 通 过 异 常 行 为 检 测 异 常 行 为 检 测 ， 比 如 一 个 人 发 的 同 样 类 型 评 论 非 常 多 ， 所 有 评 论 里 都 包 含 一 个 相 似 链 接 ， 这 就 非 常 有 问 题 。 一 般 人 不 会 在 不 同 人 的 主 页 上 发 表 一 样 的 评 论 ， 这 就 是 一 种 异 常 行 为 。 F a c e b o o k 网 站 上 积 累 了 大 量 的 正 常 行 为 模 式 和 异 常 行 为 模 式 ， 可 以 用 于 机 器 学 习 。 作 为 一 个 社 交 平 台 ， F a c e b o o k 还 充 分 发 挥 了 人 的 力 量 ， 用 户 举 报 用 户 举 报 在 垃 圾 信 息 的 识 别 中 占 据 了 很 重 要 的 位 置 。 用 户 举 报 也 是 缩 短 垃 圾 信 息 影 响 时 间 的 一 种 方 式   –   为 了 达 成 反 垃 圾 策 略 的 实 时 性 、 有 效 性 ， F a c e b o o k 反 垃 圾 系 统 的 设 计 会 采 用 各 种 机 制 来 优 化 响 应 时 间 ， 并 在 策 略 制 定 时 注 意 保 护 规 则 难 以 被 攻 击 者 破 解 保 护 规 则 难 以 被 攻 击 者 破 解 。 I m m u n e 系 统 ： 基 于 核 心 特 征 的 技 术 对 抗 系 统 ： 基 于 核 心 特 征 的 技 术 对 抗  
2 0 1 1   年 ， F a c e b o o k   发 表 了 一 篇 题 为 《 F a c e b o o k I m m u n e   S y s t e m 》 的 论 文 ， 整 体 介 绍 了 他 们 与 垃 圾 信 息 之 间 的 技 术 对 抗 。 I m m u n e 系 统 的 一 个 重 要 能 力 ， 是 对 垃 圾 信 息 的 核 心 特 征 的 识 别 ， 包 括 能 够 迅 速 识 别 新 特 征 ， 并 支 持 在 线 加 入 新 特 征 、 新 模 型 以 实 现 实 时 的 反 垃 圾 。 上 图 为 F a c e b o o k 与 垃 圾 信 息 的 对 抗 流 程 ， 包 括 攻 击 、 检 测 、 防 御 、 变 异 四 个 环 节 ， 又 可 以 分 为 攻 击 者 控 制 和 防 御 者 控 制 两 大 阶 段 。 在 攻 击 者 控 制 阶 段 ， 系 统 还 没 有 响 应 能 力 ， 攻 击 者 可 以 发 布 大 量 的 垃 圾 信 息 ， 受 攻 击 对 象 都 会 受 到 垃 圾 信 息 的 影 响 ； 在 防 御 者 控 制 阶 段 ， 垃 圾 信 息 才 会 受 到 控 制 。 I m m u n e 系 统 要 做 的 ， 是 尽 量 缩 短 攻 击 者 控 制 阶 段 的 时 间 ， 延 长 防 御 者 控 制 阶 段 的 时 间 。 变 异 系 统 要 做 的 ， 是 尽 量 缩 短 攻 击 者 控 制 阶 段 的 时 间 ， 延 长 防 御 者 控 制 阶 段 的 时 间 。 变 异 环 节 可 能 时 间 很 短 ， 环 节 可 能 时 间 很 短 ， F a c e b o o k 要 在 对 抗 中 做 到 快 速 响 应 。 要 在 对 抗 中 做 到 快 速 响 应 。 实 现 快 速 响 应 有 两 个 关 键 点 ： 其 一 ， 所 有 的 升 级 都 是 在 线 的 所 有 的 升 级 都 是 在 线 的 ， 分 类 器 服 务 和 代 表 最 新 攻 击 的 特 征 数 据 的 提 供 ， 都 不 能 是 通 过 线 下 或 者 需 要 重 新 启 动 ； 其 二 ， 要 以 攻 击 者 难 以 检 测 和 变 更 的 特 征 为 目 标 要 以 攻 击 者 难 以 检 测 和 变 更 的 特 征 为 目 标 。 F a c e b o o k 为 I m m u n e 系 统 的 设 计 归 纳 的 设 计 原 则 如 下 ：   ·     快 速 检 测 与 响 应 ； ·     包 含 能 够 支 持 各 种 功 能 的 可 进 化 的 接 口 ； ·     聊 天 、 消 息 、 信 息 墙 （ w a l l p o s t s ） 、 公 共 讨 论 和 朋 友 请 求 等 不 同 渠 道 之 间 的 信 号 可 以 共 享 ； ·     可 以 实 时 分 类 。 基 于 上 述 思 想 ， I m m u n e   系 统 设 计 架 构 图 如 下 ：
F a c e b o o k   I m m u n e 系 统 架 构 图 I m m u n e 的 主 要 组 件 包 括 ： •       分 类 器 服 务 分 类 器 服 务 ： 分 类 器 服 务 是 一 类 接 口 ， 它 们 与 抽 象 分 类 器 接 口 之 间 建 立 网 络 联 接 。 它 们 之 间 通 过 不 同 的 机 器 学 习 算 法 ， 使 用 标 准 的 面 向 对 象 的 方 法 来 实 现 的 。 实 现 的 算 法 包 括 随 机 森 林 、 S V M 、 逻 辑 回 归 、 B o o s t i n g 等 。 分 类 器 服 务 始 终 在 线 ， 并 且 被 设 计 为 从 不 重 新 启 动 。 •       特 征 提 取 语 言 （ 特 征 提 取 语 言 （ F X L ） ） ： F X L （ F e a t u r e E x t r a c t i o n   L a n g u a g e ） 是 用 于 表 达 特 征 和 规 则 的 动 态 执 行 语 言 。 F X L 检 查 特 征 表 达 式 ， 然 后 在 线 加 载 到 分 类 器 服 务 和 特 征 追 踪 器 中 ， 无 需 重 新 启 动 服 务 。 •       动 态 模 型 加 载 动 态 模 型 加 载 ： 模 型 建 立 在 特 征 之 上 ， 而 这 些 特 征 都 是 基 本 的 F X L 表 达 式 或 其 派 生 的 表 达 式 。 同 样 地 ， 模 型 在 线 加 载 到 分 类 器 服 务 ， 分 类 器 服 务 或 特 征 追 踪 器 无 需 重 新 启 动 ， 并 且 许 多 分 类 器 实 现 支 持 在 线 训 练 。 •       策 略 引 擎 策 略 引 擎 ： 策 略 引 擎 将 分 类 和 特 征 结 合 起 来 表 达 业 务 逻 辑 和 业 务 策 略 ， 并 评 估 分 类 器 的 性 能 。 策 略 是 布 尔 值 ， 由 F X L 表 达 式 触 发 响 应 ， 在 机 器 学 习 得 到 的 分 类 和 特 征 数 据 提 供 者 之 上 执 行 。 响 应 是 系 统 操 作 ， 包 括 多 种 类 型 ， 例 如 阻 止 操 作 、 要 求 身 份 验 证 质 询 和 禁 用 帐 号 等 。 •       特 征 回 路 （ 特 征 回 路 （ F l o o p s ） ） ： 分 类 在 特 征 提 取 期 间 生 成 各 种 信 息 和 关 联 ， F l o o p s 接 收 这 些 数 据 ， 将 其 聚 合 ， 并 将 其 作 为 特 征 提 供 给 分 类 器 。 F l o o p s 还 包 含 用 户 反 馈 、 来 自 爬 虫 程 序 的 数 据 以 及 来 自 数 据 仓 库 的 查 询 数 据 。 S i g m a 系 统 ： 编 写 策 略 手 段 升 级 系 统 ： 编 写 策 略 手 段 升 级 F a c e b o o k 的 反 垃 圾 技 术 也 在 不 断 的 对 抗 中 迭 代 。 F a c e b o o k 用 于 垃 圾 信 息 过 滤 和 清 理 的 规 则 引 擎 演 进 为 S i g m a 系 统 ， 部 署 于 2 0 0 0 多 台 服 务 器 之 上 。 该 系 统 将 规 则 和 机 器 算 法 相 结 合 ， 判 断 所 有 用 户 的 评 论 、 链 接 、 朋 友 请 求 等 行 为 是 否 正 常 ， 日 均 处 理 信 息 数 量 达 百 亿 级 。   机 器 学 习 的 一 端 ， 样 本 主 要 来 自 于 用 户 行 为 ， S i g m a 根 据 历 史 数 据 训 练 模 型 ， 预 测 某 个 行 为 / 信 息 是 否 有 问 题 ， 将 有 问 题 的 行 为 / 信 息 拦 截 或 者 删 除 。 以 朋 友 请 求 为 例 ， S i g m a 有 多 重 判 断 依 据 ： 第 一 ， 如 果 某 个 帐 号 之 前 发 送 的 朋 友 请 求 都 被 拒 绝 ， 那 么 接 下 来 他 被 拒 绝 的 概 率 就 非 常 高 ； 第 二 ， 如 果 发 出 请 求 的 帐 号 和 请 求 的 对 象 没 有 任 何 共 同 好 友 ， 那 么 请 求 不 合 理 的 概 率 也 很 高 。 策 略 也 包 含 了 处 理 方 式 ， 例 如 ， 对 于 非 正 常 请 求 概 率 比 较 高 的 ， 让 发 送 请 求 方 进 行 手 机 短 信 验 证 ， 或 者 其 他 方 式 认 证 。 F a c e b o o k 反 垃 圾 规 则 引 擎 流 程 图 S i g m a 系 统 中 ， 用 于 编 写 策 略 的 语 言 ， 已 经 从 之 前 的 F X L 切 换 为 H a s k e l l 。 F a c e b o o k 认 为 ， 随 着 策 略 的 扩 展 和 策 略 复 杂 度 的 增 加 ， F X L 已 经 不 能 很 好 地 表 达 这 些 策 略 了 -   F X L 缺 乏 合 适 的 抽 象 ， 比 如 用 户 定 义 的 数 据 类 型 和 模 块 ， 并 且 基 于 解 释 器 （ I n t e r p r e t e r ） 的 实 现 ，
性 能 慢 于 公 司 的 需 求 ， 因 而 F a c e b o o k 需 要 性 能 和 表 达 能 力 更 为 成 熟 的 编 程 语 言 。 而 H a s k e l l 是 纯 函 数 式 强 类 型 语 言 ， 能 够 确 保 策 略 不 会 发 生 意 外 的 相 互 影 响 ， 同 时 H a s k e l l 具 有 自 动 批 处 理 和 并 发 数 据 获 取 、 分 钟 级 推 送 代 码 变 更 到 生 产 环 境 （ 快 速 应 用 新 策 略 ） 、 性 能 和 支 持 交 互 式 开 发 （ 策 略 开 发 者 能 够 马 上 看 到 结 果 ） 等 优 势 。 规 则 引 擎 升 级 的 设 计 需 求 使 用 H a s k e l l 以 后 ， S i g m a 系 统 每 秒 能 够 处 理 超 过 一 百 万 个 请 求 。 这 对 F a c e b o o k 及 时 部 署 新 的 反 垃 圾 策 略 应 对 新 出 现 的 恶 意 行 为 很 重 要 。 人 的 力 量 人 的 力 量 F a c e b o o k 此 前 也 投 入 了 专 门 负 责 内 容 过 滤 的 团 队 ， 让 他 们 不 间 断 地 监 测 新 上 传 的 内 容 ， 及 时 删 除 其 中 的 一 些 垃 圾 信 息 ， 这 些 人 主 要 来 自 外 包 公 司 。 外 界 并 不 知 道 该 团 队 目 前 的 规 模 ， 然 而 F a c e b o o k 重 视 用 户 举 报 是 确 凿 的 。 通 过 举 报 、 删 除 等 反 馈 通 道 的 建 立 ， 来 缩 短 垃 圾 信 息 影 响 用 户 的 时 间 。 同 时 ， 这 些 行 为 也 会 为 机 器 学 习 提 供 新 的 样 本 。   针 对 虚 假 新 闻 ， F a c e b o o k 已 经 推 出 工 具 ， 让 每 位 用 户 都 能 便 捷 地 给 可 疑 内 容 打 上 “ 争 议 ” 标 签 ， 然 后 由 真 实 性 核 查 组 织 如 P o l i t i f a c t 、 S n o p e s . c o m 独 立 审 查 这 些 消 息 ， 根 据 结 果 决 定 保 留 还 是 去 除 “ 争 议 ” 标 签 。 然 而 这 个 流 程 稍 显 冗 长 ， 给 虚 假 新 闻 留 下 了 一 定 的 传 播 时 间 。 除 此 之 外 ， F a c e b o o k 还 在 虚 假 新 闻 的 治 理 方 面 投 入 专 人 ， 公 司 已 经 发 出 招 聘 公 告 ， 寻 求 一 位 拥 有 2 0 年 以 上 经 验 的 新 闻 合 作 负 责 人 ， 专 门 负 责 提 升 网 站 上 的 新 闻 质 量 。 F a c e b o o k 采 用 了 新 闻 流 排 序 算 法 ， 通 过 机 器 学 习 （ 根 据 点 赞 、 评 论 、 分 享 等 行 为 ） 预 测 用 户 对 内 容 感 兴 趣 的 程 度 ， 决 定 其 排 序 的 权 重 ， 这 在 某 种 意 义 上 说 也 是 反 垃 圾 ， 然 而 目 前 还 没 有 F a c e b o o k 用 排 序 算 法 影 响 虚 假 新 闻 的 消 息 ， 这 与 F a c e b o o k 对 虚 假 新 闻 的 态 度 有 关 ： 让 用 户 和 第 三 方 机 构 来 甄 别 ， 不 会 官 方 标 明 某 条 消 息 的 真 伪 。 小 结 小 结 人 力 的 方 式 ， 对 于 F a c e b o o k 而 言 意 味 着 很 大 的 人 力 成 本 ， 同 时 对 于 审 核 人 员 的 身 体 健 康 与 心 理 素 质 也 是 一 种 考 验 。 曾 有 外 媒 报 道 称 ， F a c e b o o k 审 查 员 工 通 常 不 到 半 年 就 离 职 。 那 么 F a c e b o o k 不 断 研 发 新 的 技 术 手 段 来 提 升 反 垃 圾 能 力 的 动 因 就 不 难 理 解 了 。 然 而 由 于 网 站 影 响 正 常 运 营 的 垃 圾 信 息 日 益 复 杂 性 ， 在 这 些 垃 圾 信 息 消 失 之 前 ， 系 统 无 法 一 劳 永 逸 ， 技 术 对 抗 不 会 有 终 点 ， 故 而 F a c e b o o k 需 要 不 断 研 发 新 的 反 垃 圾 技 术 ， 也 需 要 人 工 来 升 级 规 则 并 提 供 样 本 优 化 系 统 的 规 则 引 擎 。 编 者 说 ： 本 文 由 网 易 易 盾 安 全 团 队 根 据 f a c e b o o k 论 文 ： F a c e b o o k   I m m u n e   S y s t e m 原 创 编 译 。 社 交 是 当 前 互 联 网 产 品 的 基 本 属 性 ， 垃 圾 信 息 对 业 务 的 伤 害 之 深 自 不 待 言 ， 机 器 算 法 的 进 步 不 仅 为 我 们 治 理 垃 圾 信 息 节 约 成 本 ， 更 为 我 们 对 二 次 攻 击 的 快 速 响 应 提 供 了 便 利 ， 算 法 协 助 人 必 定 是 未 来 的 趋 势 ， 当 然 这 需 要 基 于 对 业 务 的 深 刻 理 解 而 设 计 合 理 的 规 则 和 反 垃 圾 系 统 才 能 实 现 ， 探 索 成 本 也 不 菲 ， 故 而 从 业 者 应 该 感 谢 F a c e b o o k 如 此 慷 慨 、 系 统 地 分 享 了 他 们 的 经 验 。 *   本 文 作 者 ： h e a t h e r ， 参 考 来 源 ： F a c e b o o k   I m m u n e   S y s t e m ， 转 载 请 注 明 来 自 F r e e B u f . C O M
阅 读 原 文
回复

举报

高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

使用Markdown编辑器编辑 使用富文本编辑器编辑

Archiver| 手机版| 小黑屋|
Powered by Discuz! X3.4 Copyright © 2001-2020, Tencent Cloud. 商业源码建议获取授权，如侵犯您的权益，请联系客服处理