搜索

[25008] 2016-05-18_深度解读谷歌SyntaxNet：全新TensorFlow自然语言处理模型

文档创建者：s7ckTeam
浏览次数：30
最后更新：2025-01-18
2016-05-18_深度解读谷歌SyntaxNet：全新TensorFlow自然语言处理模型 深 度 解 读 谷 歌   S y n t a x N e t ： 全 新   T e n s o r F l o w   自 然 语 言 处 理 模 型 译 者 ： A I 科 技 评 论   L i n u x 中 国   2 0 1 6 - 0 5 - 1 8 编 译 自 ： h t t p s : / / s p a c y . i o / b l o g / s y n t a x n e t - i n - c o n t e x t   作 者 ：   M a t t h e w   H o n n i b a l 转 载 自 ： 雷 锋 网   h t t p : / / w w w . l e i p h o n e . c o m / n e w s / 2 0 1 6 0 5 / k 1 j Q 4 w U k D 1 I r K 2 o D . h t m l   译 者 ：   A I 科 技 评 论 图 片 来 源 ： s p a C y [ 1 ] 编 者 注 ： s p a C y 是 一 个 免 费 开 源 代 码 库 ， M a t t h e w   H o n n i b a l 是 s p a C y 公 司 创 始 人 及 C T O 。 他 在 本 科 时 学 习 语 言 学 ， 从 未 想 到 未 来 自 己 会 成 为 程 序 员 。 H o n n i b a l 获 得 悉 尼 大 学 计 算 机 科 学 P H D 学 位 并 进 行 研 究 员 工 作 后 ， 在 2 0 1 4 年 离 开 学 术 界 开 始 编 写 s p a C y 。 本 文 中 ， H o b b i b a l 深 度 解 读 了 谷 歌 的 自 然 语 言 处 理 模 型 。 上 周 ， 谷 歌 开 源 了 其 基 于 人 工 智 能 系 统 T e n s o r f l o w 的 自 然 语 言 解 析 模 型 分 析 库 S y n t a x N e t 。 在 过 去 的 两 年 时 间 里 ， 谷 歌 研 究 人 员 利 用 这 个 分 析 库 发 布 了 一 系 列 神 经 网 络 分 析 模 型 。 自 从 S y n t a x N e t 发 布 以 来 ， 笔 者 就 一 直 关 注 它 ， 当 然 也 一 直 也 期 待 这 个 软 件 能 够 开 源 。 不 过 ， 本 文 尝 试 围 绕 本 次 开 源 的 相 关 背 景 做 一 些 探 讨 ， 比 如 本 次 开 源 有 什 么 新 料 ， 开 源 又 有 何 重 要 意 义 ？ 在 自 然 语 言 文 本 处 理 库 中 （ 比 如 s p a C y ） ， S y n t a x N e t 提 供 了 非 常 重 要 的 模 型 。 如 果 你 把 自 然 语 言 处 理 的 概 念 ” 缩 小 ” 一 点 ， 就 会 意 识 到 ， 这 种 你 正 在 关 注 的 技 术 可 以 拓 展 计 算 机 的 应 用 范 围 。 即 便 是 现 在 ， 你 依 然 无 法 编 写 软 件 去 控 制 一 辆 汽 车 ， 也 无 法 用 你 的 语 气 来 回 复 电 子 邮 件 ， 更 无 法 用 软 件 来 分 析 客 户 反 馈 ， 或 为 规 避 重 大 商 业 风 险 去 监 测 全 球 新 闻 。 诚 然 ， 自 然 语 言 处 理 无 法 操 控 无 人 驾 驶 汽 车 ， 但 等 下 先 ， 语 言 是 人 类 最 与 众 不 同 的 能 力 ， 人 类 已 经 不 可 避 免 地 掌 握 了 这 种 技 能 ， 但 是 自 然 语 言 处 理 技 术 也 很 优 秀 ， 我 们 甚 至 难 以 预 测 它 的 潜 力 。 谷 歌 搜 索 就 是 一 种 自 然 语 言 处 理 应 用 ， 所 以 你 会 发 现 这 项 技 术 其 实 已 经 在 改 变 世 界 。 不 过 ， 在 笔 者 看 来 ， 自 然 语 言 处 理 还 有 很 大 发 展 空 间 。 在 更 大 的 价 值 链 里 ， S y n t a x N e t 其 实 算 是 一 种 较 低 级 别 的 技 术 ， 它 就 像 是 一 个 改 良 的 钻 头 ， 钻 头 本 身 无 法 给 你 石 油 ， 石 油 本 身 无 法 给 你 提 供 能 量 和 塑 料 ， 能 量 和 塑 料 本 身 也 无 法 自 动 形 成 某 种 产 品 。 但 如 果 整 个 价 值 链 的 瓶 颈 是 石 油 开 采 效 率 ， 那 么 大 幅 提 高 钻 头 技 术 （ 虽 然 是 一 种 底 层 技 术 ） 也 是 非 常 重 要 的 。 在 笔 者 看 来 ， 在 自 然 语 言 处 理 中 语 法 解 析 就 是 一 个 瓶 颈 技 术 ， 如 果 它 有 四 、 五 年 时 间 做 优 化 改 进 ， 将 会 对 自 然 语 言 处 理 产 生 巨 大 影 在 自 然 语 言 处 理 中 语 法 解 析 就 是 一 个 瓶 颈 技 术 ， 如 果 它 有 四 、 五 年 时 间 做 优 化 改 进 ， 将 会 对 自 然 语 言 处 理 产 生 巨 大 影 响 。 响 。 现 在 你 可 能 会 说 ， 我 之 所 以 觉 得 这 是 个 问 题 ， 是 因 为 这 项 技 术 正 从 学 术 研 究 转 变 为 商 业 化 应 用 。 但 我 所 能 说 的 就 是 ， 这 其 实 是 一 种 逆 转 因 果 关 系 ： 正 是 因 为 我 理 解 问 题 的 重 要 性 ， 所 以 我 投 入 其 中 ， 而 不 是 相 反 。
好 了 ， 我 知 道 即 便 某 个 技 术 遇 到 瓶 颈 ， 但 也 无 法 否 定 其 重 要 性 。 S y n t a x N e t 如 何 向 前 迈 一 大 步 呢 ？ 如 果 你 已 经 在 S t a n f o r d   C o r e N L P 中 使 用 了 神 经 网 络 模 型 ， 那 么 可 以 肯 定 的 是 ， 你 正 在 使 用 的 其 实 是 一 种 算 法 ， 在 设 计 层 面 上 这 种 模 型 和 算 法 其 实 是 完 全 一 致 的 ， 但 在 细 节 上 却 不 一 样 。 使 用 s p a C y 语 法 解 析 模 型 也 是 如 此 。 从 概 念 上 讲 ， S y n t a x N e t 的 贡 献 可 能 会 让 人 觉 得 没 那 么 大 ， 毕 竟 它 主 要 用 于 试 验 ， 优 化 和 改 进 。 然 而 ， 如 果 谷 歌 不 做 这 项 工 作 ， 可 能 就 没 有 人 会 去 做 。 可 以 说 ， 可 以 说 ， S y n t a x N e t 为 神 经 网 络 模 型 打 开 了 一 扇 窗 ， 人 们 从 中 看 到 了 一 个 充 满 各 种 想 法 创 为 神 经 网 络 模 型 打 开 了 一 扇 窗 ， 人 们 从 中 看 到 了 一 个 充 满 各 种 想 法 创 意 的 美 丽 风 景 ， 研 究 人 员 也 正 忙 于 探 索 这 一 切 。 意 的 美 丽 风 景 ， 研 究 人 员 也 正 忙 于 探 索 这 一 切 。 当 然 啦 ， 行 业 内 也 会 有 一 种 偏 见 ， 认 为 S y n t a x N e t 会 让 研 究 人 员 看 上 去 （ 感 觉 上 ） 更 聪 明 。 可 能 ， 我 们 最 终 会 有 一 个 非 常 准 确 的 语 法 分 析 模 型 ， 但 是 这 个 模 型 无 法 实 现 正 确 的 假 设 （ 当 然 在 系 统 设 计 的 角 度 准 确 性 是 十 分 重 要 的 ） ， 继 而 导 致 未 来 神 经 网 络 模 型 的 发 展 越 来 越 慢 。 在 C o r e N L P 模 型 说 明 推 出 后 的 六 个 月 ， 首 个 S y n t a x N e t 论 文 才 发 布 出 来 ， 他 们 使 用 了 更 大 的 网 络 ， 更 好 的 激 活 函 数 ， 以 及 不 同 的 优 化 方 法 ， 不 仅 如 此 ， S y n t a x N e t 还 应 用 了 更 具 原 则 性 的 定 向 搜 索 方 法 ， 进 而 取 代 了 目 前 更 多 工 作 。 使 用   L S T M 模 型 可 以 实 现 同 样 准 确 的 并 行 工 作 ， 而 不 是 按 照 S y n t a x N e t 论 文 里 描 述 的 那 样 ， 同 时 发 布 前 馈 网 络 。 S y n t a x N e t 用 来 做 什 么 ？ 用 来 做 什 么 ？ S y n t a x N e t 语 法 解 析 器 可 以 描 述 一 个 句 子 的 语 法 结 构 ， 帮 助 其 他 应 用 程 序 理 解 这 个 句 子 。 自 然 语 言 会 产 生 很 多 意 想 不 到 的 歧 义 ， 人 们 通 常 可 以 利 用 自 己 的 知 识 过 滤 掉 那 些 产 生 歧 义 的 。 举 个 大 家 比 较 喜 欢 的 例 子 ：   他 们 吃 了 加 凤 尾 鱼 的 披 萨 （ T h e y   a t e   t h e   p i z z a   w i t h   a n c h o v i e s ）                                                                                           [ 2 ] 图 片 来 源 ： s p a C y [ 3 ] 正 确 的 语 法 分 析 是 将 “ w i t h ” 和 “ p i z z a ” 联 系 在 一 起 ， 也 就 是 他 们 吃 了 加 凤 尾 鱼 的 披 萨 ； [ 4 ] 图 片 来 源 ： s p a C y [ 5 ] 而 不 正 确 的 语 法 分 析 是 将 “ w i t h ” 和 “ e a t ” 联 系 在 一 起 ， 他 们 和 凤 尾 鱼 一 起 吃 了 披 萨 。  
[ 6 ] 图 片 来 源 ： s p a C y [ 7 ] 如 果 你 想 要 更 形 象 地 感 受 这 个 技 术 ， 不 妨 可 以 看 下 我 们 的 d i s p l a C y   d e m o ， 或 是 看 一 个 简 明 的 ， 基 于 规 则 方 法 的 例 子 ， 去 了 解 语 法 树 是 如 何 计 算 出 来 的 。 “ 单 词 与 单 词 ” 关 系 熟 也 可 以 用 来 识 别 一 些 简 单 的 语 法 语 义 ， 这 样 可 以 便 于 扩 展 形 成 “ 单 词 包 ” 技 术 （ 比 如 w o r d 2 v e c ， 它 是 一 个 将 单 词 转 换 成 向 量 形 式 的 工 具 。 可 以 把 对 文 本 内 容 的 处 理 简 化 为 向 量 空 间 中 的 向 量 运 算 ， 计 算 出 向 量 空 间 上 的 相 似 度 ， 来 表 示 文 本 语 义 上 的 相 似 度 。 ） 举 个 例 子 ， 我 们 解 析 去 年 R e d d i t 论 坛 上 的 每 一 个 评 论 ， 相 比 于 严 格 限 制 空 格 分 割 单 词 的 方 法 ， 使 用 w o r d 2 v e c 显 然 更 有 帮 助 ， 因 为 后 者 可 以 分 析 短 语 ， 实 体 和 单 词 生 成 一 个 很 不 错 的 概 念 图 。 S y n t a x N e t 是 一 个 训 练 和 运 行 句 法 依 赖 解 析 的 模 型 库 。 这 个 模 型 可 以 较 好 地 权 衡 语 义 分 析 速 度 和 准 确 度 。 可 能 是 为 了 显 得 更 时 髦 些 ， 谷 歌 给 这 个 模 型 起 了 个 很 酷 的 名 字 — — P a r s e y   M c P a r s e f a c e 。 希 望 他 们 能 够 继 续 延 续 这 种 时 髦 的 命 名 方 式 ， 我 觉 得 未 来 应 该 有 个 更 好 的 方 式 ， 让 模 型 发 展 时 间 轴 显 得 更 清 楚 一 些 ， 自 然 语 言 处 理 技 术 也 应 如 此 。 S y n t a x N e t 带 来 多 大 进 步 ？ 带 来 多 大 进 步 ？ 虽 然 打 上 了 “ 当 今 世 界 上 最 准 确 的 语 义 分 析 ” 标 签 ， 但 P a r s e y   M c P a r s e f a c e 其 实 只 比 最 近 的 相 关 语 义 分 析 研 究 领 先 了 一 点 点 而 已 ， 如 今 的 语 义 分 析 模 型 使 用 了 更 加 复 杂 的 神 经 网 络 架 构 ， 但 有 更 多 限 制 性 的 参 数 调 整 。 因 此 ， 很 多 相 似 的 技 术 也 将 不 再 会 局 限 在 学 术 圈 。 另 一 方 面 ， 如 果 你 关 心 这 种 模 型 是 否 能 够 实 实 在 在 做 一 些 事 情 ， 那 么 现 实 可 能 会 让 你 有 些 失 望 了 ， 目 前 这 些 技 术 还 无 法 真 正 去 “ 做 事 ” 。 自 从 去 年 S y n t a x N e t 论 文 发 布 之 后 ， 笔 者 本 人 一 直 在 断 断 续 续 的 研 究 神 经 网 络 模 型 s p a C y ， 但 是 效 果 并 不 太 好 ， 我 们 想 要 让 s p a C y 便 于 安 装 ， 我 们 想 要 它 在 单 C P U 上 快 速 运 行 ， 我 们 还 想 要 它 保 持 多 线 程 ， 不 过 所 有 这 些 要 求 目 前 都 很 难 实 现 。 对 于 语 义 分 析 基 准 ， 对 于 语 义 分 析 基 准 ， P a r s e y   M c P a r s e f a c e 在 每 秒 在 每 秒 6 0 0 个 单 词 的 速 度 下 ， 准 确 度 可 以 超 过 个 单 词 的 速 度 下 ， 准 确 度 可 以 超 过 9 4 % 。 同 样 地 ， 。 同 样 地 ， s p a C y 每 秒 识 别 每 秒 识 别 1 . 5 万 字 的 精 准 万 字 的 精 准 度 为 度 为 9 2 . 4 % 。 。 这 个 准 确 度 可 能 听 上 去 不 是 很 高 ， 但 对 于 应 用 程 序 来 说 ， 其 实 已 经 算 非 常 好 的 了 。 任 何 预 测 系 统 ， 通 常 最 重 要 的 考 虑 因 素 就 是 基 准 预 测 的 差 异 ， 而 不 是 绝 对 进 度 。 一 个 预 测 天 气 的 模 型 ， 今 天 和 昨 天 的 准 确 度 可 能 是 一 样 的 ， 但 是 它 不 会 增 加 任 何 价 值 。 关 于 依 存 关 系 语 法 分 析 ， 大 约 8 0 % 的 依 赖 关 系 都 很 简 单 明 确 ， 这 意 味 着 ， 一 个 只 正 确 预 测 那 种 依 附 关 系 的 系 统 正 在 注 入 少 量 额 外 信 息 ， 这 种 能 力 不 是 只 查 看 每 个 单 词 就 能 做 到 的 ， 而 是 要 考 虑 词 和 词 之 间 的 关 系 。 总 而 言 之 ， 我 认 为 在 目 前 人 工 智 能 的 大 趋 势 下 ， P a r s e y   M c P a r s e f a c e 是 一 个 非 常 好 的 里 程 碑 。 重 要 的 是 ， 它 可 以 实 现 多 快 的 速 度 ， 以 及 能 实 现 多 么 先 进 的 自 然 语 言 处 理 技 术 。 我 觉 得 以 前 有 很 多 想 法 不 能 实 现 ， 但 是 肯 定 会 有 那 一 刻 的 到 来 ， 一 瞬 间 所 有 都 变 得 可 行 了 。 下 一 步 是 什 么 ？ 下 一 步 是 什 么 ？ 最 让 我 兴 奋 的 是 ， 通 过 P a r s e y   M c P a r s e f a c e 模 型 设 计 ， 自 然 语 言 处 理 技 术 有 了 一 个 非 常 清 晰 的 方 向 ， 这 时 你 可 能 会 说 ： “ 好 的 ， 如 果 它 有 作 用 就 太 好 了 。 ” 2 0 0 4 年 ， 语 义 分 析 领 域 的 领 军 人 物 之 一   J o a k i m   N i v r e 表 示 ， 这 种 类 型 的 语 法 解 析 器 可 以 一 次 性 读 句 子 ， 继 而 减 少 错 误 理 解 。 这 种 类 型 的 语 法 解 析 器 可 以 一 次 性 读 句 子 ， 继 而 减 少 错 误 理 解 。 它 适 用 于 任 何 状 态 表 达 ， 任 何 行 为 集 合 ， 任 何 概 率 模 型 架 构 。 它 适 用 于 任 何 状 态 表 达 ， 任 何 行 为 集 合 ， 任 何 概 率 模 型 架 构 。 举 个 例 子 ， 如 果 你 解 析 一 个 语 音 识 别 系 统 的 输 入 ， 你 可 以 让 语 法 解 析 器 优 化 语 音 识 别 器 ， 在 基 于 句 法 环 境 下 猜 测 对 方 要 说 的 话 。 如 果 你 使 用 知 识 库 ， 那 么 可 以 扩 展 状 态 表 达 ， 使 其 中 包 含 你 的 目 标 语 义 ， 让 它 学 习 语 法 。
联 合 模 型 和 半 监 督 学 习 一 直 是 自 然 语 言 理 解 研 究 最 完 美 的 体 现 。 从 来 没 有 人 怀 疑 它 们 的 优 点 — — 但 是 如 果 没 有 一 个 具 体 的 方 法 ， 这 些 技 术 也 只 是 陈 词 滥 调 罢 了 。 很 明 显 ， 理 解 一 个 句 子 需 要 正 确 地 拆 分 单 词 ， 但 这 样 做 会 带 来 很 多 问 题 ， 更 难 以 找 到 一 个 满 意 的 解 决 方 案 。 此 外 ， 一 个 自 然 语 言 理 解 系 统 应 该 可 以 利 用 现 有 的 大 量 未 标 注 文 本 ， 这 同 样 需 要 不 同 类 型 的 模 型 支 持 。 我 认 为 ， 针 对 上 述 两 个 问 题 ， 一 个 过 渡 的 神 经 网 络 模 型 能 够 给 出 答 案 。 你 可 以 学 习 任 何 架 构 ， 你 看 到 的 文 本 越 多 ， 你 学 习 的 就 越 多 ， 而 且 神 经 网 络 模 型 也 不 需 要 添 加 任 何 新 参 数 。 显 然 ， 我 们 想 要 在 P a r s e y   M c P a r s e f a c e 和 s p a C y 模 型 之 间 构 建 一 座 桥 梁 ， 这 样 在 s p a C y 应 用 程 序 接 口 的 支 持 下 ， 你 才 能 使 用 更 加 准 确 的 模 型 。 不 过 ， 对 于 任 何 单 独 用 例 ， 让 这 种 技 术 真 正 发 挥 作 用 总 是 会 出 现 一 些 变 数 。 特 别 是 每 一 个 应 用 程 序 中 总 会 存 在 不 同 类 型 的 文 本 ， 如 果 数 据 模 型 能 调 整 到 域 ， 准 确 度 才 能 够 有 实 质 提 升 ， 比 如 一 些 完 整 编 辑 的 文 本 ， 像 财 务 报 告 ， 你 必 须 要 让 语 义 分 析 模 型 把 像 财 务 报 告 ， 你 必 须 要 让 语 义 分 析 模 型 把 “ 市 值 市 值 ” 这 个 词 考 虑 成 决 这 个 词 考 虑 成 决 定 性 指 标 ， 才 能 更 好 地 理 解 全 文 定 性 指 标 ， 才 能 更 好 地 理 解 全 文 ； 但 是 如 果 在 理 解 T w i t t e r 上 的 推 文 时 ， 你 让 语 义 分 析 模 型 将 “ 市 值 ” 理 解 成 决 定 性 指 标 ， 通 常 是 没 有 什 么 意 义 的 。 我 们 的 目 标 就 是 要 提 供 一 系 列 预 先 训 练 模 式 ， 去 解 决 这 一 问 题 ， 让 语 义 分 析 模 型 适 应 不 同 的 语 言 和 风 格 。 我 们 也 有 一 些 令 人 非 常 兴 奋 的 想 法 ， 尽 可 能 轻 松 地 帮 助 每 个 用 户 训 练 属 于 自 己 的 自 定 义 模 型 。 我 们 认 为 ， 在 自 然 语 言 处 理 中 ， 算 法 总 是 冲 在 最 前 面 ， 而 数 据 往 往 滞 后 。 我 们 希 望 解 决 这 个 问 题 。 编 译 自 ： h t t p s : / / s p a c y . i o / b l o g / s y n t a x n e t - i n - c o n t e x t   作 者 ：   M a t t h e w   H o n n i b a l 转 载 自 ： 雷 锋 网   h t t p : / / w w w . l e i p h o n e . c o m / n e w s / 2 0 1 6 0 5 / k 1 j Q 4 w U k D 1 I r K 2 o D . h t m l   译 者 ：   A I 科 技 评 论 [ 1 ] :   h t t p s : / / s p a c y . i o / b l o g / s y n t a x n e t - i n - c o n t e x t [ 2 ] :   h t t p : / / 7 t e 8 b u . c o m 1 . z 0 . g l b . c l o u d d n . c o m / u p l o a d s / n e w / a r t i c l e / 7 4 0 _ 7 4 0 / 2 0 1 6 0 5 / 5 7 3 a 7 9 3 b 8 5 5 2 7 . p n g [ 3 ] :   h t t p s : / / s p a c y . i o / b l o g / s y n t a x n e t - i n - c o n t e x t [ 4 ] :   h t t p : / / 7 t e 8 b u . c o m 1 . z 0 . g l b . c l o u d d n . c o m / u p l o a d s / n e w / a r t i c l e / 7 4 0 _ 7 4 0 / 2 0 1 6 0 5 / 5 7 3 a 7 9 3 a 7 f d c 4 . j p g [ 5 ] :   h t t p s : / / s p a c y . i o / b l o g / s y n t a x n e t - i n - c o n t e x t [ 6 ] :   h t t p : / / 7 t e 8 b u . c o m 1 . z 0 . g l b . c l o u d d n . c o m / u p l o a d s / n e w / a r t i c l e / 7 4 0 _ 7 4 0 / 2 0 1 6 0 5 / 5 7 3 a 7 9 3 b 0 7 9 7 a . j p g [ 7 ] :   h t t p s : / / s p a c y . i o / b l o g / s y n t a x n e t - i n - c o n t e x t 推 荐 文 章 推 荐 文 章 点 击 标 题 或 输 入 文 章   I D   直 达 该 文 章
点 击 标 题 或 输 入 文 章   I D   直 达 该 文 章 将 文 章 分 享 给 朋 友 是 对 我 们 最 好 的 赞 赏 ！ 阅 读 原 文
回复

举报

高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

Archiver| 手机版| 小黑屋|
Powered by Discuz! X3.4 Copyright © 2001-2020, Tencent Cloud. 商业源码建议获取授权，如侵犯您的权益，请联系客服处理