搜索

[23614] 2015-02-19_人工智能领域鲜为人知的趋势：云计算vs高性能计算

文档创建者：s7ckTeam
浏览次数：33
最后更新：2025-01-18
2015-02-19_人工智能领域鲜为人知的趋势：云计算vs高性能计算 人 工 智 能 领 域 鲜 为 人 知 的 趋 势 ： 云 计 算   v s   高 性 能 计 算 L i n u x 中 国   2 0 1 5 - 0 2 - 1 9 当 吴 恩 达 还 在 G o o g l e 训 练 电 脑 矩 阵 使 用 人 工 智 能 ， 识 别 喵 星 人 视 频 时 ， 他 并 非 一 帆 风 顺 。 G o o g l e 在 世 界 各 地 的 数 据 中 心 拥 有 海 量 计 算 机 ， 对 于 吴 恩 达 的 工 作 ， 计 算 量 绝 对 绰 绰 有 余 。 但 配 置 如 此 强 大 的 计 算 机 集 群 并 不 是 一 件 容 易 的 事 情 ， 如 果 有 一 台 服 务 器 忽 然 当 机 （ 如 果 你 同 时 使 用 1 0 0 0 台 机 器 ， 这 种 事 情 几 乎 每 天 都 会 发 生 ） ， 就 会 减 小 准 确 性 。 吴 恩 达 透 露 ， 这 是 深 度 学 习 世 界 里 众 多 问 题 之 一 ， 如 今 大 数 据 和 人 工 智 能 里 最 热 的 议 题 是 ： 与 云 计 算 的 发 展 不 符 。 G o o g l e 、 亚 马 逊 和 F a c e b o o k 已 经 使 用 云 计 算 在 数 万 台 计 算 机 上 运 行 软 件 。 在 吴 恩 达 的 人 工 智 能 实 验 后 没 多 久 ， 一 位 名 叫 A d a m   C o a t e s 的 斯 坦 福 大 学 研 究 人 员 想 出 了 一 个 更 好 的 解 决 方 案 ， 他 用 一 种 不 同 的 微 处 理 器 ， 图 形 处 理 器 G P U （ G r a p h i c a l   P r o c e s s i n g   U n i t ） ， 将 三 台 计 算 机 连 贯 在 一 起 ， 让 它 们 像 是 一 个 系 统 一 样 运 行 ， 结 果 与 G o o g l e 数 千 台 计 算 机 的 运 行 效 果 是 一 样 的 。 这 绝 对 是 一 个 非 凡 的 成 就 。 C o a t e s 目 前 在 吴 恩 达 手 下 ， 就 职 与 百 度 。 他 说 ， “ 和 以 前 支 持 人 工 智 能 的 处 理 器 相 比 ， G P U 在 资 源 处 理 上 有 很 大 不 同 ， 不 仅 速 度 更 快 ， 同 时 能 在 更 小 系 统 上 紧 密 整 合 ， 成 本 也 得 以 降 低 。 ” 游 戏 玩 家 应 该 对 G P U 非 常 熟 悉 ， 他 们 会 购 买 专 门 的 显 卡 提 升 视 频 游 戏 体 验 。 实 际 上 ， 在 吴 恩 达 的 G o o g l e 人 工 智 能 试 验 之 前 ， 学 术 界 也 早 已 了 解 G P U ， 它 具 有 强 大 的 数 学 处 理 能 力 ， 对 深 度 学 习 而 言 再 合 适 不 过 。 一 开 始 ， 研 究 人 员 只 为 单 一 系 统 编 写 深 度 学 习 软 件 ， 而 C o a t e s 则 在 很 多 基 于 G P U 的 计 算 机 上 构 建 深 度 学 习 网 络 。 G o o g l e 和 F a c e b o o k 也 在 使 用 G P U ， 当 然 还 有 一 些 著 名 人 工 智 能 实 验 室 ， 如 橡 树 岭 国 家 实 验 室 （ O a k   R i d g e   N a t i o n a l   L a b s ） 和 劳 伦 斯 · 利 弗 莫 尔 国 家 实 验 室 （ L a w r e n c e   L i v e r m o r e   N a t i o n a l   L a b o r a t o r y ） 。 他 们 希 望 利 用 强 大 的 芯 片 和 速 度 超 快 的 网 络 设 备 （ 现 以 广 泛 应 用 于 超 级 计 算 机 内 ） 支
持 深 度 学 习 的 计 算 能 力 。 超 级 计 算 机 遇 到 深 度 学 习 在 橡 树 岭 国 家 实 验 室 有 一 个 研 究 设 施 S N S （ 散 裂 中 子 源 ） ， 它 构 建 于 2 0 0 6 年 ， 曾 引 爆 过 世 界 上 最 强 的 材 料 中 子 束 ， 帮 助 物 理 学 家 和 化 学 家 了 解 材 料 内 部 结 构 是 如 何 形 成 的 。 S N S 产 生 了 大 量 数 据 ， 它 们 需 要 被 彻 底 分 析 。 而 科 学 家 们 相 信 ， 他 们 可 以 利 用 深 度 学 习 算 法 快 速 识 别 数 据 类 型 ， 提 升 分 析 能 力 。 识 别 数 据 类 型 可 是 深 度 学 习 的 专 长 。 但 问 题 是 ， 对 于 科 学 模 拟 来 说 ， 每 次 产 生 7 0 0 T B 数 据 似 乎 太 正 常 不 过 了 ， 不 过 这 比 美 国 国 会 图 书 馆 所 有 信 息 加 起 来 的 量 还 要 大 。 不 过 ， 在 高 性 能 计 算 机 网 络 的 支 持 下 ， 现 在 由 G P U 支 持 的 深 度 学 习 可 以 解 决 上 述 问 题 。 实 验 室 的 T i t a n 超 级 计 算 机 和 G o o g l e 云 有 些 不 一 样 ， 虽 然 它 也 是 有 数 千 台 计 算 机 组 成 的 计 算 矩 阵 ， 但 T i t a n 可 以 在 每 台 机 器 内 存 实 现 快 速 进 出 、 交 换 数 据 ， 并 且 推 送 给 其 他 机 器 。 也 就 是 说 ， 研 究 人 员 已 经 能 在 T i t a n 上 利 用 深 度 学 习 算 法 。 F a c e b o o k 也 使 用 G P U ， 但 负 责 深 度 学 习 的 研 究 人 员 Y a n n   L e C u n 还 没 有 完 全 摆 脱 对 C P U 的 依 赖 。 他 说 ： “ F a c e b o o k 使 用 了 基 于 G P U 的 基 础 设 施 来 训 练 深 度 学 习 模 型 ， 传 统 C P U 集 群 的 处 理 速 度 的 确 太 慢 了 。 不 过 全 新 的 多 核 C P U 芯 片 ， 会 与 G P U 产 生 差 不 多 的 效 果 。 ” 支 持 超 级 计 算 的 软 件 在 人 工 智 能 被 真 正 认 识 之 前 ， 极 客 们 必 须 编 写 在 超 级 计 算 机 上 运 行 的 深 度 学 习 软 件 。 但 开 发 这 样 的 软 件 可 能 还 需 要 很 多 年 时 间 才 能 完 成 。 吴 恩 达 最 初 在 G o o g l e 构 建 “ 猫 咪 视 频 ” 的 人 工 智 能 模 型 里 ， 有 1 0 亿 个 参 数 ， 这 才 多 少 让 计 算 机 有 了 点 儿 人 类 认 知 的 能 力 ， 可 以 区 分 照 片 和 视 频 里 的 内 容 ， 比 如 是 猫 咪 还 是 仓 鼠 。 劳 伦 斯 利 弗 莫 尔 实 验 室 已 经 构 建 出 了 包 含 1 5 0 亿 个 参 数 的 软 件 ， 是 G o o g l e 模 型 的 1 5 倍 ， 人 工 智 能 识 别 能 力 也 会 更 强 大 。 实 验 室 负 责 人 B a r r y C h e n 说 道 ： “ 我 们 希 望 项 目 结 束 时 ， 可 以 构 建 成 世 界 上 最 大 的 神 经 网 络 训 练 算 法 ， 当 然 这 需 要 高 性 能 的 计 算 机 支 持 。 ” G o o g l e 的 方 式 那 么 ， G o o g l e 在 做 什 么 呢 ？ 它 也 在 向 G P U 转 型 ， 不 过 选 择 了 一 条 不 同 的 路 径 而 已 。 G o o g l e 构 建 了 一 个 全 新 深 度 学 习 系 统 D i s t B e l i e f ， 在 其 庞 大 而 蔓 生 的 云 系 统 上 既 可 以 运 行 G P U ， 也 可 以 运 行 C P U 。 G o o g l e 将 数 字 运 算 工 作 拆 分 成 了 数 以 百 计 的 小 集 群 ， 每 个 集 群 会 配 置 1 到 3 2 台 计 算 机 ， 如 此 巨 大 的 计 算 能 力 让 G o o g l e 的 人 工 智 能 软 件 水 平 有 了 很 大 提 升 ， 可 以 区 分 椅 子 和 凳 子 ， 还 能 区 分 “ S h i f t ” 和 “ S h i p ” 这 样 的 单 词 。 当 然 ， G o o g l e 数 据 中 心 内 部 的 计 算 机 也 可 能 会 当 机 ， 这 是 不 可 避 免 的 ， 但 是 即 便 如 此 ， 也 不 会 对 G o o g l e 造 成 太 大 的 影 响 。 事 实 上 ， G o o g l e 整 个 系 统 的 设 计 非 常 棒 ， 用 G o o g l e 研 究 科 学 家 G r e g   C o r r a d o 的 话 说 ， 即 便 有 计 算 机 坏 了 ， 研 究 人 员 们 甚 至 都 不 会 察 觉 到 。 “ 云 计 算 V S 高 性 能 计 算 ， 其 实 和 公 司 文 化 、 可 用 资 源 、 甚 至 是 企 业 品 味 相 关 。 作 为 G o o g l e 研 究 人 员 ， 我 当 然 为 G o o g l e 内 部 系 统 感 到 高 兴 。 ”
原 文 ： h t t p : / / w w w . w i r e d . c o m / 2 0 1 5 / 0 2 / h o t - y e t - l i t t l e - k n o w n - t r e n d - t h a t l l - s u p e r c h a r g e - a i / 译 文 ： h t t p : / / w w w . l e i p h o n e . c o m / n e w s / 2 0 1 5 0 2 / 6 V v C R o g y U D m m t k m t . h t m l 译 者 ：   天 诺 阅 读 原 文
回复

举报

高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

Archiver| 手机版| 小黑屋|
Powered by Discuz! X3.4 Copyright © 2001-2020, Tencent Cloud. 商业源码建议获取授权，如侵犯您的权益，请联系客服处理