搜索

[25549] 2016-09-30_AWS和GCP的Spark技术哪家强？

文档创建者：s7ckTeam
浏览次数：1
最后更新：2025-01-19
2016-09-30_AWS和GCP的Spark技术哪家强？ A W S   和   G C P   的   S p a r k   技 术 哪 家 强 ？ 原 创   译 者 f i r s t a d r e a m   L i n u x 中 国   2 0 1 6 - 0 9 - 3 0 本 文 导 航 - 提 交 提 交   S p a r k   任 务 到 云 任 务 到 云 - 配 置 云 服 务 配 置 云 服 务 - 一 分 钱 一 分 货 一 分 钱 一 分 货 - 性 能 比 拼 性 能 比 拼 - 结 论 结 论 T i a n h u i   M i c h a e l   L i   和   A r i e l   M ’ n d a n g e - P f u p f u   将 在 今 年   1 0   月   1 0 、 1 2   和   1 4   号 组 织 一 个 在 线 经 验 分 享 课 程 ： S p a r k   分 布 式 计 算 入 门 [ 1 ] 。 该 课 程 的 内 容 包 括 创 建 端 到 端 的 运 行 应 用 程 序 和 精 通   S p a r k   关 键 工 具 。 毋 庸 置 疑 ， 云 计 算 将 会 在 未 来 数 据 科 学 领 域 扮 演 至 关 重 要 的 角 色 。 弹 性 ， 可 扩 展 性 和 按 需 分 配 的 计 算 能 力 作 为 云 计 算 的 重 要 资 源 ， 直 接 导 致 云 服 务 提 供 商 集 体 火 拼 。 其 中 最 大 的 两 股 势 力 正 是 亚 马 逊 网 络 服 务 （ A W S ) [ 2 ]   和 谷 歌 云 平 台 （ G C P ) [ 3 ] 。 本 文 依 据 构 建 时 间 和 运 营 成 本 对   A W S   和   G C P   的   S p a r k   工 作 负 载 作 一 个 简 短 比 较 。 实 验 由 我 们 的 学 生 在 T h e   D a t a   I n c u b a t o r 数 据 孵 化 器 进 行 ， T h e   D a t a   I n c u b a t o r 数 据 孵 化 器 [ 4 ] 是 一 个 大 数 据 培 训 组 织 ， 专 门 为 公 司 招 聘 顶 尖 数 据 科 学 家 并 为 公 司 职 员 培 训 最 新 的 大 数 据 科 学 技 能 。 尽 管   S p a r k   效 率 惊 人 ， 分 布 式 工 作 负 载 的 时 间 和 成 本 亦 然 可 以 大 到 不 能 忽 略 不 计 。 因 此 我 们 一 直 努 力 寻 求 更 高 效 的 技 术 ， 以 便 我 们 的 学 生 能 够 学 习 到 最 好 和 最 快 的 工 具 。 提 交 提 交   S p a r k   任 务 到 云 任 务 到 云
S p a r k [ 5 ]   是 一 个 类   M a p R e d u c e   但 是 比   M a p R e d u c e   更 灵 活 、 更 抽 象 的 并 行 计 算 框 架 。 S p a r k   提 供   P y t h o n   和   J a v a   编 程 接 口 ， 但 它 更 愿 意 用 户 使 用 原 生 的   S c a l a   语 言 进 行 应 用 程 序 开 发 。 S c a l a   可 以 把 应 用 程 序 和 依 赖 文 件 打 包 在 一 个   J A R   文 件 从 而 使 S p a r k   任 务 提 交 变 得 简 单 。 通 常 情 况 下 ， S p r a r k   结 合   H D F S   应 用 于 分 布 式 数 据 存 储 ， 而 与   Y A R N   协 同 工 作 则 应 用 于 集 群 管 理 ； 这 种 堪 称 完 美 的 配 合 使 得   S p a r k   非 常 适 用 于   A W S   的 弹 性   M a p R e d u c e   （ E M R ） 集 群 和   G C P   的   D a t a p r o c   集 群 。 这 两 种 集 群 都 已 有   H D F S   和   Y A R N   预 配 置 ， 不 需 要 额 外 进 行 配 置 。 配 置 云 服 务 配 置 云 服 务 通 过 命 令 行 比 通 过 网 页 界 面 管 理 数 据 、 集 群 和 任 务 具 有 更 高 的 可 扩 展 性 。 对   A W S   而 言 ， 这 意 味 着 客 户 需 要 安 装   C L I [ 6 ] 。 客 户 必 须 获 得 证 书 并 为 每 个   E C 2   实 例 创 建 独 立 的 密 钥 对 [ 7 ] 。 除 此 之 外 ， 客 户 还 需 要 为   E M R   用 户 和   E M R   本 身 创 建 角 色 （ 基 本 权 限 ） ， 主 要 是 准 入 许 可 规 则 ， 从 而 使   E M R   用 户 获 得 足 够 多 的 权 限 （ 通 常 在   C L I   运 行     就 可 以 ） 。 相 比 而 言 ， G C P   的 处 理 流 程 更 加 直 接 。 如 果 客 户 选 择 安 装   G o o g l e   C l o u d   S D K [ 8 ]   并 且 使 用 其   G o o g l e   账 号 登 录 ， 那 么 客 户 即 刻 可 以 使 用   G C P   的 几 乎 所 有 功 能 而 无 需 其 他 任 何 配 置 。 唯 一 需 要 提 醒 的 是 不 要 忘 记 通 过   A P I   管 理 器 启 用 计 算 引 擎 、 D a t a p r o c   和 云 存 储   J S O N   的   A P I 。 当 你 安 装 你 的 喜 好 设 置 好 之 后 ， 有 趣 的 事 情 就 发 生 了 ！ 比 如 可 以 通 过 或 者 命 令 拷 贝 客 户 的 数 据 到 云 端 。 再 比 如 客 户 可 以 创 建 自 己 的 输 入 、 输 出 或 者 任 何 其 他 需 要 的   b u c k e t ， 如 此 ， 运 行 一 个 应 用 就 像 创 建 一 个 集 群 或 者 提 交   J A R   文 件 一 样 简 单 。 请 确 定 日 志 存 放 的 地 方 ， 毕 竟 在 云 环 境 下 跟 踪 问 题 或 者 调 试   b u g   有 点 诡 异 。 一 分 钱 一 分 货 一 分 钱 一 分 货 谈 及 成 本 ， G o o g l e   的 服 务 在 以 下 几 个 方 面 更 有 优 势 。 首 先 ， 购 买 计 算 能 力 的 原 始 成 本 更 低 。 4   个   v C P U   和   1 5 G   R A M   的 G o o g l e   计 算 引 擎 服 务 （ G C E ） 每 小 时 只 需   0 . 2 0   美 元 ， 如 果 运 行   D a t a p r o c ， 每 小 时 也 只 需 区 区   0 . 2 4   美 元 。 相 比 之 下 ， 同 等 的 云 配 置 ， A W S   E M R   则 需 要 每 小 时   0 . 3 3 6   美 元 。 其 次 ， 计 费 方 式 。 A W S   按 小 时 计 费 ， 即 使 客 户 只 使 用   1 5   分 钟 也 要 付 足   1   小 时 的 费 用 。 G C P   按 分 钟 计 费 ， 最 低 计 费   1 0   分 钟 。 在 诸 多 用 户 案 例 中 ， 资 费 方 式 的 不 同 直 接 导 致 成 本 的 巨 大 差 异 。 两 种 云 服 务 都 有 其 他 多 种 定 价 机 制 。 客 户 可 以 使 用   A W S   的   S p o r t   I n s t a n c e   或   G C P   的   P r e e m p t i b l e   I n s t a n c e   来 竞 价 它 们 的 空 闲 云 计 算 能 力 。 这 些 服 务 比 专 有 的 、 按 需 服 务 便 宜 ， 缺 点 是 不 能 保 证 随 时 有 可 用 的 云 资 源 提 供 服 务 。 在   G C P   上 ， 如 果 客 户 长 时 间 （ 每 月 的   2 5 %   至   1 0 0 % ） 使 用 服 务 ， 可 以 获 取 更 多 折 扣 。 在   A W S   上 预 付 费 或 者 一 次 购 买 大 批 量 服 务 可 以 节 省 不 少 费 用 。 底 线 是 ， 如 果 你 是 一 个 超 级 用 户 ， 并 且 使 用 云 计 算 已 经 成 为 一 种 常 态 ， 那 么 最 好 深 入 研 究 云 计 算 ， 自 己 算 计 好 成 本 。 最 后 ， 新 手 在   G C P   上 体 验 云 服 务 的 费 用 较 低 。 新 手 只 需   3 0 0   美 元 信 用 担 保 ， 就 可 以 免 费 试 用   6 0   天   G C P   提 供 的 全 部 云 服 务 。 A W S   只 免 费 提 供 特 定 服 务 的 特 定 试 用 层 级 ， 如 果 运 行   S p a r k   任 务 ， 需 要 付 费 。 这 意 味 着 初 次 体 验   S p a r k ， G C P   具 有 更 a w s   e m r   c r e a t e - d e f a u l t - r o l e s a w s   s 3   c p g s u t i l   c p
多 选 择 ， 也 少 了 精 打 细 算 和 讨 价 还 价 的 烦 恼 。 性 能 比 拼 性 能 比 拼 我 们 通 过 实 验 检 测 一 个 典 型   S p a r k   工 作 负 载 的 性 能 与 开 销 。 实 验 分 别 选 择   A W S   的   m 3 . x l a r g   和   G C P   的   n 1 - s t a n d a r d - 4 ， 它 们 都 是 由 一 个   M a s t e r   和   5   个 核 心 实 例 组 成 的 集 群 。 除 了 规 格 略 有 差 别 ， 虚 拟 核 心 和 费 用 都 相 同 。 实 际 上 它 们 在   S p a r k   任 务 的 执 行 时 间 上 也 表 现 的 惊 人 相 似 。 测 试   S p a r k   任 务 包 括 对 数 据 的 解 析 、 过 滤 、 合 并 和 聚 合 ， 这 些 数 据 来 自 公 开 的 S t a c k   E x c h a n g e   D a t a   D u m p 堆 栈 交 换 数 据 转 储 [ 9 ] 。 通 过 运 行 相 同 的 J A R ， 我 们 首 先 对 大 约   5 0 M   的 数 据 子 集 进 行 交 叉 验 证 [ 1 0 ] ， 然 后 将 验 证 扩 大 到 大 约   9 . 5 G   的 数 据 集 。 F i g u r e   1 .   C r e d i t :   M i c h a e l   L i   a n d   A r i e l   M ' n d a n g e - P f u p f u .
F i g u r e   2 .   C r e d i t :   M i c h a e l   L i   a n d   A r i e l   M ' n d a n g e - P f u p f u . 结 果 表 明 ， 短 任 务 在   G C P   上 具 有 明 显 的 成 本 优 势 ， 这 是 因 为   G C P   以 分 钟 计 费 ， 并 最 终 扣 除 了   1 0   分 钟 的 费 用 ， 而   A W S   则 收 取 了   1   小 时 的 费 用 。 但 是 即 使 长 任 务 ， 因 为 计 费 方 式 占 优 ， G P S   仍 然 具 有 相 当 优 势 。 同 样 值 得 注 意 的 是 存 储 成 本 并 不 包 括 在 此 次 比 较 当 中 。 结 论 结 论 A W S   是 云 计 算 的 先 驱 ， 这 甚 至 体 现 在   A P I   中 。 A W S   拥 有 巨 大 的 生 态 系 统 ， 但 其 许 可 模 型 已 略 显 陈 旧 ， 配 置 管 理 也 有 些 晦 涩 难 解 。 相 比 之 下 ， G o o g l e   是 云 计 算 领 域 的 新 星 并 且 将 云 计 算 服 务 打 造 得 更 加 圆 润 自 如 。 但 是   G C P   缺 少 一 些 便 捷 的 功 能 ， 比 如 通 过 简 单 方 法 自 动 结 束 集 群 和 详 细 的 任 务 计 费 信 息 分 解 。 另 外 ， 其   P y t h o n   编 程 接 口 也 不 像   A W S   的   B o t o [ 1 1 ]   那 么 全 面 。 如 果 你 初 次 使 用 云 计 算 ， G C P   因 其 简 单 易 用 ， 别 具 魅 力 。 即 使 你 已 在 使 用   A W S ， 你 也 许 会 发 现 迁 移 到   G C P   可 能 更 划 算 ， 尽 管 真 正 从   A W S   迁 移 到   G C P   的 代 价 可 能 得 不 偿 失 。 当 然 ， 现 在 对 两 种 云 服 务 作 一 个 全 面 的 总 结 还 非 常 困 难 ， 因 为 它 们 都 不 是 单 一 的 实 体 ， 而 是 由 多 个 实 体 整 合 而 成 的 完 整 生 态 系 统 ， 并 且 各 有 利 弊 。 真 正 的 赢 家 是 用 户 。 一 个 例 证 就 是 在 T h e   D a t a   I n c u b a t o r 数 据 孵 化 器 ， 我 们 的 博 士 数 据 科 学 研 究 员 在 学 习 分 布 式 负 载 的 过 程 中 真 正 体 会 到 成 本 的 下 降 。 虽 然 我 们 的 大 数 据 企 业 培 训 客 户 [ 1 2 ] 可 能 对 价 格 不 那 么 敏 感 , 他 们 更 在 意 能 够 更 快 速 地 处 理 企 业 数 据 ， 同 时 保 持 价 格 不 增 加 。 数 据 科 学 家 现 在 可 以 享 受 大 量 的 可 选 服 务 ， 这 些 都 是 从 竞 争 激 烈 的 云 计 算 市 场 得 到 的 实 惠 。 v i a :   h t t p s : / / w w w . o r e i l l y . c o m / i d e a s / s p a r k - c o m p a r i s o n - a w s - v s - g c p 作 者 ： M i c h a e l   L i [ 1 3 ]   A r i e l   M ' N d a n g e - P f u p f u [ 1 4 ]   译 者 ： f i r s t a d r e a m   校 对 ： w x y 本 文 由   L C T T [ 1 5 ]   原 创 编 译 ， L i n u x 中 国   荣 誉 推 出 [ 1 ] :   h t t p : / / w w w . o r e i l l y . c o m / l i v e - t r a i n i n g / d i s t r i b u t e d - c o m p u t i n g - w i t h - s p a r k . h t m l ? i n t c m p = i l - d a t a - o l r e g - l p - o l t r a i n _ 2 0 1 6 0 8 2 8 _ n e w _ s i t e _ s p a r k _ c o m p a r i s o n _ a w s _ g c p _ p o s t _ t o p _ n o t e _ t r a i n i n g _ l i n k [ 2 ] :   h t t p s : / / a w s . a m a z o n . c o m / [ 3 ] :   h t t p s : / / c l o u d . g o o g l e . c o m / [ 4 ] :   h t t p s : / / w w w . t h e d a t a i n c u b a t o r . c o m / t r a i n i n g . h t m l [ 5 ] :   h t t p : / / s p a r k . a p a c h e . o r g / [ 6 ] :   h t t p : / / d o c s . a w s . a m a z o n . c o m / c l i / l a t e s t / u s e r g u i d e / c l i - c h a p - g e t t i n g - s e t - u p . h t m l [ 7 ] :   h t t p : / / d o c s . a w s . a m a z o n . c o m / E l a s t i c M a p R e d u c e / l a t e s t / D e v e l o p e r G u i d e / E M R _ S e t U p _ K e y P a i r . h t m l [ 8 ] :   h t t p s : / / c l o u d . g o o g l e . c o m / s d k / # Q u i c k _ S t a r t [ 9 ] :   h t t p s : / / a r c h i v e . o r g / d e t a i l s / s t a c k e x c h a n g e [ 1 0 ] :   h t t p : / / s t a t s . s t a c k e x c h a n g e . c o m / [ 1 1 ] :   h t t p s : / / g i t h u b . c o m / b o t o / b o t o 3 [ 1 2 ] :   h t t p s : / / w w w . t h e d a t a i n c u b a t o r . c o m / t r a i n i n g . h t m l [ 1 3 ] :   h t t p s : / / w w w . o r e i l l y . c o m / p e o p l e / 7 6 a 5 b - m i c h a e l - l i [ 1 4 ] :   h t t p s : / / w w w . o r e i l l y . c o m / p e o p l e / A r i e l - M n d a n g e - P f u p f u [ 1 5 ] :   h t t p s : / / g i t h u b . c o m / L C T T / T r a n s l a t e P r o j e c t 推 荐 文 章 推 荐 文 章
点 击 标 题 或 输 入 文 章   I D   直 达 该 文 章 将 文 章 分 享 给 朋 友 是 对 我 们 最 好 的 赞 赏 ！ 阅 读 原 文
回复

举报

高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

使用Markdown编辑器编辑 使用富文本编辑器编辑

Archiver| 手机版| 小黑屋|
Powered by Discuz! X3.4 Copyright © 2001-2020, Tencent Cloud. 商业源码建议获取授权，如侵犯您的权益，请联系客服处理