搜索

[25255] 2016-07-17_Cassandra和Spark数据处理一窥

文档创建者：s7ckTeam
浏览次数：2
最后更新：2025-01-18
2016-07-17_Cassandra和Spark数据处理一窥 C a s s a n d r a   和   S p a r k   数 据 处 理 一 窥 原 创   译 者 ： K e v i n S J   L i n u x 中 国   2 0 1 6 - 0 7 - 1 7 A p a c h e   C a s s a n d r a   数 据 库 近 来 引 起 了 很 多 的 兴 趣 ， 这 主 要 源 于 现 代 云 端 软 件 对 于 可 用 性 及 性 能 方 面 的 要 求 。 那 么 ， A p a c h e   C a s s a n d r a   是 什 么 ？ 它 是 一 种 为 高 可 用 性 及 线 性 可 扩 展 性 优 化 的 分 布 式 的 联 机 交 易 处 理   ( O L T P )   数 据 库 。 具 体 说 到   C a s s a n d r a 的 用 途 时 ， 可 以 想 想 你 希 望 贴 近 用 户 的 系 统 ， 比 如 说 让 我 们 的 用 户 进 行 交 互 的 系 统 、 需 要 保 证 实 时 可 用 的 程 序 等 等 ， 如 ： 产 品 目 录 ， 物 联 网 ， 医 疗 系 统 ， 以 及 移 动 应 用 。 对 这 些 程 序 而 言 ， 下 线 时 间 意 味 着 利 润 降 低 甚 至 导 致 其 他 更 坏 的 结 果 。 N e t f i l i x   是 这 个 在   2 0 0 8   年 开 源 的 项 目 的 早 期 使 用 者 ， 他 们 对 此 项 目 的 贡 献 以 及 带 来 的 成 功 让 这 个 项 目 名 声 大 噪 。 C a s s a n d r a   于 2 0 1 0 年 成 为 了   A p a c h e   软 件 基 金 会 的 顶 级 项 目 ， 并 从 此 之 后 就 流 行 起 来 。 现 在 ， 只 要 你 有   C a s s a d r a   的 相 关 知 识 ， 找 工 作 时 就 能 轻 松 不 少 。 想 想 看 ， N o S Q L   语 言 和 开 源 技 术 能 达 到 企 业 级   S Q L   技 术 的 高 度 ， 真 让 人 觉 得 十 分 疯 狂 而 又 不 可 思 议 的 。 这 引 出 了 一 个 问 题 。 是 什 么 让 它 如 此 的 流 行 ？ 由 于 采 用 了 亚 马 逊 发 表 的   D y n a m o   论 文 [ 1 ] 中 率 先 提 出 的 设 计 ， C a s s a n d r a   有 能 力 在 大 规 模 的 硬 件 及 网 络 故 障 时 保 持 实 时 在 线 。 由 于 采 用 了 点 对 点 模 式 ， 在 没 有 单 点 故 障 的 情 况 下 ， 我 们 能 幸 免 于 机 架 故 障 甚 至 全 网 中 断 。 我 们 能 在 不 影 响 用 户 体 验 的 前 提 下 处 理 数 据 中 心 故 障 。 一 个 能 考 虑 到 故 障 的 分 布 式 系 统 才 是 一 个 没 有 后 顾 之 忧 的 分 布 式 系 统 ， 因 为 老 实 说 ， 故 障 是 迟 早 会 发 生 的 。 有 了   C a s s a n d r a ，   我 们 可 以 直 面 残 酷 的 生 活 并 将 之 融 入 数 据 库 的 结 构 和 功 能 中 。 我 们 能 猜 到 你 现 在 在 想 什 么 ， “ 但 我 只 有 关 系 数 据 库 相 关 背 景 ， 难 道 这 样 的 转 变 不 会 很 困 难 吗 ？ ” 这 问 题 的 答 案 介 于 是 和 不 是 之 间 。 使 用 C a s s a n d r a   建 立 数 据 模 型 对 有 关 系 数 据 库 背 景 的 开 发 者 而 言 是 轻 车 熟 路 。 我 们 使 用 表 格 来 建 立 数 据 模 型 ， 并 使 用   C Q L   （   C a s s a n d r a   查 询 语 言 ） 来 查 询 数 据 库 。 然 而 ， 与   S Q L   不 同 的 是 ， C a s s a n d r a   支 持 更 加 复 杂 的 数 据 结 构 ， 例 如 嵌 套 和 用 户 自 定 义 类 型 。 举 个 例 子 ， 当 要 储 存 对 一 个 小 猫 照 片 的 点 赞 数 目 时 ， 我 们 可 以 将 整 个 数 据 储 存 在 一 个 包 含 照 片 本 身 的 集 合 之 中 从 而 获 得 更 快 的 顺 序 查 找 而 不 是 建 立 一 个 独 立 的 表 。 这 样 的 表 述 在   C Q L   中 十 分 的 自 然 。 在 我 们 照 片 表 中 ， 我 们 需 要 记 录 名 字 ， U R L 以 及 给 此 照 片 点 赞 过 的 人 。
在 一 个 高 性 能 系 统 中 ， 毫 秒 级 处 理 都 能 对 用 户 体 验 和 客 户 维 系 产 生 影 响 。 昂 贵 的   J O I N   操 作 制 约 了 我 们 通 过 增 加 不 可 预 见 的 网 络 调 用 而 扩 容 的 能 力 。 当 我 们 将 数 据 反 范 式 化 使 其 能 通 过 尽 可 能 少 的 请 求 就 可 获 取 时 ， 我 们 即 可 从 磁 盘 空 间 成 本 的 降 低 中 获 益 并 获 得 可 预 期 的 、 高 性 能 应 用 。 我 们 将 反 范 式 化 同   C a s s a n d r a   一 同 介 绍 是 因 为 它 提 供 了 很 有 吸 引 力 的 的 折 衷 方 案 。 很 明 显 ， 我 们 不 会 局 限 于 对 于 小 猫 照 片 的 点 赞 数 量 。 C a n s s a n d r a   是 一 款 为 高 并 发 写 入 优 化 的 方 案 。 这 使 其 成 为 需 要 时 常 吞 吐 数 据 的 大 数 据 应 用 的 理 想 解 决 方 案 。 实 时 应 用 和 物 联 网 方 面 的 应 用 正 在 稳 步 增 长 ， 无 论 是 需 求 还 是 市 场 表 现 ， 我 们 也 会 不 断 的 利 用 我 们 收 集 到 的 数 据 来 寻 求 改 进 技 术 应 用 的 方 式 。 这 就 引 出 了 我 们 的 下 一 步 ， 我 们 已 经 提 到 了 如 何 以 一 种 现 代 的 、 性 价 比 高 的 方 式 储 存 数 据 ， 但 我 们 应 该 如 何 获 得 更 多 的 动 力 呢 ？ 具 体 而 言 ， 当 我 们 收 集 到 了 所 需 的 数 据 ， 我 们 应 该 怎 样 处 理 呢 ？ 如 何 才 能 有 效 的 分 析 几 百   T B   的 数 据 呢 ？ 如 何 才 能 实 时 的 对 我 们 所 收 集 到 的 信 息 进 行 反 馈 ， 并 在 几 秒 而 不 是 几 小 时 的 时 间 利 作 出 决 策 呢 ？ A p a c h e   S p a r k   将 给 我 们 答 案 。 S p a r k   是 大 数 据 变 革 中 的 下 一 步 。   H a d o o p   和   M a p R e d u c e   都 是 革 命 性 的 产 品 ， 它 们 让 大 数 据 界 获 得 了 分 析 所 有 我 们 所 取 得 的 数 据 的 机 会 。 S p a r k   对 性 能 的 大 幅 提 升 及 对 代 码 复 杂 度 的 大 幅 降 低 则 将 大 数 据 分 析 提 升 到 了 另 一 个 高 度 。 通 过   S p a r k ， 我 们 能 大 批 量 的 处 理 计 算 ， 对 流 处 理 进 行 快 速 反 应 ， 通 过 机 器 学 习 作 出 决 策 ， 并 通 过 图 遍 历 来 理 解 复 杂 的 递 归 关 系 。 这 并 非 只 是 为 你 的 客 户 提 供 与 快 捷 可 靠 的 应 用 程 序 连 接 （ C a s s a n d r a   已 经 提 供 了 这 样 的 功 能 ） ， 这 更 是 能 洞 悉   C a n s s a n d r a   所 储 存 的 数 据 ， 作 出 更 加 合 理 的 商 业 决 策 并 同 时 更 好 地 满 足 客 户 需 求 。 你 可 以 看 看   S p a r k - C a s s a n d r a   C o n n e c t o r [ 2 ]   ( 开 源 )   并 动 手 试 试 。 若 想 了 解 更 多 关 于 这 两 种 技 术 的 信 息 ， 我 们 强 烈 推 荐 名 为 D a t a S t a x   A c a d e m y [ 3 ]   的 自 学 课 程 v i a :   h t t p s : / / o p e n s o u r c e . c o m / l i f e / 1 6 / 5 / b a s i c s - c a s s a n d r a - a n d - s p a r k - d a t a - p r o c e s s i n g 作 者 ： J o n   H a d d a d [ 4 ] , D a n i   T r a p h a g e n [ 5 ]   译 者 ： K e v i n S J [ 6 ]   校 对 ： w x y [ 7 ] 本 文 由   L C T T [ 8 ]   原 创 编 译 ， L i n u x 中 国 [ 9 ]   荣 誉 推 出 [ 1 ] :   h t t p : / / w w w . a l l t h i n g s d i s t r i b u t e d . c o m / f i l e s / a m a z o n - d y n a m o - s o s p 2 0 0 7 . p d f [ 2 ] :   h t t p s : / / g i t h u b . c o m / d a t a s t a x / s p a r k - c a s s a n d r a - c o n n e c t o r [ 3 ] :   h t t p s : / / a c a d e m y . d a t a s t a x . c o m / [ 4 ] :   h t t p s : / / t w i t t e r . c o m / r u s t y r a z o r b l a d e [ 5 ] :   h t t p s : / / o p e n s o u r c e . c o m / u s e r s / d t r a p e z o i d [ 6 ] :   h t t p s : / / g i t h u b . c o m / K e v i n S J [ 7 ] :   h t t p s : / / g i t h u b . c o m / w x y [ 8 ] :   h t t p s : / / g i t h u b . c o m / L C T T / T r a n s l a t e P r o j e c t [ 9 ] :   h t t p s : / / l i n u x . c n / 推 荐 文 章 推 荐 文 章 点 击 标 题 或 输 入 文 章   I D   直 达 该 文 章
点 击 标 题 或 输 入 文 章   I D   直 达 该 文 章 将 文 章 分 享 给 朋 友 是 对 我 们 最 好 的 赞 赏 ！ 阅 读 原 文
回复

举报

高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

使用Markdown编辑器编辑 使用富文本编辑器编辑

Archiver| 手机版| 小黑屋|
Powered by Discuz! X3.4 Copyright © 2001-2020, Tencent Cloud. 商业源码建议获取授权，如侵犯您的权益，请联系客服处理