设为首页收藏本站
切换到窄版

 找回密码
 立即注册
搜索
热搜: 活动 交友 discuz
Nmaps Club»论坛 › Pentests Wiki › Wiki › 数据库 › [22371] 2014-01-31_大数据：编程语言真的重要吗？ ...
返回列表 发新帖
查看: 5|回复: 0

[22371] 2014-01-31_大数据：编程语言真的重要吗？

[复制链接]
s7ckTeam

6万

主题

-6万

回帖

-58

积分

管理员

积分
-58
发表于 5 天前 | 显示全部楼层 |阅读模式
2014-01-31_大数据：编程语言真的重要吗？ 大 数 据 ： 编 程 语 言 真 的 重 要 吗 ？ L i n u x 中 国   2 0 1 4 - 0 1 - 3 1 在 大 数 据 领 域 内 ， 每 一 毫 秒 的 性 能 损 失 都 影 响 巨 大 。 然 而 ， 像 P y t h o n 这 样 通 常 被 认 为 性 能 不 是 太 好 的 编 程 语 言 ， 在 过 去 一 年 中 却 变 得 越 来 越 流 行 了 。 大 数 据 社 区 最 近 出 现 的 一 些 文 章 和 讨 论 ， 又 一 次 点 燃 了 用 于 数 据 科 学 以 及 大 数 据 领 域 内 的 编 程 语 言 选 择 之 争 。 A d R o l l 的 首 席 工 程 师 V i l l e   T u u l o s 认 为 编 程 语 言 本 身 的 性 能 其 实 并 不 重 要 。 V i l l e 于 2 0 1 3 年 9 月 在 旧 金 山 将 自 己 的 调 查 发 现 发 布 到 了 一 个 m e e t u p 组 中 ， 向 我 们 展 示 了 A d R o l l 中 使 用 的 基 于 P y t h o n 构 建 的 后 端 架 构 ， 以 及 它 们 是 如 何 在 性 能 上 超 过 那 些 业 界 中 的 巨 头 （ 例 如 A m a z o n 的 R e d s h i f t ） 的 。 他 们 获 得 成 功 的 关 键 是 ， 整 个 系 统 是 基 于 他 们 自 己 非 常 特 殊 的 用 例 而 构 建 的 ， 因 此 可 以 针 对 那 种 用 例 进 行 优 化 。 正 如 V i l l e 所 说 ： 不 管 通 用 解 决 方 案 是 采 用 何 种 编 程 语 言 实 现 的 ， 你 都 可 以 使 用 一 种 高 级 编 程 语 言 来 快 速 地 实 现 出 一 个 性 能 比 通 用 方 案 更 好 的 ， 应 用 于 特 定 领 域 的 解 决 方 案 。 但 这 并 不 意 味 着 编 程 语 言 一 点 都 不 重 要 。 最 近 有 不 少 关 于 哪 种 语 言 最 适 合 数 据 科 学 和 大 数 据 领 域 的 争 论 ， 而 这 一 殊 荣 最 有 力 的 竞 争 者 就 是 P y t h o n 和 R 语 言 。 一 些 人 甚 至 把 它 说 成 是 数 据 科 学 领 域 内 的 一 场 战 争 。 在 L i n k e d I n 上 面 也 有 针 对 这 一 话 题 的 讨 论 ， 看 上 去 大 家 的 普 遍 共 识 是 ， R 语 言 是 一 种 学 术 性 语 言 ， “ 对 数 据 科 学 家 而 言 ， R 语 言 的 优 势 在 于 它 所 提 供 的 大 量 的 包 以 及 其 多 样 性 ” 。 但 是 对 于 海 量 数 据 处 理 这 一 块 ， 总 体 说 来 P y t h o n 受 到 更 多 程 序 员 的 青 睐 ， 正 如 来 自 D i s h   N e t w o r k 的 数 据 科 学 家 T o m   R a m p l e y 所 说 ： 我 经 常 使 用 R 语 言 的 各 种 包 中 所 提 供 的 统 计 功 能 。 我 还 使 用 它 在 小 规 模 的 数 据 集 上 面 执 行 各 种 数 据 操 作 。 但 是 对 于 文 本 解 析 、 大 数 据 集 上 的 数 据 操 作 以 及 编 写 自 己 的 算 法 这 些 任 务 来 说 ， 我 更 加 喜 欢 使 用 P y t h o n 并 结 合 使 用 它 的 N u m p y 、 S c i p y 和 P a n d a s 这 些 包 。 在 最 近 几 个 月 里 ， P y t h o n 似 乎 在 各 个 方 面 都 要 更 胜 一 筹 ， 正 如 K a r i s s a   M c K e l v e y 在 2 0 1 3 年 1 0 月 所 写 的 那 样 ， “ 我 的 数 据 太 大 了 ， 无 法 装 载 到 R 语 言 中 ” ， 还 有 M a t t   A s a y 也 声 称 ， “ 在 数 据 科 学 的 博 士 们 中 间 ， R 语 言 仍 然 很 受 欢 迎 ， 但 是 随 着 数 据 逐 渐 成 为 主 流 ， P y t h o n 正 在 接 替 R 语 言 的 地 位 ” 。 语 言 自 身 的 性 能 常 常 是 我 们 在 开 发 复 杂 架 构 时 决 定 到 底 使 用 哪 种 语 言 的 一 个 关 键 因 素 ， 而 且 这 一 因 素 常 常 被 过 度 夸 大 。 实 际 上 真 正 重 要 的 是 我 们 如 何 使 用 一 种 语 言 ， 正 如 L i n u s   T o r v a l d s 所 说 ， “ 低 水 平 的 程 序 员 总 在 关 心 代 码 ， 而 高 水 平 的 程 序 员 则 关 注 数 据 结 构 及 其 关 系 。 ” 以 C l o u d e r a 公 司 最 近 的 一 个 开 源 项 目 I m p a l a 为 例 ， 它 的 目 标 是 替 代 H i v e ， 使 查 询 速 度 提 高 一 个 数 量 级 。 他 们 选 择 使 用 了 C + + ， 而 其 他 所 有 的 H a d o o p 架 构 都 是 基 于 J a v a 的 ， 这 种 开 发 语 言 上 的 转 变 经 常 被 冠 以 某 些 与 性 能 相 关 的 原 因 。 但 实 际 上 这 里 的 性 能 提 升 不 是 简 单 地 来 自 从 J a v a 到 C + + 的 转 换 。 I m p a l a 甚 至 没 有 使 用 M a p R e d u c e ， 而 是 直 接 在 内 存 中 缓 存 数 据 ， 所 以 很 显 然 ， 这 里 的 性 能 改 善 主 要 源 于 它 采 用 了 带 有 不 同 数 据 结 构 和 限 制 的 一 个 完 全 不 同 的 范 型 。 这 里 由 J a v a 到 C + + 的 转 换 只 是 一 种 锦 上 添 花 的 工 作 ， 并 不 会 对 性 能 的 改 善 起 到 雪 中 送 炭 的 作 用 。 查 看 英 文 原 文 ： 查 看 英 文 原 文 ： B i g   D a t a :   D o   L a n g u a g e s   R e a l l y   M a t t e r ?  
v i a ：   h t t p : / / w w w . i n f o q . c o m / c n / n e w s / 2 0 1 4 / 0 1 / b i g d a t a - l a n g u a g e s ? u t m _ s o u r c e = i n f o q & u t m _ m e d i u m = p o p u l a r _ l i n k s _ h o m e p a g e   本 文 地 址 ： h t t p : / / l i n u x . c n / a r t i c l e - 2 5 3 0 - 1 . h t m l   阅 读 原 文
回复

举报

返回列表 发新帖
高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

使用Markdown编辑器编辑 使用富文本编辑器编辑

Archiver|手机版|小黑屋|Nmaps Club

GMT+8, 2025-1-23 10:46 , Processed in 0.152505 second(s), 29 queries .

Powered by Discuz! X3.5

© 2001-2025 Discuz! Team.

快速回复 返回顶部 返回列表