设为首页收藏本站
切换到窄版

 找回密码
 立即注册
搜索
热搜: 活动 交友 discuz
Nmaps Club»论坛 › Pentests Wiki › Wiki › 数据库 › [24179] 2015-08-11_Hadoop和大数据：60款顶级开源工具 ...
返回列表 发新帖
查看: 1|回复: 0

[24179] 2015-08-11_Hadoop和大数据：60款顶级开源工具

[复制链接]
s7ckTeam

6万

主题

-6万

回帖

-58

积分

管理员

积分
-58
发表于 5 天前 | 显示全部楼层 |阅读模式
2015-08-11_Hadoop和大数据：60款顶级开源工具 H a d o o p 和 大 数 据 ： 6 0 款 顶 级 开 源 工 具 L i n u x 中 国   2 0 1 5 - 0 8 - 1 1 说 到 处 理 大 数 据 的 工 具 ， 普 通 的 开 源 解 决 方 案 （ 尤 其 是 A p a c h e   H a d o o p ） 堪 称 中 流 砥 柱 。 弗 雷 斯 特 调 研 公 司 的 分 析 师 M i k e   G u a l t i e r i 最 近 预 测 ， 在 接 下 来 几 年 ， “ 1 0 0 % 的 大 公 司 ” 会 采 用 H a d o o p 。 M a r k e t   R e s e a r c h 的 一 份 报 告 预 测 ， 到 2 0 1 1 年 ， H a d o o p 市 场 会 以 5 8 % 的 年 复 合 增 长 率 （ C A G R ） 高 速 增 长 ； 到 2 0 2 0 年 ， 市 场 产 值 会 超 过 1 0 亿 美 元 。 I B M 更 是 非 常 看 好 开 源 大 数 据 工 具 ， 派 出 了 3 5 0 0 名 研 究 人 员 开 发 A p a c h e   S p a r k ， 这 个 工 具 是 H a d o o p 生 态 系 统 的 一 部 分 。 这 回 我 们 推 出 了 最 新 的 顶 级 开 源 大 数 据 工 具 排 行 榜 。 这 个 领 域 最 近 方 兴 未 艾 ， 许 多 新 项 目 纷 纷 启 动 。 许 多 最 知 名 的 项 目 由 A p a c h e 基 金 会 管 理 ， 与 H a d o o p 密 切 相 关 。 请 注 意 ： 本 文 不 是 要 搞 什 么 排 名 ； 相 反 ， 项 目 按 类 别 加 以 介 绍 。 与 往 常 一 样 ， 要 是 你 知 道 另 外 的 开 源 大 数 据 及 / 或 H a d o o p 工 具 应 该 榜 上 有 名 ， 欢 迎 留 言 交 流 。 一 、 一 、 H a d o o p 相 关 工 具 相 关 工 具 1 .   H a d o o p A p a c h e 的 H a d o o p 项 目 已 几 乎 与 大 数 据 划 上 了 等 号 。 它 不 断 壮 大 起 来 ， 已 成 为 一 个 完 整 的 生 态 系 统 ， 众 多 开 源 工 具 面 向 高 度 扩 展 的 分 布 式 计 算 。 支 持 的 操 作 系 统 ： W i n d o w s 、 L i n u x 和 O S   X 。 相 关 链 接 ：   h t t p : / / h a d o o p . a p a c h e . o r g 2 .   A m b a r i 作 为 H a d o o p 生 态 系 统 的 一 部 分 ， 这 个 A p a c h e 项 目 提 供 了 基 于 W e b 的 直 观 界 面 ， 可 用 于 配 置 、 管 理 和 监 控 H a d o o p 集 群 。 有 些 开 发 人 员 想 把 A m b a r i 的 功 能 整 合 到 自 己 的 应 用 程 序 当 中 ， A m b a r i 也 为 他 们 提 供 了 充 分 利 用 R E S T （ 代 表 性 状 态 传 输 协 议 ） 的 A P I 。 支 持 的 操 作 系 统 ： W i n d o w s 、 L i n u x 和 O S   X 。
相 关 链 接 ：   h t t p : / / a m b a r i . a p a c h e . o r g 3 .   A v r o 这 个 A p a c h e 项 目 提 供 了 数 据 序 列 化 系 统 ， 拥 有 丰 富 的 数 据 结 构 和 紧 凑 格 式 。 模 式 用 J S O N 来 定 义 ， 它 很 容 易 与 动 态 语 言 整 合 起 来 。 支 持 的 操 作 系 统 ： 与 操 作 系 统 无 关 。 相 关 链 接 ：   h t t p : / / a v r o . a p a c h e . o r g 4 .   C a s c a d i n g C a s c a d i n g 是 一 款 基 于 H a d o o p 的 应 用 程 序 开 发 平 台 。 提 供 商 业 支 持 和 培 训 服 务 。 支 持 的 操 作 系 统 ： 与 操 作 系 统 无 关 。 相 关 链 接 ：   h t t p : / / w w w . c a s c a d i n g . o r g / p r o j e c t s / c a s c a d i n g / 5 .   C h u k w a C h u k w a 基 于 H a d o o p ， 可 以 收 集 来 自 大 型 分 布 式 系 统 的 数 据 ， 用 于 监 控 。 它 还 含 有 用 于 分 析 和 显 示 数 据 的 工 具 。 支 持 的 操 作 系 统 ： L i n u x 和 O S   X 。 相 关 链 接 ：   h t t p : / / c h u k w a . a p a c h e . o r g 6 .   F l u m e F l u m e 可 以 从 其 他 应 用 程 序 收 集 日 志 数 据 ， 然 后 将 这 些 数 据 送 入 到 H a d o o p 。 官 方 网 站 声 称 ： “ 它 功 能 强 大 、 具 有 容 错 性 ， 还 拥 有 可 以 调 整 优 化 的 可 靠 性 机 制 和 许 多 故 障 切 换 及 恢 复 机 制 。 ” 支 持 的 操 作 系 统 ： L i n u x 和 O S   X 。 相 关 链 接 ：   h t t p s : / / c w i k i . a p a c h e . o r g / c o n f l u e n c e / d i s p l a y / F L U M E / H o m e 7 .   H B a s e H B a s e 是 为 有 数 十 亿 行 和 数 百 万 列 的 超 大 表 设 计 的 ， 这 是 一 种 分 布 式 数 据 库 ， 可 以 对 大 数 据 进 行 随 机 性 的 实 时 读 取 / 写 入 访 问 。 它 有 点 类 似 谷 歌 的 B i g t a b l e ， 不 过 基 于 H a d o o p 和 H a d o o p 分 布 式 文 件 系 统 （ H D F S ） 而 建 。 支 持 的 操 作 系 统 ： 与 操 作 系 统 无 关 。 相 关 链 接 ：   h t t p : / / h b a s e . a p a c h e . o r g 8 .   H a d o o p 分 布 式 文 件 系 统 （ 分 布 式 文 件 系 统 （ H D F S ） ） H D F S 是 面 向 H a d o o p 的 文 件 系 统 ， 不 过 它 也 可 以 用 作 一 种 独 立 的 分 布 式 文 件 系 统 。 它 基 于 J a v a ， 具 有 容 错 性 、 高 度 扩 展 性 和 高 度 配 置 性 。 支 持 的 操 作 系 统 ： W i n d o w s 、 L i n u x 和 O S   X 。 相 关 链 接 ：   h t t p s : / / h a d o o p . a p a c h e . o r g / d o c s / s t a b l e / h a d o o p - p r o j e c t - d i s t / h a d o o p - h d f s / H d f s U s e r G u i d e . h t m l 9 .   H i v e A p a c h e   H i v e 是 面 向 H a d o o p 生 态 系 统 的 数 据 仓 库 。 它 让 用 户 可 以 使 用 H i v e Q L 查 询 和 管 理 大 数 据 ， 这 是 一 种 类 似 S Q L 的 语 言 。 支 持 的 操 作 系 统 ： 与 操 作 系 统 无 关 。 相 关 链 接 ：   h t t p : / / h i v e . a p a c h e . o r g
1 0 .   H i v e m a l l H i v e m a l l 结 合 了 面 向 H i v e 的 多 种 机 器 学 习 算 法 。 它 包 括 诸 多 高 度 扩 展 性 算 法 ， 可 用 于 数 据 分 类 、 递 归 、 推 荐 、 k 最 近 邻 、 异 常 检 测 和 特 征 哈 希 。 支 持 的 操 作 系 统 ： 与 操 作 系 统 无 关 。 相 关 链 接 ：   h t t p s : / / g i t h u b . c o m / m y u i / h i v e m a l l 1 1 .   M a h o u t 据 官 方 网 站 声 称 ， M a h o u t 项 目 的 目 的 是 “ 为 迅 速 构 建 可 扩 展 、 高 性 能 的 机 器 学 习 应 用 程 序 打 造 一 个 环 境 。 ” 它 包 括 用 于 在 H a d o o p   M a p R e d u c e 上 进 行 数 据 挖 掘 的 众 多 算 法 ， 还 包 括 一 些 面 向 S c a l a 和 S p a r k 环 境 的 新 颖 算 法 。 支 持 的 操 作 系 统 ： 与 操 作 系 统 无 关 。 相 关 链 接 ：   h t t p : / / m a h o u t . a p a c h e . o r g 1 2 .   M a p R e d u c e 作 为 H a d o o p 一 个 不 可 或 缺 的 部 分 ， M a p R e d u c e 这 种 编 程 模 型 为 处 理 大 型 分 布 式 数 据 集 提 供 了 一 种 方 法 。 它 最 初 是 由 谷 歌 开 发 的 ， 但 现 在 也 被 本 文 介 绍 的 另 外 几 个 大 数 据 工 具 所 使 用 ， 包 括 C o u c h D B 、 M o n g o D B 和 R i a k 。 支 持 的 操 作 系 统 ： 与 操 作 系 统 无 关 。 相 关 链 接 ：   h t t p : / / h a d o o p . a p a c h e . o r g / d o c s / c u r r e n t / h a d o o p - m a p r e d u c e - c l i e n t / h a d o o p - m a p r e d u c e - c l i e n t - c o r e / M a p R e d u c e T u t o r i a l . h t m l 1 3 .   O o z i e 这 种 工 作 流 程 调 度 工 具 是 为 了 管 理 H a d o o p 任 务 而 专 门 设 计 的 。 它 能 够 按 照 时 间 或 按 照 数 据 可 用 情 况 触 发 任 务 ， 并 与 M a p R e d u c e 、 P i g 、 H i v e 、 S q o o p 及 其 他 许 多 相 关 工 具 整 合 起 来 。 支 持 的 操 作 系 统 ： L i n u x 和 O S   X 。 相 关 链 接 ：   h t t p : / / o o z i e . a p a c h e . o r g 1 4 .   P i g A p a c h e   P i g 是 一 种 面 向 分 布 式 大 数 据 分 析 的 平 台 。 它 依 赖 一 种 名 为 P i g   L a t i n 的 编 程 语 言 ， 拥 有 简 化 的 并 行 编 程 、 优 化 和 可 扩 展 性 等 优 点 。 支 持 的 操 作 系 统 ： 与 操 作 系 统 无 关 。 相 关 链 接 ：   h t t p : / / p i g . a p a c h e . o r g 1 5 .   S q o o p 企 业 经 常 需 要 在 关 系 数 据 库 与 H a d o o p 之 间 传 输 数 据 ， 而 S q o o p 就 是 能 完 成 这 项 任 务 的 一 款 工 具 。 它 可 以 将 数 据 导 入 到 H i v e 或 H B a s e ， 并 从 H a d o o p 导 出 到 关 系 数 据 库 管 理 系 统 （ R D B M S ） 。 支 持 的 操 作 系 统 ： 与 操 作 系 统 无 关 。 相 关 链 接 ：   h t t p : / / s q o o p . a p a c h e . o r g 1 6 .   S p a r k 作 为 M a p R e d u c e 之 外 的 一 种 选 择 ， S p a r k 是 一 种 数 据 处 理 引 擎 。 它 声 称 ， 用 在 内 存 中 时 ， 其 速 度 比 M a p R e d u c e 最 多 快 1 0 0 倍 ； 用 在 磁 盘 上 时 ， 其 速 度 比 M a p R e d u c e 最 多 快 1 0 倍 。 它 可 以 与 H a d o o p 和 A p a c h e   M e s o s 一 起 使 用 ， 也 可 以 独 立 使 用 。
支 持 的 操 作 系 统 ： W i n d o w s 、 L i n u x 和 O S   X 。 相 关 链 接 ：   h t t p : / / s p a r k . a p a c h e . o r g 1 7 .   T e z T e z 建 立 在 A p a c h e   H a d o o p   Y A R N 的 基 础 上 ， 这 是 “ 一 种 应 用 程 序 框 架 ， 允 许 为 任 务 构 建 一 种 复 杂 的 有 向 无 环 图 ， 以 便 处 理 数 据 。 ” 它 让 H i v e 和 P i g 可 以 简 化 复 杂 的 任 务 ， 而 这 些 任 务 原 本 需 要 多 个 步 骤 才 能 完 成 。 支 持 的 操 作 系 统 ： W i n d o w s 、 L i n u x 和 O S   X 。 相 关 链 接 ：   h t t p : / / t e z . a p a c h e . o r g 1 8 .   Z o o k e e p e r 这 种 大 数 据 管 理 工 具 自 称 是 “ 一 项 集 中 式 服 务 ， 可 用 于 维 护 配 置 信 息 、 命 名 、 提 供 分 布 式 同 步 以 及 提 供 群 组 服 务 。 ” 它 让 H a d o o p 集 群 里 面 的 节 点 可 以 彼 此 协 调 。 支 持 的 操 作 系 统 ： L i n u x 、 W i n d o w s （ 只 适 合 开 发 环 境 ） 和 O S   X （ 只 适 合 开 发 环 境 ） 。 相 关 链 接 ：   h t t p : / / z o o k e e p e r . a p a c h e . o r g 二 、 大 数 据 分 析 平 台 和 工 具 二 、 大 数 据 分 析 平 台 和 工 具 1 9 .   D i s c o D i s c o 最 初 由 诺 基 亚 开 发 ， 这 是 一 种 分 布 式 计 算 框 架 ， 与 H a d o o p 一 样 ， 它 也 基 于 M a p R e d u c e 。 它 包 括 一 种 分 布 式 文 件 系 统 以 及 支 持 数 十 亿 个 键 和 值 的 数 据 库 。 支 持 的 操 作 系 统 ： L i n u x 和 O S   X 。 相 关 链 接 ：   h t t p : / / d i s c o p r o j e c t . o r g 2 0 .   H P C C 作 为 H a d o o p 之 外 的 一 种 选 择 ， H P C C 这 种 大 数 据 平 台 承 诺 速 度 非 常 快 ， 扩 展 性 超 强 。 除 了 免 费 社 区 版 外 ， H P C C   S y s t e m s 还 提 供 收 费 的 企 业 版 、 收 费 模 块 、 培 训 、 咨 询 及 其 他 服 务 。 支 持 的 操 作 系 统 ： L i n u x 。 相 关 链 接 ：   h t t p : / / h p c c s y s t e m s . c o m 2 1 .   L u m i f y L u m i f y 归 A l t a m i r a 科 技 公 司 （ 以 国 家 安 全 技 术 而 闻 名 ） 所 有 ， 这 是 一 种 开 源 大 数 据 整 合 、 分 析 和 可 视 化 平 台 。 你 只 要 在 T r y . L u m i f y . i o 试 一 下 演 示 版 ， 就 能 看 看 它 的 实 际 效 果 。 支 持 的 操 作 系 统 ： L i n u x 。 相 关 链 接 ：   h t t p : / / w w w . j b o s s . o r g / i n f i n i s p a n . h t m l 2 2 .   P a n d a s P a n d a s 项 目 包 括 基 于 P y t h o n 编 程 语 言 的 数 据 结 构 和 数 据 分 析 工 具 。 它 让 企 业 组 织 可 以 将 P y t h o n 用 作 R 之 外 的 一 种 选 择 ， 用 于 大 数 据 分 析 项 目 。 支 持 的 操 作 系 统 ： W i n d o w s 、 L i n u x 和 O S   X 。
相 关 链 接 ：   h t t p : / / p a n d a s . p y d a t a . o r g 2 3 .   S t o r m S t o r m 现 在 是 一 个 A p a c h e 项 目 ， 它 提 供 了 实 时 处 理 大 数 据 的 功 能 （ 不 像 H a d o o p 只 提 供 批 任 务 处 理 ） 。 其 用 户 包 括 推 特 、 美 国 天 气 频 道 、 W e b M D 、 阿 里 巴 巴 、 Y e l p 、 雅 虎 日 本 、 S p o t i f y 、 G r o u p 、 F l i p b o a r d 及 其 他 许 多 公 司 。 支 持 的 操 作 系 统 ： L i n u x 。 相 关 链 接 ：   h t t p s : / / s t o r m . a p a c h e . o r g 三 、 数 据 库 三 、 数 据 库 / 数 据 仓 库 数 据 仓 库 2 4 .   B l a z e g r a p h B l a z e g r a p h 之 前 名 为 “ B i g d a t a ” ， 这 是 一 种 高 度 扩 展 、 高 性 能 的 数 据 库 。 它 既 有 使 用 开 源 许 可 证 的 版 本 ， 也 有 使 用 商 业 许 可 证 的 版 本 。 支 持 的 操 作 系 统 ： 与 操 作 系 统 无 关 。 相 关 链 接 ：   h t t p : / / w w w . s y s t a p . c o m / b i g d a t a 2 5 .   C a s s a n d r a 这 种 N o S Q L 数 据 库 最 初 由 F a c e b o o k 开 发 ， 现 已 被 1 5 0 0 多 家 企 业 组 织 使 用 ， 包 括 苹 果 、 欧 洲 原 子 核 研 究 组 织 （ C E R N ） 、 康 卡 斯 特 、 电 子 港 湾 、 G i t H u b 、 G o D a d d y 、 H u l u 、 I n s t a g r a m 、 I n t u i t 、 N e t f i l x 、 R e d d i t 及 其 他 机 构 。 它 能 支 持 超 大 规 模 集 群 ； 比 如 说 ， 苹 果 部 署 的 C a s s a n d r a 系 统 就 包 括 7 5 0 0 0 多 个 节 点 ， 拥 有 的 数 据 量 超 过 1 0   P B 。 支 持 的 操 作 系 统 ： 与 操 作 系 统 无 关 。 相 关 链 接 ：   h t t p : / / c a s s a n d r a . a p a c h e . o r g 2 6 .   C o u c h D B C o u c h D B 号 称 是 “ 一 款 完 全 拥 抱 互 联 网 的 数 据 库 ” ， 它 将 数 据 存 储 在 J S O N 文 档 中 ， 这 种 文 档 可 以 通 过 W e b 浏 览 器 来 查 询 ， 并 且 用 J a v a S c r i p t 来 处 理 。 它 易 于 使 用 ， 在 分 布 式 上 网 络 上 具 有 高 可 用 性 和 高 扩 展 性 。 支 持 的 操 作 系 统 ： W i n d o w s 、 L i n u x 、 O S   X 和 安 卓 。 相 关 链 接 ：   h t t p : / / c o u c h d b . a p a c h e . o r g 2 7 .   F l o c k D B 由 推 特 开 发 的 F l o c k D B 是 一 种 非 常 快 、 扩 展 性 非 常 好 的 图 形 数 据 库 ， 擅 长 存 储 社 交 网 络 数 据 。 虽 然 它 仍 可 用 于 下 载 ， 但 是 这 个 项 目 的 开 源 版 已 有 一 段 时 间 没 有 更 新 了 。 支 持 的 操 作 系 统 ： 与 操 作 系 统 无 关 。 相 关 链 接 ：   h t t p s : / / g i t h u b . c o m / t w i t t e r / f l o c k d b 2 8 .   H i b a r i 这 个 基 于 E r l a n g 的 项 目 自 称 是 “ 一 种 分 布 式 有 序 键 值 存 储 系 统 ， 保 证 拥 有 很 强 的 一 致 性 ” 。 它 最 初 是 由 G e m i n i   M o b i l e   T e c h n o l o g i e s 开 发 的 ， 现 在 已 被 欧 洲 和 亚 洲 的 几 家 电 信 运 营 商 所 使 用 。 支 持 的 操 作 系 统 ： 与 操 作 系 统 无 关 。 相 关 链 接 ：   h t t p : / / h i b a r i . g i t h u b . i o / h i b a r i - d o c /
2 9 .   H y p e r t a b l e H y p e r t a b l e 是 一 种 与 H a d o o p 兼 容 的 大 数 据 数 据 库 ， 承 诺 性 能 超 高 ， 其 用 户 包 括 电 子 港 湾 、 百 度 、 高 朋 、 Y e l p 及 另 外 许 多 互 联 网 公 司 。 提 供 商 业 支 持 服 务 。 支 持 的 操 作 系 统 ： L i n u x 和 O S   X 。 相 关 链 接 ：   h t t p : / / h y p e r t a b l e . o r g 3 0 .   I m p a l a C l o u d e r a 声 称 ， 基 于 S Q L 的 I m p a l a 数 据 库 是 “ 面 向 A p a c h e   H a d o o p 的 领 先 的 开 源 分 析 数 据 库 ” 。 它 可 以 作 为 一 款 独 立 产 品 来 下 载 ， 又 是 C l o u d e r a 的 商 业 大 数 据 产 品 的 一 部 分 。 支 持 的 操 作 系 统 ： L i n u x 和 O S   X 。 相 关 链 接 ：   h t t p : / / w w w . c l o u d e r a . c o m / c o n t e n t / c l o u d e r a / e n / p r o d u c t s - a n d - s e r v i c e s / c d h / i m p a l a . h t m l 3 1 .   I n f o B r i g h t 社 区 版 社 区 版 I n f o B r i g h t 为 数 据 分 析 而 设 计 ， 这 是 一 种 面 向 列 的 数 据 库 ， 具 有 很 高 的 压 缩 比 。 I n f o B r i g h t . c o m 提 供 基 于 同 一 代 码 的 收 费 产 品 ， 提 供 支 持 服 务 。 支 持 的 操 作 系 统 ： W i n d o w s 和 L i n u x 。 相 关 链 接 ：   h t t p : / / w w w . i n f o b r i g h t . o r g 3 2 .   M o n g o D B m o n g o D B 的 下 载 量 已 超 过 1 0 0 0 万 人 次 ， 这 是 一 种 极 其 受 欢 迎 的 N o S Q L 数 据 库 。 M o n g o D B . c o m 上 提 供 了 企 业 版 、 支 持 、 培 训 及 相 关 产 品 和 服 务 。 支 持 的 操 作 系 统 ： W i n d o w s 、 L i n u x 、 O S   X 和 S o l a r i s 。 相 关 链 接 ：   h t t p : / / w w w . m o n g o d b . o r g 3 3 .   N e o 4 j N e o 4 j 自 称 是 “ 速 度 最 快 、 扩 展 性 最 佳 的 原 生 图 形 数 据 库 ” ， 它 承 诺 具 有 大 规 模 扩 展 性 、 快 速 的 密 码 查 询 性 能 和 经 过 改 进 的 开 发 效 率 。 用 户 包 括 电 子 港 湾 、 必 能 宝 （ P i t n e y   B o w e s ） 、 沃 尔 玛 、 德 国 汉 莎 航 空 公 司 和 C r u n c h B a s e 。 支 持 的 操 作 系 统 ： W i n d o w s 和 L i n u x 。 相 关 链 接 ：   h t t p : / / n e o 4 j . o r g 3 4 .   O r i e n t D B 这 款 多 模 型 数 据 库 结 合 了 图 形 数 据 库 的 一 些 功 能 和 文 档 数 据 库 的 一 些 功 能 。 提 供 收 费 支 持 、 培 训 和 咨 询 等 服 务 。 支 持 的 操 作 系 统 ： 与 操 作 系 统 无 关 。 相 关 链 接 ：   h t t p : / / w w w . o r i e n t d b . o r g / i n d e x . h t m 3 5 .   P i v o t a l   G r e e n p l u m   D a t a b a s e P i v o t a l 声 称 ， G r e e n p l u m 是 “ 同 类 中 最 佳 的 企 业 级 分 析 数 据 库 ” ， 能 够 非 常 快 速 地 对 庞 大 的 海 量 数 据 进 行 功 能 强 大 的 分 析 。 它 是 P i v o t a l 大 数 据 库 套 件 的 一 部 分 。
支 持 的 操 作 系 统 ： W i n d o w s 、 L i n u x 和 O S   X 。 相 关 链 接 ：   h t t p : / / p i v o t a l . i o / b i g - d a t a / p i v o t a l - g r e e n p l u m - d a t a b a s e 3 6 .   R i a k R i a k “ 功 能 完 备 ” ， 有 两 个 版 本 ： K V 是 分 布 式 N o S Q L 数 据 库 ， S 2 提 供 了 面 向 云 环 境 的 对 象 存 储 。 它 既 有 开 源 版 ， 也 有 商 业 版 ， 还 有 支 持 S p a r k 、 R e d i s 和 S o l r 的 附 件 。 支 持 的 操 作 系 统 ： L i n u x 和 O S   X 。 相 关 链 接 ：   h t t p : / / b a s h o . c o m / r i a k - 0 - 1 0 - i s - f u l l - o f - g r e a t - s t u f f / 3 7 .   R e d i s R e d i s 现 在 由 P i v o t a l 赞 助 ， 这 是 一 种 键 值 缓 存 和 存 储 系 统 。 提 供 收 费 支 持 。 要 注 意 ： 虽 然 该 项 目 并 不 正 式 支 持 W i n d o w s ， 不 过 微 软 在 G i t H u b 上 有 一 个 W i n d o w s 派 生 版 。 支 持 的 操 作 系 统 ： L i n u x 。 相 关 链 接 ：   h t t p : / / r e d i s . i o 四 、 商 业 智 能 四 、 商 业 智 能 3 8 .   T a l e n d   O p e n   S t u d i o T a l e n d 的 下 载 量 已 超 过 2 0 0 万 人 次 ， 其 开 源 软 件 提 供 了 数 据 整 合 功 能 。 该 公 司 还 开 发 收 费 的 大 数 据 、 云 、 数 据 整 合 、 应 用 程 序 整 合 和 主 数 据 管 理 等 工 具 。 其 用 户 包 括 美 国 国 际 集 团 （ A I G ） 、 康 卡 斯 特 、 电 子 港 湾 、 通 用 电 气 、 三 星 、 T i c k e t m a s t e r 和 韦 里 逊 等 企 业 组 织 。 支 持 的 操 作 系 统 ： W i n d o w s 、 L i n u x 和 O S   X 。 相 关 链 接 ：   h t t p : / / w w w . t a l e n d . c o m / i n d e x . p h p 3 9 .   J a s p e r s o f t J a s p e r s o f t 提 供 了 灵 活 、 可 嵌 入 的 商 业 智 能 工 具 ， 用 户 包 括 众 多 企 业 组 织 ： 高 朋 、 冠 群 科 技 、 美 国 农 业 部 、 爱 立 信 、 时 代 华 纳 有 线 电 视 、 奥 林 匹 克 钢 铁 、 内 斯 拉 斯 加 大 学 和 通 用 动 力 公 司 。 除 了 开 源 社 区 版 外 ， 它 还 提 供 收 费 的 报 表 版 、 亚 马 逊 网 络 服 务 （ A W S ） 版 、 专 业 版 和 企 业 版 。 支 持 的 操 作 系 统 ： 与 操 作 系 统 无 关 。 相 关 链 接 ：   h t t p : / / w w w . j a s p e r s o f t . c o m 4 0 .   P e n t a h o P e n t a h o 归 日 立 数 据 系 统 公 司 所 有 ， 它 提 供 了 一 系 列 数 据 整 合 和 业 务 分 析 工 具 。 官 方 网 站 上 提 供 了 三 个 社 区 版 ； 访 问 P e n t a h o . c o m ， 即 可 了 解 收 费 支 持 版 方 面 的 信 息 。 支 持 的 操 作 系 统 ： W i n d o w s 、 L i n u x 和 O S   X 。 相 关 链 接 ：   h t t p : / / c o m m u n i t y . p e n t a h o . c o m 4 1 .   S p a g o B I S p a g o 被 市 场 分 析 师 们 称 为 “ 开 源 领 袖 ” ， 它 提 供 商 业 智 能 、 中 间 件 和 质 量 保 证 软 件 ， 另 外 还 提 供 J a v a   E E 应 用 程 序 开 发 框 架 。 该 软 件 百 分 之 分 免 费 、 开 源 ， 不 过 也 提 供 收 费 的 支 持 、 咨 询 、 培 训 及 其 他 服 务 。 支 持 的 操 作 系 统 ： 与 操 作 系 统 无 关 。
相 关 链 接 ：   h t t p : / / w w w . s p a g o w o r l d . o r g / x w i k i / b i n / v i e w / S p a g o W o r l d / 4 2 .   K N I M E K N I M E 的 全 称 是 “ 康 斯 坦 茨 信 息 挖 掘 工 具 ” （ K o n s t a n z   I n f o r m a t i o n   M i n e r ） ， 这 是 一 种 开 源 分 析 和 报 表 平 台 。 提 供 了 几 个 商 业 和 开 源 扩 展 件 ， 以 增 强 其 功 能 。 支 持 的 操 作 系 统 ： W i n d o w s 、 L i n u x 和 O S   X 。 相 关 链 接 ：   h t t p : / / w w w . k n i m e . o r g 4 3 .   B I R T B I R T 的 全 称 是 “ 商 业 智 能 和 报 表 工 具 ” 。 它 提 供 的 一 种 平 台 可 用 于 制 作 可 以 嵌 入 到 应 用 程 序 和 网 站 中 的 可 视 化 元 素 及 报 表 。 它 是 E c l i p s e 社 区 的 一 部 分 ， 得 到 了 A c t u a t e 、 I B M 和 I n n o v e n t   S o l u t i o n s 的 支 持 。 支 持 的 操 作 系 统 ： 与 操 作 系 统 无 关 。 相 关 链 接 ：   h t t p : / / w w w . e c l i p s e . o r g / b i r t / 五 、 数 据 挖 掘 五 、 数 据 挖 掘 4 4 . D a t a M e l t 作 为 j H e p W o r k 的 后 续 者 ， D a t a M e l t 可 以 处 理 数 学 运 算 、 数 据 挖 掘 、 统 计 分 析 和 数 据 可 视 化 等 任 务 。 它 支 持 J a v a 及 相 关 的 编 程 语 言 ， 包 括 J y t h o n 、 G r o o v y 、 J R u b y 和 B e a n s h e l l 。 支 持 的 操 作 系 统 ： 与 操 作 系 统 无 关 。 相 关 链 接 ：   h t t p : / / j w o r k . o r g / d m e l t / 4 5 .   K E E L K E E L 的 全 称 是 “ 基 于 进 化 学 习 的 知 识 提 取 ” ， 这 是 一 种 基 于 J a v a 的 机 器 学 习 工 具 ， 为 一 系 列 大 数 据 任 务 提 供 了 算 法 。 它 还 有 助 于 评 估 算 法 在 处 理 递 归 、 分 类 、 集 群 、 模 式 挖 掘 及 类 似 任 务 时 的 效 果 。 支 持 的 操 作 系 统 ： 与 操 作 系 统 无 关 。 相 关 链 接 ：   h t t p : / / k e e l . e s 4 6 .   O r a n g e O r a n g e 认 为 数 据 挖 掘 应 该 是 “ 硕 果 累 累 、 妙 趣 横 生 ” ， 无 论 你 是 有 多 年 的 丰 富 经 验 ， 还 是 刚 开 始 接 触 这 个 领 域 。 它 提 供 了 可 视 化 编 程 和 P y t h o n 脚 本 工 具 ， 可 用 于 数 据 可 视 化 和 分 析 。 支 持 的 操 作 系 统 ： W i n d o w s 、 L i n u x 和 O S   X 。 相 关 链 接 ：   h t t p : / / o r a n g e . b i o l a b . s i 4 7 .   R a p i d M i n e r R a p i d M i n e r 声 称 拥 有 2 5 0 0 0 0 多 个 用 户 ， 包 括 贝 宝 、 德 勤 、 电 子 港 湾 、 思 科 和 大 众 。 它 提 供 一 系 列 广 泛 的 开 源 版 和 收 费 版 ， 不 过 要 注 意 ： 免 费 的 开 源 版 只 支 持 C S V 格 式 或 E x c e l 格 式 的 数 据 。 支 持 的 操 作 系 统 ： 与 操 作 系 统 无 关 。 相 关 链 接 ：   h t t p s : / / r a p i d m i n e r . c o m
4 8 .   R a t t l e R a t t l e 的 全 称 是 “ 易 学 易 用 的 R 分 析 工 具 ” 。 它 为 R 编 程 语 言 提 供 了 一 种 图 形 化 界 面 ， 简 化 了 这 些 过 程 ： 构 建 数 据 的 统 计 或 可 视 化 摘 要 、 构 建 模 型 以 及 执 行 数 据 转 换 。 支 持 的 操 作 系 统 ： W i n d o w s 、 L i n u x 和 O S   X 。 相 关 链 接 ：   h t t p : / / r a t t l e . t o g a w a r e . c o m 4 9 .   S P M F S P M F 现 在 包 括 9 3 种 算 法 ， 可 用 于 顺 序 模 式 挖 掘 、 关 联 规 则 挖 掘 、 项 集 挖 掘 、 顺 序 规 则 挖 掘 和 集 群 。 它 可 以 独 立 使 用 ， 也 可 以 整 合 到 其 他 基 于 J a v a 的 程 序 中 。 支 持 的 操 作 系 统 ： 与 操 作 系 统 无 关 。 相 关 链 接 ：   h t t p : / / w w w . p h i l i p p e - f o u r n i e r - v i g e r . c o m / s p m f / 5 0 .   W e k a 怀 卡 托 知 识 分 析 环 境 （ W e k a ） 是 一 组 基 于 J a v a 的 机 器 学 习 算 法 ， 面 向 数 据 挖 掘 。 它 可 以 执 行 数 据 预 处 理 、 分 类 、 递 归 、 集 群 、 关 联 规 则 和 可 视 化 。 支 持 的 操 作 系 统 ： W i n d o w s 、 L i n u x 和 O S   X 。 相 关 链 接 ：   h t t p : / / w w w . c s . w a i k a t o . a c . n z / ~ m l / w e k a / 六 、 查 询 引 擎 六 、 查 询 引 擎 5 1 .   D r i l l 这 个 A p a c h e 项 目 让 用 户 可 以 使 用 基 于 S Q L 的 查 询 ， 查 询 H a d o o p 、 N o S Q L 数 据 库 和 云 存 储 服 务 。 它 可 用 于 数 据 挖 掘 和 即 席 查 询 ， 它 支 持 一 系 列 广 泛 的 数 据 库 ， 包 括 H B a s e 、 M o n g o D B 、 M a p R - D B 、 H D F S 、 M a p R - F S 、 亚 马 逊 S 3 、 A z u r e   B l o b   S t o r a g e 、 谷 歌 云 存 储 和 S w i f t 。 支 持 的 操 作 系 统 ： W i n d o w s 、 L i n u x 和 O S   X 。 相 关 链 接 ：   h t t p : / / d r i l l . a p a c h e . o r g 七 、 编 程 语 言 七 、 编 程 语 言 5 2 .   R R 类 似 S 语 言 和 环 境 ， 旨 在 处 理 统 计 计 算 和 图 形 。 它 包 括 一 套 整 合 的 大 数 据 工 具 ， 可 用 于 数 据 处 理 、 计 算 和 可 视 化 。 支 持 的 操 作 系 统 ： W i n d o w s 、 L i n u x 和 O S   X 。 相 关 链 接 ：   h t t p : / / w w w . r - p r o j e c t . o r g 5 3 .   E C L 企 业 控 制 语 言 （ E C L ） 是 开 发 人 员 用 来 在 H P C C 平 台 上 构 建 大 数 据 应 用 程 序 的 语 言 。 H P C C   S y s t e m s 官 方 网 站 上 有 集 成 开 发 环 境 （ I D E ） 、 教 程 以 及 处 理 该 语 言 的 众 多 相 关 工 具 。 支 持 的 操 作 系 统 ： L i n u x 。 相 关 链 接 ：   h t t p : / / h p c c s y s t e m s . c o m / d o w n l o a d / d o c s / e c l - l a n g u a g e - r e f e r e n c e 八 、 大 数 据 搜 索 八 、 大 数 据 搜 索
5 4 .   L u c e n e 基 于 J a v a 的 L u c e n e 可 以 非 常 迅 速 地 执 行 全 文 搜 索 。 据 官 方 网 站 声 称 ， 它 在 现 代 硬 件 上 每 小 时 能 够 检 索 超 过 1 5 0 G B 的 数 据 ， 它 含 有 强 大 而 高 效 的 搜 索 算 法 。 开 发 工 作 得 到 了 A p a c h e 软 件 基 金 会 的 赞 助 。 支 持 的 操 作 系 统 ： 与 操 作 系 统 无 关 。 相 关 链 接 ：   h t t p : / / l u c e n e . a p a c h e . o r g / c o r e / 5 5 .   S o l r S o l r 基 于 A p a c h e   L u c e n e ， 是 一 种 高 度 可 靠 、 高 度 扩 展 的 企 业 搜 索 平 台 。 知 名 用 户 包 括 e H a r m o n y 、 西 尔 斯 、 S t u b H u b 、 Z a p p o s 、 百 思 买 、 A T & T 、 I n s t a g r a m 、 N e t f l i x 、 彭 博 社 和 T r a v e l o c i t y 。 支 持 的 操 作 系 统 ： 与 操 作 系 统 无 关 。 相 关 链 接 ：   h t t p : / / l u c e n e . a p a c h e . o r g / s o l r / 九 、 内 存 中 技 术 九 、 内 存 中 技 术 5 6 .   I g n i t e 这 个 A p a c h e 项 目 自 称 是 “ 一 种 高 性 能 、 整 合 式 、 分 布 式 的 内 存 中 平 台 ， 可 用 于 对 大 规 模 数 据 集 执 行 实 时 计 算 和 处 理 ， 速 度 比 传 统 的 基 于 磁 盘 的 技 术 或 闪 存 技 术 高 出 好 几 个 数 量 级 。 ” 该 平 台 包 括 数 据 网 格 、 计 算 网 格 、 服 务 网 格 、 流 媒 体 、 H a d o o p 加 速 、 高 级 集 群 、 文 件 系 统 、 消 息 传 递 、 事 件 和 数 据 结 构 等 功 能 。 支 持 的 操 作 系 统 ： 与 操 作 系 统 无 关 。 相 关 链 接 ：   h t t p s : / / i g n i t e . i n c u b a t o r . a p a c h e . o r g 5 7 .   T e r r a c o t t a T e r r a c o t t a 声 称 其 B i g M e m o r y 技 术 是 “ 世 界 上 数 一 数 二 的 内 存 中 数 据 管 理 平 台 ” ， 声 称 拥 有 2 1 0 万 开 发 人 员 ， 2 5 0 家 企 业 组 织 部 署 了 其 软 件 。 该 公 司 还 提 供 商 业 版 软 件 ， 另 外 提 供 支 持 、 咨 询 和 培 训 等 服 务 。 支 持 的 操 作 系 统 ： 与 操 作 系 统 无 关 。 相 关 链 接 ：   h t t p : / / w w w . t e r r a c o t t a . o r g 5 8 .   P i v o t a l   G e m F i r e / G e o d e 今 年 早 些 时 候 ， P i v o t a l 宣 布 它 将 开 放 其 大 数 据 套 件 关 键 组 件 的 源 代 码 ， 其 中 包 括 G e m F i r e 内 存 中 N o S Q L 数 据 库 。 它 已 向 A p a c h e 软 件 基 金 会 递 交 了 一 项 提 案 ， 以 便 在 “ G e o d e ” 的 名 下 管 理 G e m F i r e 数 据 库 的 核 心 引 擎 。 还 提 供 该 软 件 的 商 业 版 。 支 持 的 操 作 系 统 ： W i n d o w s 和 L i n u x 。 相 关 链 接 ：   h t t p : / / p i v o t a l . i o / b i g - d a t a / p i v o t a l - g e m f i r e 5 9 .   G r i d G a i n 由 A p a c h e   I g n i t e 驱 动 的 G r i d G r a i n 提 供 内 存 中 数 据 结 构 ， 用 于 迅 速 处 理 大 数 据 ， 还 提 供 基 于 同 一 技 术 的 H a d o o p 加 速 器 。 它 既 有 收 费 的 企 业 版 ， 也 有 免 费 的 社 区 版 ， 后 者 包 括 免 费 的 基 本 支 持 。 支 持 的 操 作 系 统 ： W i n d o w s 、 L i n u x 和 O S   X 。 相 关 链 接 ：   h t t p : / / w w w . g r i d g a i n . c o m 6 0 .   I n f i n i s p a n
回复

举报

返回列表 发新帖
高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

使用Markdown编辑器编辑 使用富文本编辑器编辑

Archiver|手机版|小黑屋|Nmaps Club

GMT+8, 2025-1-23 10:39 , Processed in 0.328806 second(s), 30 queries .

Powered by Discuz! X3.5

© 2001-2025 Discuz! Team.

快速回复 返回顶部 返回列表