设为首页收藏本站
切换到窄版

 找回密码
 立即注册
搜索
热搜: 活动 交友 discuz
Nmaps Club»论坛 › Pentests Wiki › Wiki › 数据库 › [19717] 2021-02-18_大数据技术丨回顾发展历程，预见未 ...
返回列表 发新帖
查看: 13|回复: 0

[19717] 2021-02-18_大数据技术丨回顾发展历程，预见未来机遇！

[复制链接]
s7ckTeam

6万

主题

-6万

回帖

-54

积分

管理员

积分
-54
发表于 2025-1-18 20:37:03 | 显示全部楼层 |阅读模式
2021-02-18_大数据技术丨回顾发展历程，预见未来机遇！ 大 数 据 技 术 丨 回 顾 发 展 历 程 ， 预 见 未 来 机 遇 ！ i 春 秋   2 0 2 1 - 0 2 - 1 8 大 数 据 （ B i g   D a t a ） 又 称 为 巨 量 资 料 ， I T 行 业 术 语 ， 是 指 无 法 在 一 定 时 间 范 围 内 用 常 规 软 件 工 具 进 行 捕 捉 、 管 理 和 处 理 的 数 据 集 合 ， 是 需 要 新 处 理 模 式 才 能 具 有 更 强 的 决 策 力 、 洞 察 力 和 流 程 优 化 能 力 的 海 量 、 高 增 长 率 和 多 样 化 的 信 息 资 产 。 今 天 i 春 秋 将 通 过 一 期 公 开 课 《 8 分 钟 看 尽 大 数 据 的 前 世 今 生 》 来 讲 述 大 数 据 技 术 发 展 至 今 已 渗 透 到 各 行 各 业 ， 为 企 业 业 务 分 析 和 行 业 发 展 带 来 了 新 的 思 路 ， 感 兴 趣 的 小 伙 伴 不 容 错 过 ！ 感 兴 趣 的 小 伙 伴 ， 识 别 感 兴 趣 的 小 伙 伴 ， 识 别 二 维 码 二 维 码 立 即 看 课 立 即 看 课 P S ： W e b 端 看 课 体 验 会 更 佳 ， 看 课 地 址 ： h t t p s : / / w w w . i c h u n q i u . c o m / o p e n / 5 7 4 3 7 看 点 前 瞻 看 点 前 瞻
早 在 2 0 0 1 年 ， 高 德 纳 分 析 员 道 格 · 莱 尼 在 一 份 与 其 2 0 0 1 年 的 研 究 相 关 的 演 讲 中 指 出 ， 数 据 增 长 有 三 个 方 向 的 挑 战 和 机 遇 ， 分 别 是 ： 体 量 ( V o l u m e ) ， 即 数 据 多 少 ； 速 度 ( V e l o c i t y ) ， 即 资 料 输 入 、 输 出 的 速 度 ； 变 量 ( V a r i e t y ) ， 即 多 样 性 。 在 莱 尼 的 理 论 基 础 上 ， I B M 提 出 大 数 据 的 4 V 特 征 ， 得 到 了 业 界 的 广 泛 认 可 。 第 一 ， 数 量 ( V o l u m e ) ， 即 数 据 巨 大 ， 从 T B 级 别 跃 升 到 P B 级 别 ； 大 数 据 特 征 大 数 据 特 征
第 二 ， 多 样 性 ( V a r i e t y ) ， 即 数 据 类 型 繁 多 ， 不 仅 包 括 传 统 的 格 式 化 数 据 ， 还 包 括 来 自 互 联 网 的 网 络 日 志 、 视 频 、 图 片 、 地 理 位 置 信 息 等 ； 第 三 ， 速 度 ( V e l o c i t y ) ， 即 处 理 速 度 快 ； 第 四 ， 真 实 性 ( V e r a c i t y ) ， 即 追 求 高 质 量 的 数 据 。 大 数 据 的 应 用 和 技 术 起 源 于 互 联 网 ， 最 早 雅 虎 在 实 际 环 境 中 搭 建 了 大 规 模 的 H a d o o p 集 群 ， 这 是 H a d o o p 在 互 联 网 公 司 使 用 最 早 的 案 例 ， 后 来 H a d o o p 生 态 的 技 术 就 渗 透 到 了 互 联 网 、 电 信 、 金 融 乃 至 更 多 的 行 业 。 经 过 了 十 多 年 的 发 展 ， 大 数 据 技 术 形 成 了 以 开 源 为 主 导 、 多 种 技 术 和 架 构 并 存 的 特 点 。 从 数 据 在 信 息 系 统 中 的 生 命 周 期 看 ， 大 数 据 技 术 生 态 主 要 有 5 个 发 展 方 向 ， 包 括 数 据 采 集 与 传 输 、 数 据 存 储 、 资 源 调 度 、 计 算 处 理 、 查 询 与 分 析 。 在 数 据 采 集 与 传 输 领 域 渐 渐 形 成 了 S q o o p 、 F l u m e 、 K a f k a 等 一 系 列 开 源 技 术 ， 兼 顾 离 线 和 实 时 数 据 的 采 集 和 传 输 。 在 存 储 层 ， H D F S 已 经 成 为 了 大 数 据 磁 盘 存 储 的 事 实 标 准 ， 针 对 关 系 型 以 外 的 数 据 模 型 ， 开 源 社 区 形 成 了 K - V （ k e y - v a l u e ） 、 列 式 、 文 档 、 图 类 N o S Q L 数 据 库 体 系 ， H B a s e 、 C a s s a n d r a 、 M o n g o D B 、 N e o 4 j 、 R e d i s 等 数 据 库 百 花 齐 放 。 资 源 调 度 方 面 ， Y a r n 独 领 风 骚 ， M e s o s 有 一 定 发 展 潜 力 。 计 算 处 理 引 擎 方 面 慢 慢 覆 盖 了 离 线 批 量 计 算 、 实 时 计 算 、 流 计 算 等 场 景 ， 诞 生 了 M a p R e d u c e 、 S p a r k 、 F l i n k 、 S t o r m 等 计 算 框 架 。 在 数 据 查 询 和 分 析 领 域 形 成 了 丰 富 的 S Q L   o n   H a d o o p 的 解 决 方 案 ， H i v e 、 H A W Q 、 I m p a l a 、 P r e s t o 、 D r i l l 等 技 术 与 传 统 的 大 规 模 并 行 处 理 （ m a s s i v e l y   p a r a l l e l   p r o c e s s o r ， M P P ） 数 据 库 竞 争 激 烈 。 目 前 ， 大 数 据 的 技 术 栈 已 趋 于 稳 定 ， 但 由 于 云 计 算 、 人 工 智 能 等 技 术 发 展 ， 还 有 芯 片 、 内 存 端 的 变 化 ， 大 数 据 技 术 也 在 发 生 相 应 的 变 化 。 总 结 来 看 主 要 有 几 点 发 展 趋 势 ： 大 数 据 技 术 大 数 据 技 术 发 展 趋 势 发 展 趋 势
一 、 流 式 架 构 的 更 替 ， 一 、 流 式 架 构 的 更 替 ， 最 早 大 数 据 生 态 没 有 办 法 统 一 批 处 理 和 流 计 算 ， 只 能 采 用 L a m b d a 架 构 ， 批 的 任 务 用 批 计 算 引 擎 ， 流 式 任 务 采 用 流 计 算 引 擎 ， 比 如 批 处 理 采 用 M a p R e d u c e ， 流 计 算 采 用 S t o r m 。 后 来 S p a r k 试 图 从 批 的 角 度 统 一 流 处 理 和 批 处 理 ， S p a r k   S t r e a m i n g 采 用 了 m i c r o - b a c h 的 思 路 来 处 理 流 数 据 。 近 年 来 纯 流 架 构 的 F l i n k 异 军 突 起 ， 由 于 其 架 构 设 计 合 理 ， 生 态 健 康 ， 近 年 来 发 展 特 别 快 。 而 S p a r k 近 期 也 抛 弃 了 自 身 微 批 处 理 的 架 构 ， 转 向 了 纯 流 架 构 S t r u c t u r e   S t r e a m i n g ， 流 计 算 的 未 来 霸 主 还 未 见 分 晓 。 二 、 大 数 据 技 术 的 云 化 ， 二 、 大 数 据 技 术 的 云 化 ， 一 方 面 是 公 有 云 业 务 的 成 熟 ， 众 多 大 数 据 技 术 都 被 搬 到 了 云 上 ， 其 运 维 方 式 和 运 行 环 境 都 发 生 了 较 大 变 化 ， 带 来 计 算 和 存 储 资 源 更 加 的 弹 性 变 化 ， 另 一 方 面 ， 私 有 部 署 的 大 数 据 技 术 也 逐 渐 采 用 容 器 、 虚 拟 化 等 技 术 ， 期 望 更 加 精 细 化 地 利 用 计 算 资 源 。 三 、 异 构 计 算 的 需 求 ， 三 、 异 构 计 算 的 需 求 ， 近 年 来 在 通 用 C P U 之 外 ， G P U 、 F P G A 、 A S I C 等 芯 片 发 展 迅 猛 ， 不 同 芯 片 擅 长 不 同 的 计 算 任 务 ， 例 如 G P U 擅 长 图 像 数 据 的 处 理 ， 大 数 据 技 术 开 始 尝 试 根 据 不 同 任 务 来 调 用 不 同 的 芯 片 ， 提 升 数 据 处 理 的 效 率 。 四 、 兼 容 智 能 类 的 应 用 ， 四 、 兼 容 智 能 类 的 应 用 ， 随 着 深 度 学 习 的 崛 起 ， A I 类 的 应 用 越 来 越 广 泛 ， 大 数 据 的 技 术 栈 在 努 力 兼 容 A I 的 能 力 ， 通 过 一 站 式 的 能 力 来 做 数 据 分 析 和 A I 应 用 ， 这 样 开 发 者 就 能 在 一 个 工 具 站 中 编 写 S Q L 任 务 ， 调 用 机 器 学 习 和 深 度 学 习 的 算 法 来 训 练 模 型 ， 完 成 各 类 数 据 分 析 的 任 务 。 未 来 大 数 据 技 术 会 沿 着 异 构 计 算 ， 批 流 融 合 ， 云 化 ， 兼 容 A I ， 内 存 计 算 等 方 向 持 续 更 迭 ， 5 G 和 物 联 网 应 用 的 成 熟 ， 又 将 带 来 海 量 视 频 和 物 联 网 数 据 ， 支 持 这 些 数 据 的 处 理 也 会 是 大 数 据 技 术 未 来 发 展 的 方 向 。 E n d —   往 期 回 顾 往 期 回 顾   — H a c k i n g   C l u b   技 术 趴 ▶   J A V A 反 序 列 化 学 习 ▶   回 首 白 帽 老 兵 十 年 网 安 之 路 ▶   通 读 L i n u x 提 权 原 理 和 手 法 ▶   浅 析 红 队 基 础 设 施 ▶   W i n d o w s 域 渗 透 之 K e r b e r o s 委 派 科 普 类 公 开 课 ▶ 大 牛 教 你 做 好 应 急 响 应 ▶ 免 费 的 陷 阱 ： 警 惕 公 共 W i - F i ▶ 无 线 键 盘 有 漏 洞 ▶ 0 d a y 危 机 ， 隐 藏 的 攻 防 战
▶ 加 密 算 法 解 析 ▶ D N S 解 析 ▶   红 队 建 设 之 道 ▶   手 机 锁 屏 密 码 安 全 ▶   中 间 人 攻 击 ▶   十 分 钟 看 懂 隐 写 术 ▶   信 息 泄 露 问 题 ▶   狡 猾 的 漏 洞 利 用 ▶   R F I D 工 作 原 理 分 析 ▶   披 露 世 界 顶 级 黑 客 的 内 心 独 白 ▶   一 分 钟 看 穿 网 络 钓 鱼 D C   G R O U P 精 品 沙 龙 系 列 ▶   V P N 设 备 的 矛 与 盾 ▶   C A N 总 线 安 全 ▶   W i n d o w s   密 码 攻 防 ▶   基 于 攻 击 链 的 威 胁 ， 工 控 安 全 如 何 防 护 ▶   初 窥 I o T 安 全   浅 析 常 规 漏 洞 文 末 下 方 点 个 赞 赞 和 在 看 在 看 哦 i 春 秋 官 方 公 众 号 为 大 家 提 供 春 秋 官 方 公 众 号 为 大 家 提 供 前 沿 的 网 络 安 全 技 术 简 单 易 懂 的 实 用 工 具 紧 张 刺 激 的 安 全 竞 赛 还 有 网 络 安 全 大 讲 堂 更 多 技 能 等 你 来 解 锁

回复

举报

返回列表 发新帖
高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

使用Markdown编辑器编辑 使用富文本编辑器编辑

Archiver|手机版|小黑屋|Nmaps Club

GMT+8, 2025-2-2 20:37 , Processed in 0.506348 second(s), 30 queries .

Powered by Discuz! X3.5

© 2001-2025 Discuz! Team.

快速回复 返回顶部 返回列表