设为首页收藏本站
切换到窄版

 找回密码
 立即注册
搜索
热搜: 活动 交友 discuz
Nmaps Club»论坛 › Pentests Wiki › Wiki › 数据库 › [2416] 2015-11-03_大数据关键技术解析
返回列表 发新帖
查看: 2|回复: 0

[2416] 2015-11-03_大数据关键技术解析

[复制链接]
s7ckTeam

6万

主题

-6万

回帖

-58

积分

管理员

积分
-58
发表于 7 天前 | 显示全部楼层 |阅读模式
2015-11-03_大数据关键技术解析 大 数 据 关 键 技 术 解 析 E 安 全   2 0 1 5 - 1 1 - 0 3 大 数 据 技 术 ， 就 是 从 各 种 类 型 的 数 据 中 快 速 获 得 有 价 值 信 息 的 技 术 。 大 数 据 领 域 已 经 涌 现 出 了 大 量 新 的 技 术 ， 它 们 成 为 大 数 据 采 集 、 存 储 、 处 理 和 呈 现 的 有 力 武 器 。 大 数 据 处 理 关 键 技 术 一 般 包 括 ： 大 数 据 采 集 、 大 数 据 预 处 理 、 大 数 据 存 储 及 管 理 、 大 数 据 分 析 及 挖 掘 、 大 数 据 展 现 和 应 用 ( 大 数 据 检 索 、 大 数 据 可 视 化 、 大 数 据 应 用 、 大 数 据 安 全 等 ) 。 一 、 大 数 据 采 集 技 术 一 、 大 数 据 采 集 技 术 数 据 采 集 是 指 通 过 R F I D 射 频 数 据 、 传 感 器 数 据 、 社 交 网 络 交 互 数 据 及 移 动 互 联 网 数 据 等 方 式 获 得 的 各 种 类 型 的 结 构 化 、 半 结 构 化 ( 或 称 之 为 弱 结 构 化 ) 及 非 结 构 化 的 海 量 数 据 ， 是 大 数 据 知 识 服 务 模 型 的 根 本 。 重 点 要 突 破 分 布 式 高 速 高 可 靠 数 据 爬 取 或 采 集 、 高 速 数 据 全 映 像 等 大 数 据 收 集 技 术 ; 突 破 高 速 数 据 解 析 、 转 换 与 装 载 等 大 数 据 整 合 技 术 ; 设 计 质 量 评 估 模 型 ， 开 发 数 据 质 量 技 术 。 大 数 据 采 集 一 般 分 为 大 数 据 智 能 感 知 层 ： 主 要 包 括 数 据 传 感 体 系 、 网 络 通 信 体 系 、 传 感 适 配 体 系 、 智 能 识 别 体 系 及 软 硬 件 资 源 接 入 系 统 ， 实 现 对 结 构 化 、 半 结 构 化 、 非 结 构 化 的 海 量 数 据 的 智 能 化 识 别 、 定 位 、 跟 踪 、 接 入 、 传 输 、 信 号 转 换 、 监 控 、 初 步 处 理 和 管 理 等 。 必 须 着 重 攻 克 针 对 大 数 据 源 的 智 能 识 别 、 感 知 、 适 配 、 传 输 、 接 入 等 技 术 。 基 础 支 撑 层 ： 提 供 大 数 据 服 务 平 台 所 需 的 虚 拟 服 务 器 ， 结 构 化 、 半 结 构 化 及 非 结 构 化 数 据 的 数 据 库 及 物 联 网 络 资 源 等 基 础 支 撑 环 境 。 重 点 攻 克 分 布 式 虚 拟 存 储 技 术 ， 大 数 据 获 取 、 存 储 、 组 织 、 分 析 和 决 策 操 作 的 可 视 化 接 口 技 术 ， 大 数 据 的 网 络 传 输 与 压 缩 技 术 ， 大 数 据 隐 私 保 护 技 术 等 。 二 、 大 数 据 预 处 理 技 术 二 、 大 数 据 预 处 理 技 术 主 要 完 成 对 已 接 收 数 据 的 辨 析 、 抽 取 、 清 洗 等 操 作 。 1 ) 抽 取 ： 因 获 取 的 数 据 可 能 具 有 多 种 结 构 和 类 型 ， 数 据 抽 取 过 程 可 以 帮 助 我 们 将 这 些 复 杂 的 数 据 转 化 为 单 一 的 或 者 便 于 处 理 的 构 型 ， 以 达 到 快 速 分 析 处 理 的 目 的 。 2 ) 清 洗 ： 对 于 大 数 据 ， 并 不 全 是 有 价 值 的 ， 有 些 数 据 并 不 是 我 们 所 关 心 的 内 容 ， 而 另 一 些 数 据 则 是 完 全 错 误 的 干 扰 项 ， 因 此 要 对 数 据 通 过 过 滤 “ 去 噪 ” 从 而 提 取 出 有 效 数 据 。 三 、 大 数 据 存 储 及 管 理 技 术 三 、 大 数 据 存 储 及 管 理 技 术 大 数 据 存 储 与 管 理 要 用 存 储 器 把 采 集 到 的 数 据 存 储 起 来 ， 建 立 相 应 的 数 据 库 ， 并 进 行 管 理 和 调 用 。 重 点 解 决 复 杂 结 构 化 、 半 结 构 化 和 非 结 构 化 大 数 据 管 理 与 处 理 技 术 。 主 要 解 决 大 数 据 的 可 存 储 、 可 表 示 、 可 处 理 、 可 靠 性 及 有 效 传 输 等 几 个 关 键 问 题 。 开 发 可 靠 的 分 布 式 文 件 系 统 ( D F S ) 、 能 效 优 化 的 存 储 、 计 算 融 入 存 储 、 大 数 据 的 去 冗 余 及 高 效 低 成 本 的 大 数 据 存 储 技 术 ; 突 破 分 布 式 非 关 系 型 大 数 据 管 理 与 处 理 技 术 ， 异 构 数 据 的 数 据 融 合 技 术 ， 数 据 组 织 技 术 ， 研 究 大 数 据 建 模 技 术 ; 突 破 大 数 据 索 引 技 术 ; 突 破 大 数 据 移 动 、 备 份 、 复 制 等 技 术 ; 开 发 大 数 据 可 视 化 技 术 。 开 发 新 型 数 据 库 技 术 ， 数 据 库 分 为 关 系 型 数 据 库 、 非 关 系 型 数 据 库 以 及 数 据 库 缓 存 系 统 。 其 中 ， 非 关 系 型 数 据 库 主 要 指 的
是 N o S Q L 数 据 库 ， 分 为 ： 键 值 数 据 库 、 列 存 数 据 库 、 图 存 数 据 库 以 及 文 档 数 据 库 等 类 型 。 关 系 型 数 据 库 包 含 了 传 统 关 系 数 据 库 系 统 以 及 N e w S Q L 数 据 库 。 开 发 大 数 据 安 全 技 术 。 改 进 数 据 销 毁 、 透 明 加 解 密 、 分 布 式 访 问 控 制 、 数 据 审 计 等 技 术 ; 突 破 隐 私 保 护 和 推 理 控 制 、 数 据 真 伪 识 别 和 取 证 、 数 据 持 有 完 整 性 验 证 等 技 术 。 四 、 大 数 据 分 析 及 挖 掘 技 术 四 、 大 数 据 分 析 及 挖 掘 技 术 大 数 据 分 析 技 术 。 改 进 已 有 数 据 挖 掘 和 机 器 学 习 技 术 ; 开 发 数 据 网 络 挖 掘 、 特 异 群 组 挖 掘 、 图 挖 掘 等 新 型 数 据 挖 掘 技 术 ; 突 破 基 于 对 象 的 数 据 连 接 、 相 似 性 连 接 等 大 数 据 融 合 技 术 ; 突 破 用 户 兴 趣 分 析 、 网 络 行 为 分 析 、 情 感 语 义 分 析 等 面 向 领 域 的 大 数 据 挖 掘 技 术 。 数 据 挖 掘 就 是 从 大 量 的 、 不 完 全 的 、 有 噪 声 的 、 模 糊 的 、 随 机 的 实 际 应 用 数 据 中 ， 提 取 隐 含 在 其 中 的 、 人 们 事 先 不 知 道 的 、 但 又 是 潜 在 有 用 的 信 息 和 知 识 的 过 程 。 数 据 挖 掘 涉 及 的 技 术 方 法 很 多 ， 有 多 种 分 类 法 。 根 据 挖 掘 任 务 可 分 为 分 类 或 预 测 模 型 发 现 、 数 据 总 结 、 聚 类 、 关 联 规 则 发 现 、 序 列 模 式 发 现 、 依 赖 关 系 或 依 赖 模 型 发 现 、 异 常 和 趋 势 发 现 等 等 ; 根 据 挖 掘 对 象 可 分 为 关 系 数 据 库 、 面 向 对 象 数 据 库 、 空 间 数 据 库 、 时 态 数 据 库 、 文 本 数 据 源 、 多 媒 体 数 据 库 、 异 质 数 据 库 、 遗 产 数 据 库 以 及 环 球 网 W e b ; 根 据 挖 掘 方 法 分 ， 可 粗 分 为 : 机 器 学 习 方 法 、 统 计 方 法 、 神 经 网 络 方 法 和 数 据 库 方 法 。 机 器 学 习 中 ， 可 细 分 为 : 归 纳 学 习 方 法 ( 决 策 树 、 规 则 归 纳 等 ) 、 基 于 范 例 学 习 、 遗 传 算 法 等 。 统 计 方 法 中 ， 可 细 分 为 : 回 归 分 析 ( 多 元 回 归 、 自 回 归 等 ) 、 判 别 分 析 ( 贝 叶 斯 判 别 、 费 歇 尔 判 别 、 非 参 数 判 别 等 ) 、 聚 类 分 析 ( 系 统 聚 类 、 动 态 聚 类 等 ) 、 探 索 性 分 析 ( 主 元 分 析 法 、 相 关 分 析 法 等 ) 等 。 神 经 网 络 方 法 中 ， 可 细 分 为 : 前 向 神 经 网 络 ( B P 算 法 等 ) 、 自 组 织 神 经 网 络 ( 自 组 织 特 征 映 射 、 竞 争 学 习 等 ) 等 。 数 据 库 方 法 主 要 是 多 维 数 据 分 析 或 O L A P 方 法 ， 另 外 还 有 面 向 属 性 的 归 纳 方 法 。 从 挖 掘 任 务 和 挖 掘 方 法 的 角 度 ， 着 重 突 破 ： 1 . 可 视 化 分 析 。 数 据 可 视 化 无 论 对 于 普 通 用 户 或 是 数 据 分 析 专 家 ， 都 是 最 基 本 的 功 能 。 数 据 图 像 化 可 以 让 数 据 自 己 说 话 ， 让 用 户 直 观 的 感 受 到 结 果 。 2 . 数 据 挖 掘 算 法 。 图 像 化 是 将 机 器 语 言 翻 译 给 人 看 ， 而 数 据 挖 掘 就 是 机 器 的 母 语 。 分 割 、 集 群 、 孤 立 点 分 析 还 有 各 种 各 样 五 花 八 门 的 算 法 让 我 们 精 炼 数 据 ， 挖 掘 价 值 。 这 些 算 法 一 定 要 能 够 应 付 大 数 据 的 量 ， 同 时 还 具 有 很 高 的 处 理 速 度 。 3 . 预 测 性 分 析 。 预 测 性 分 析 可 以 让 分 析 师 根 据 图 像 化 分 析 和 数 据 挖 掘 的 结 果 做 出 一 些 前 瞻 性 判 断 。 4 . 语 义 引 擎 。 语 义 引 擎 需 要 设 计 到 有 足 够 的 人 工 智 能 以 足 以 从 数 据 中 主 动 地 提 取 信 息 。 语 言 处 理 技 术 包 括 机 器 翻 译 、 情 感 分 析 、 舆 情 分 析 、 智 能 输 入 、 问 答 系 统 等 。 5 . 数 据 质 量 和 数 据 管 理 。 数 据 质 量 与 管 理 是 管 理 的 最 佳 实 践 ， 透 过 标 准 化 流 程 和 机 器 对 数 据 进 行 处 理 可 以 确 保 获 得 一 个 预 设 质 量 的 分 析 结 果 。 五 、 大 数 据 展 现 与 应 用 技 术 五 、 大 数 据 展 现 与 应 用 技 术 大 数 据 技 术 能 够 将 隐 藏 于 海 量 数 据 中 的 信 息 和 知 识 挖 掘 出 来 ， 为 人 类 的 社 会 经 济 活 动 提 供 依 据 ， 从 而 提 高 各 个 领 域 的 运 行 效 率 ， 大 大 提 高 整 个 社 会 经 济 的 集 约 化 程 度 。 在 我 国 ， 大 数 据 将 重 点 应 用 于 以 下 三 大 领 域 ： 商 业 智 能 、 政 府 决 策 、 公 共 服 务 。 例 如 ： 商 业 智 能 技 术 ， 政 府 决 策 技 术 ， 电 信 数 据 信 息 处 理 与 挖 掘 技 术 ， 电 网 数 据 信 息 处 理 与 挖 掘 技 术 ， 气 象 信 息 分 析 技 术 ， 环 境 监 测 技 术 ， 警 务 云 应 用 系 统 ( 道 路 监 控 、 视 频 监 控 、 网 络 监 控 、 智 能 交 通 、 反 电 信 诈 骗 、 指 挥 调 度 等 公 安 信 息 系 统 ) ， 大 规 模 基 因 序 列 分 析 比 对 技 术 ， W e b 信 息 挖 掘 技 术 ， 多 媒 体 数 据 并 行 化 处 理 技 术 ， 影 视 制 作 渲 染 技 术 ， 其 他 各 种 行 业 的 云 计 算 和 海 量 数 据 处 理 应 用 技 术 等 。 阅 读 原 文

回复

举报

返回列表 发新帖
高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

使用Markdown编辑器编辑 使用富文本编辑器编辑

Archiver|手机版|小黑屋|Nmaps Club

GMT+8, 2025-1-23 10:41 , Processed in 0.174217 second(s), 29 queries .

Powered by Discuz! X3.5

© 2001-2025 Discuz! Team.

快速回复 返回顶部 返回列表