设为首页收藏本站
切换到窄版

 找回密码
 立即注册
搜索
热搜: 活动 交友 discuz
Nmaps Club»论坛 › Pentests Wiki › Wiki › 数据库 › [11220] 2017-04-10_什么是集中管控式大数据安全架构？ ...
返回列表 发新帖
查看: 0|回复: 0

[11220] 2017-04-10_什么是集中管控式大数据安全架构？

[复制链接]
s7ckTeam

6万

主题

-6万

回帖

-58

积分

管理员

积分
-58
发表于 5 天前 | 显示全部楼层 |阅读模式
2017-04-10_什么是集中管控式大数据安全架构？ 什 么 是 集 中 管 控 式 大 数 据 安 全 架 构 ？ 银 伞 数 据   F r e e B u f   2 0 1 7 - 0 4 - 1 0 大 数 据 已 不 再 是 一 个 单 纯 的 热 门 词 汇 了 ， 随 着 技 术 的 发 展 大 数 据 已 在 企 业 、 政 府 、 金 融 、 医 疗 、 电 信 等 领 域 得 到 了 广 泛 的 部 署 和 应 用 ， 并 通 过 持 续 不 断 的 发 展 ， 大 数 据 也 已 在 各 领 域 产 生 了 明 显 的 应 用 价 值 。 企 业 已 开 始 热 衷 于 利 用 大 数 据 技 术 收 集 和 存 储 海 量 数 据 ， 并 对 其 进 行 分 析 。 企 业 所 收 集 的 数 据 量 也 呈 指 数 级 增 长 ， 包 括 交 易 数 据 、 位 置 数 据 、 用 户 交 互 数 据 、 物 流 数 据 、 供 应 链 数 据 、 企 业 经 营 数 据 、 硬 件 监 控 数 据 、 应 用 日 志 数 据 等 。 由 于 这 些 海 量 数 据 中 包 含 大 量 企 业 或 个 人 的 敏 感 信 息 ， 数 据 安 全 和 隐 私 保 护 的 问 题 逐 渐 突 显 出 来 。 而 这 些 问 题 由 于 大 数 据 的 三 大 主 要 特 性 而 被 进 一 步 放 大 ： 数 据 量 大 ( V o l u m e ) 、 数 据 增 长 快 ( V e l o c i t y ) 和 数 据 多 样 化 ( V a r i e t y ) 。 现 在 ， 当 我 们 说 “ 大 数 据 ” 的 时 候 ， 已 不 再 是 单 指 海 量 的 数 据 了 ， 而 是 基 础 设 施 ( 云 服 务 器 ) 、 应 用 、 数 据 源 、 分 析 模 型 、 数 据 存 储 和 平 台 的 组 合 ， 而 正 是 这 些 使 得 大 数 据 安 全 面 临 着 不 同 寻 常 的 挑 战 。   1 、 与 传 统 数 据 安 全 相 比 ， 大 数 据 安 全 有 什 么 不 同 、 与 传 统 数 据 安 全 相 比 ， 大 数 据 安 全 有 什 么 不 同 传 统 数 据 安 全 技 术 的 概 念 是 基 于 保 护 单 节 点 实 例 的 安 全 ， 例 如 一 台 数 据 库 或 服 务 器 ， 而 不 是 像 H a d o o p 这 样 的 分 布 式 计 算 环 境 。 传 统 安 全 技 术 在 这 种 大 型 的 分 布 式 环 境 中 不 再 有 效 。 另 外 ， 在 大 规 模 的 H a d o o p 集 群 中 ， 各 服 务 器 和 组 件 的 安 全 配 置 出 现 不 一 致 的 机 率 将 大 大 增 加 ， 这 将 导 致 更 多 的 安 全 漏 洞 产 生 。 大 数 据 平 台 存 储 着 各 种 各 样 的 数 据 ， 每 一 种 数 据 源 都 可 能 需 要 有 其 相 应 的 访 问 限 制 和 安 全 策 略 。 而 当 需 要 整 合 不 同 数 据 源 时 ， 就 变 得 更 加 难 以 平 衡 对 数 据 的 安 全 策 略 的 应 用 。 同 时 ， 快 速 增 长 的 海 量 数 据 使 得 大 数 据 平 台 中 的 敏 感 信 息 和 个 人 隐 私 信 息 无 处 不 在 ， 准 确 发 现 和 定 位 敏 感 信 息 并 制 定 针 对 性 的 访 问 控 制 策 略 变 得 愈 加 困 难 ， 而 对 敏 感 信 息 的 访 问 的 实 时 监 控 也 是 保 障 大 数 据 安 全 的 重 要 任 务 之 一 。 最 后 ， 大 数 据 技 术 很 少 单 独 使 用 H a d o o p ， 而 是 会 结 合 生 态 系 统 中 的 其 它 技 术 组 件 如 H B a s e ， S p a r k ， I m p a l a ， H i v e ， P i g 等 对 数 据 进 行 抽 取 、 存 储 、 处 理 、 计 算 等 。 这 些 技 术 使 得 大 数 据 可 被 访 问 和 利 用 ， 但 基 本 都 缺 乏 企 业 级 的 安 全 特 性 。 以 上 从 平 台 、 数 据 、 技 术 视 角 对 大 数 据 安 全 与 传 统 数 据 安 全 进 行 了 简 单 的 分 析 ， 传 统 安 全 工 具 没 有 为 数 据 多 样 化 、 数 据 处 理 及 H a d o o p 的 分 布 式 特 性 而 改 进 ， 不 再 足 以 能 保 证 大 数 据 的 安 全 。
2 、 如 何 建 立 完 善 的 大 数 据 安 全 体 系 、 如 何 建 立 完 善 的 大 数 据 安 全 体 系 面 对 复 杂 的 大 数 据 安 全 环 境 ， 需 要 从 四 个 层 面 综 合 考 虑 以 建 立 全 方 位 的 大 数 据 安 全 体 系 ： 边 界 安 全 、 访 问 控 制 和 授 权 、 数 据 保 护 、 审 计 和 监 控 。 •   边 界 安 全 ： 主 要 包 含 网 络 安 全 和 身 份 认 证 。 防 护 对 系 统 及 其 数 据 和 服 务 的 访 问 ， 身 份 认 证 确 保 用 户 的 真 实 性 及 有 效 性 。 H a d o o p 及 其 生 态 系 统 中 的 其 它 组 件 都 支 持 使 用 K e r b e r o s 进 行 用 户 身 份 验 证 。 •   访 问 控 制 和 授 权 ： 通 过 对 用 户 的 授 权 实 现 对 数 据 、 资 源 和 服 务 的 访 问 管 理 及 权 限 控 制 。 H a d o o p 和 H B a s e 都 支 持 A C L ， 同 时 也 实 现 了 R B A C （ 基 于 角 色 的 访 问 控 制 ） 模 型 ， 更 细 粒 度 的 A B A C （ A t t i b u t e   B a s e d   A c c e s s   C o n t r o l ） 在 H B a s e 较 新 的 版 本 中 也 可 通 过 访 问 控 制 标 签 和 可 见 性 标 签 的 形 式 实 现 。 •   数 据 保 护 ： 通 过 数 据 加 密 和 脱 敏 两 种 主 要 方 式 从 数 据 层 面 保 护 敏 感 信 息 不 被 泄 露 。 数 据 加 密 包 括 在 传 输 过 程 中 的 加 密 和 存 储 加 密 。 传 输 过 程 中 的 加 密 依 赖 于 网 络 安 全 协 议 而 存 储 加 密 可 通 过 相 关 加 密 算 法 和 密 钥 对 数 据 进 行 加 密 存 储 。 数 据 脱 敏 是 比 加 密 较 为 折 中 的 办 法 ， 对 于 大 数 据 时 代 ， 该 方 法 将 更 被 更 为 广 泛 的 采 用 。 因 为 收 集 的 海 量 数 据 需 要 相 对 开 放 的 共 享 给 内 部 不 同 团 队 或 外 部 机 构 使 用 ， 才 能 发 挥 大 数 据 的 价 值 。 对 于 敏 感 信 息 部 分 可 通 过 脱 敏 的 方 式 进 行 处 理 以 保 障 信 息 安 全 。 •   审 计 和 监 控 ： 实 时 地 监 控 和 审 计 可 管 理 数 据 安 全 合 规 性 和 安 全 回 溯 、 安 全 取 证 等 。 3 、 如 何 设 计 大 数 据 安 全 框 架 、 如 何 设 计 大 数 据 安 全 框 架 基 于 以 上 四 层 的 安 全 体 系 ， 结 合 大 数 据 平 台 的 特 性 ， 企 业 在 实 践 大 数 据 平 台 安 全 化 时 ， 需 要 有 更 详 细 的 架 构 设 计 ， 四 层 安 全 体 系 对 应 在 实 际 环 境 中 ， 应 是 以 数 据 为 中 心 ， 建 立 完 善 的 管 理 制 度 ， 先 治 理 好 大 数 据 ， 再 从 访 问 控 制 和 数 据 保 护 层 面 加 强 对 数 据 使 用 的 安 全 防 护 ， 最 后 从 网 络 和 基 础 层 加 固 平 台 的 安 全 部 署 。 因 此 ， 大 数 据 安 全 框 架 需 包 含 以 下 5 个 核 心 模 块 ：   数 据 管 理 、 身 份 和 访 问 管 理 、 数 据 保 护 、 网 络 安 全 、 基 础 安 全 。
（ 一 ） 数 据 管 理 （ 一 ） 数 据 管 理 企 业 实 施 数 据 安 全 的 首 要 任 务 是 先 管 理 好 数 据 ， 根 据 业 务 要 求 、 合 规 性 、 安 全 策 略 及 数 据 的 敏 感 性 ， 关 键 性 和 关 联 风 险 对 数 据 进 行 分 类 分 级 管 理 ， 有 助 于 对 数 据 保 护 的 基 准 安 全 控 制 做 出 合 理 的 决 策 。 从 大 数 据 特 性 层 面 对 数 据 进 行 标 记 （ 例 如 分 析 类 型 、 处 理 方 式 、 数 据 时 效 性 、 数 据 类 型 、 数 据 格 式   、 数 据 源 等 维 度 ） ， 就 知 道 数 据 是 如 何 进 出 大 数 据 平 台 ， 将 会 被 如 何 使 用 ， 会 被 谁 使 用 ， 数 据 是 如 何 存 储 的 等 等 ， 这 些 都 有 助 于 数 据 发 现 的 管 理 和 对 数 据 访 问 控 制 制 定 相 应 的 策 略 。 最 后 ， 如 果 缺 乏 掌 握 敏 感 数 据 在 大 数 据 平 台 中 存 在 于 哪 里 的 意 识 ， 这 将 无 疑 是 把 数 据 暴 露 于 风 险 之 下 。 所 以 ， 掌 握 敏 感 数 据 在 大 数 据 平 台 中 分 布 情 况 ， 并 能 自 动 地 增 量 式 地 发 现 找 到 敏 感 数 据 ， 并 监 控 其 使 用 情 况 ， 是 否 受 到 保 护 是 能 否 做 到 全 面 保 护 数 据 安 全 的 关 键 。 （ 二 ） 身 份 认 证 和 访 问 控 制 （ 二 ） 身 份 认 证 和 访 问 控 制 身 份 认 证 是 防 护 数 据 安 全 的 第 一 道 关 卡 ， 通 过 身 份 认 证 确 保 访 问 大 数 据 平 台 中 的 数 据 、 资 源 和 服 务 的 用 户 是 安 全 的 ， 大 数 据 生 态 系 统 中 从 H a d o o p 到 H B a s e 、 H i v e 、 P i g 、 I m p a l a 、 S p a r k 等 几 乎 都 支 持 利 用 K e r b e r o s 进 行 身 份 认 证 。 K e r b e r o s 也 可 以 和 企 业 的 A D / L D A P 结 合 以 快 速 建 立 密 钥 分 发 中 心 ， 而 无 需 大 数 据 平 台 用 户 重 新 建 立 用 户 组 、 角 色 和 密 钥 等 。 用 户 通 过 身 份 认 证 后 可 获 得 访 问 大 数 据 平 台 的 资 格 ， 为 进 一 步 控 制 用 户 对 资 源 的 访 问 权 限 ， 需 要 通 过 授 权 机 制 来 管 理 不 同 用 户 对 不 同 资 源 的 访 问 许 可 。 H a d o o p 和 H B a s e 及 其 它
组 件 都 在 一 定 程 度 上 支 持 对 访 问 的 控 制 ， R B A C 和 A B A C 是 两 个 不 同 粒 度 的 访 问 控 制 模 型 ， 前 者 是 基 于 角 色 来 进 行 访 问 控 制 ， 后 者 是 更 为 细 粒 度 的 控 制 ， 可 控 制 到 被 访 问 对 象 的 字 段 级 别 。 在 制 定 访 问 控 制 策 略 时 ， 应 依 据 合 规 要 求 ， 结 合 敏 感 数 据 保 护 策 略 、 数 据 使 用 场 景 等 针 对 不 同 数 据 、 不 同 业 务 需 求 制 定 相 应 的 访 问 限 制 规 则 ， 高 效 利 用 数 据 ， 发 挥 大 数 据 价 值 是 企 业 的 最 终 目 的 。 （ 三 ） 数 据 保 护 （ 三 ） 数 据 保 护 如 果 说 身 份 认 证 、 授 权 和 访 问 控 制 是 确 保 了 对 数 据 访 问 的 对 象 的 防 护 和 控 制 ， 数 据 保 护 技 术 则 是 从 根 源 层 保 护 信 息 安 全 的 最 重 要 和 最 有 效 的 手 段 。 通 过 数 据 保 护 技 术 ， 对 大 数 据 的 开 放 共 享 、 发 布 、 最 大 化 利 用 等 都 会 有 着 最 直 接 的 积 极 作 用 。 数 据 保 护 技 术 的 作 用 不 仅 局 限 于 企 业 内 部 ， 它 是 确 保 整 个 大 数 据 产 业 快 速 发 展 的 最 重 要 保 证 。 数 据 保 护 技 术 通 过 对 数 据 利 用 脱 敏 、 失 真 、 匿 名 化 限 制 发 布 等 技 术 处 理 后 ， 可 让 处 理 后 的 数 据 到 达 安 全 交 易 、 开 放 共 享 的 目 的 。 而 对 于 企 业 内 部 ， 针 对 脱 敏 后 的 数 据 ， 不 需 再 设 定 复 杂 的 访 问 控 制 限 制 ， 可 让 更 多 的 分 析 应 用 更 高 效 地 实 施 并 优 化 开 发 项 目 ， 让 大 数 据 得 到 更 充 分 的 利 用 同 时 ， 也 确 保 遵 从 行 业 / 监 管 数 据 隐 私 法 令 和 法 规 。 （ 四 ） 网 络 安 全 （ 四 ） 网 络 安 全 大 数 据 的 网 络 安 全 通 常 是 指 通 过 客 户 端 访 问 大 数 据 平 台 的 连 接 和 大 数 据 平 台 中 服 务 器 节 点 之 间 的 网 络 通 信 安 全 。   为 保 证 数 据 在 传 输 过 程 中 的 安 全 性 ， 节 点 之 间 及 客 户 端 与 服 务 器 之 间 的 通 信 都 需 要 进 行 加 密 ， 不 同 的 通 信 使 用 不 同 的 加 密 方 式 ， H a d o o p 平 台 支 持 R P C 加 密 ， H D F S 数 据 传 输 加 密 和 H T T P 通 信 的 加 密 。 除 了 对 网 络 通 信 进 行 加 密 设 置 ， 还 可 通 过 使 用 网 关 服 务 器 隔 离 客 户 端 与 大 数 据 平 台 的 直 接 访 问 来 进 一 步 升 级 网 络 安 全 。 网 关 服 务 器 部 署 在 大 数 据 平 台 和 企 业 用 户 网 络 域 之 间 ， 用 户 通 过 登 录 网 关 服 务 器 来 验 证 身 份 ， 并 由 网 关 服 务 代 理 用 户 对 大 数 据 平 台 的 访 问 ， 同 时 ， 该 服 务 器 还 可 用 来 提 供 访 问 控 制 、 策 略 管 理 。 用 户 通 过 登 录 到 网 关 服 务 器 来 执 行 对 大 数 据 平 台 的 操 作 ， 所 有 的 客 户 端 包 括 H i v e ， P i g ， O o z i e 等 都 可 安 装 在 这 台 网 关 服 务 器 上 ， 这 样 用 户 就 不 必 登 录 到 大 数 据 平 台 中 的 服 务 器 节 点 ， 从 而 保 护 大 数 据 平 台 不 会 受 到 非 法 访 问 。 （ 五 ） 基 础 安 全 （ 五 ） 基 础 安 全 前 面 我 们 谈 到 了 通 过 各 种 方 式 来 保 证 大 数 据 平 台 和 安 全 性 ， 包 括 身 份 认 证 、 授 权 、 访 问 控 制 、 数 据 保 护 及 网 络 通 信 安 全 。 但 大 数 据 平 台 仍 然 有 可 能 会 受 到 非 法 访 问 和 特 权 用 户 的 访 问 。 为 确 保 合 规 性 的 需 要 ， 我 们 需 要 对 大 数 据 平 台 的 一 切 活 动 进 行 审 计 和 监 控 并 生 成 告 警 信 息 ， 也 即 是 安 全 事 故 和 事 件 监 控 ( S I E M ) 系 统 。 S I E M 系 统 负 责 对 大 数 据 平 台 中 任 何 可 疑 的 活 动 进 行 收 集 ， 监 控 ， 分 析 和 生 成 各 种 安 全 报 告 。 以 下 是 大 数 据 平 台 中 需 要 被 监 控 的 事 件 以 用 来 分 析 识 别 安 全 事 件 ： 用 户 登 录 和 身 份 验 证 事 件 、 H D F S 操 作 、 授 权 错 误 、 敏 感 数 据 操 作 、 M a p R e d u c e 任 务 、 通 过 各 种 客 户 端 的 访 问 如 O o z i e ， H U E 等 以 及 异 常 事 件 。 只 有 全 面 的 收 集 在 大 数 据 平 台 中 的 一 切 活 动 ， 才 有 机 会 捕 捉 可 能 会 发 生 的 安 全 事 故 及 进 行 事 后 分 析 时 有 机 会 进 行 回 溯 分 析 ， 追 踪 事 故 根 源 。 4 、 结 束 语 、 结 束 语 本 篇 围 绕 大 数 据 平 台 对 大 数 据 安 全 的 体 系 和 架 构 设 计 进 行 了 分 析 概 述 ， 完 全 实 践 本 文 中 所 设 计 的 安 全 架 构 是 一 项 艰 巨 的 任 务 ， 在 实 践 过 程 中 ， 需 深 入 掌 握 H a d o o p 自 身 的 安 全 特 性 支 持 ， 广 泛 了 解 开 源 软 件 及 商 业 软 件 在 数 据 管 理 和 数 据 安 全 上 的 优 势 点 ， 并 结 合 企 业 现 阶 段 对 大 数 据 部 署 的 实 际 情 况 选 择 合 适 的 产 品 从 不 同 角 度 保 护 大 数 据 平 台 的 安 全 。   在 下 次 的 分 享 中 ， 会 从 实 践 ( I n - A c t i o n ) 的 角 度 介 绍 如 何 采 用 合 适 的 开 源 技 术 和 商 业 产 品 来 实 现 大 数 据 平 台 安 全 架 构 。 * 本 文 作 者 ： 银 伞 数 据 ， 转 载 请 注 明 来 自 F r e e B u f . c o m        
阅 读 原 文
回复

举报

返回列表 发新帖
高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

使用Markdown编辑器编辑 使用富文本编辑器编辑

Archiver|手机版|小黑屋|Nmaps Club

GMT+8, 2025-1-23 10:31 , Processed in 0.345215 second(s), 31 queries .

Powered by Discuz! X3.5

© 2001-2025 Discuz! Team.

快速回复 返回顶部 返回列表