搜索

[12062] 2017-11-28_WitAwards2017“年度创新产品”参评巡礼观数Hadoop安全防护产品BIGDAF

文档创建者：s7ckTeam
浏览次数：19
最后更新：2025-01-18
2017-11-28_WitAwards2017“年度创新产品”参评巡礼观数Hadoop安全防护产品BIGDAF W i t A w a r d s   2 0 1 7 “ 年 度 创 新 产 品 ” 参 评 巡 礼   |   观 数 H a d o o p 安 全 防 护 产 品 B I G   D A F 原 创   E l a i n e _ z   F r e e B u f   2 0 1 7 - 1 1 - 2 8 大 数 据 彻 底 改 变 了 资 源 利 用 配 置 的 模 式 ， 但 是 其 引 发 的 安 全 问 题 ， 尤 其 是 在 大 数 据 安 全 防 护 的 最 后 一 公 里 上 ， 还 没 有 引 起 企 业 的 足 够 重 视 。 当 今 时 代 是 数 据 的 时 代 ， 数 据 时 代 的 浪 潮 下 当 今 时 代 是 数 据 的 时 代 ， 数 据 时 代 的 浪 潮 下   H a d o o p   成 为 日 渐 成 熟 的 利 器 ， 但 在 企 业 复 杂 的 生 态 环 境 中 应 用 成 为 日 渐 成 熟 的 利 器 ， 但 在 企 业 复 杂 的 生 态 环 境 中 应 用 H a d o o p ， 同 时 也 是 对 企 业 的 ， 同 时 也 是 对 企 业 的 数 据 管 理 提 出 的 一 个 挑 战 。 现 实 情 况 中 ， 管 理 提 出 的 一 个 挑 战 。 现 实 情 况 中 ，   H a d o o p   上 还 没 有 出 现 统 一 的 安 全 标 准 。 上 还 没 有 出 现 统 一 的 安 全 标 准 。 另 一 方 面 ， 在 开 发 大 数 据 系 统 的 时 候 ， 企 业 受 制 于 投 入 成 本 时 间 等 因 素 的 影 响 ， 他 们 更 容 易 聚 焦 在 性 能 与 业 务 另 一 方 面 ， 在 开 发 大 数 据 系 统 的 时 候 ， 企 业 受 制 于 投 入 成 本 时 间 等 因 素 的 影 响 ， 他 们 更 容 易 聚 焦 在 性 能 与 业 务 问 题 上 ， 安 全 问 题 则 很 容 易 遭 到 忽 略 。 问 题 上 ， 安 全 问 题 则 很 容 易 遭 到 忽 略 。 背 景 介 绍 背 景 介 绍 由 于 大 数 据 相 关 的 运 营 模 式 以 及 技 术 体 现 与 传 统 方 案 有 着 巨 大 的 差 异 性 ， 在 数 据 存 储 、 数 据 处 理 、 数 据 交 换 、 数 据 采 集 、 数 据 挖 掘 等 数 据 的 全 生 命 周 期 中 ， 产 生 了 新 的 安 全 风 险 和 攻 击 方 法 ， 给 大 数 据 系 统 带 来 了 数 据 滥 用 、 敏 感 数 据 泄 漏 、 数 据 污 染 、 数 据 篡 改 、 拒 绝 服 务 等 诸 多 安 全 隐 患 。 据 调 查 统 计 ， 目 前 在 我 国   9 0   % 以 上 的 大 数 据 系 统 都 运 行 在 以   H a d o o p   为 核 心 的 基 础 软 件 生 态 中 。 尽 管   H a d o o p   一 直 是 大 数 据 分 析 平 台 的 主 流 产 品 ， 但 其 安 全 性 一 直 深 受 诟 病 ， 而 针 对 安 全 的 各 种 配 置 也 都 比 较 复 杂 。 早 期 的   H a d o o p 1 . 0 . 0   之 前 版 本 ， 开 发 者 假 设 集 群 内 节 点 都 是 可 信 的 ， 因 此 在   H D F S   或   m a p r e d u c e   操 作 时 无 需 认 证 ， 导 致 出 现 恶 意 用 户 可 任 意 提 交 或 终 止 作 业 ， 并 可 随 意 篡 改 H D F S 数 据 ， 或 出 现 节 点 冒 充 等 问 题 。 H D F S 本 身 继 承 了 l i n u x   的 账 户 权 限 体 系 ， 因 此 具 有 一 定 的 访 问 控 制 功 能 ， 但 是 在 没 有 认 证 机 制 ， 导 致 这 些 权 限 体 系 如 同 虚 设 。 后 来 加 入 了   K e r b o e r s   认 证 机 制 之 后 。 实 现 了 节 点 之 间 采 用 密 钥 进 行 认 证 ， 只 有 被 认 证 过 的 节 点 才 可 以 正 常 交 互 ， 未 认 证 的 节 点 则 无 法 正 常 使 用 ， 防 止 了 恶 意 用 户 访 问   H a d o o p   集 群 的 问 题 ， 就 使 用 了   k e r b o e r s   协 议 。 然 而   k e r b o e r s   也 有 自 身 的 问 题 ， 由 于   k e r b o e r s   需 要 与 每 台 节 点 进 行 认 证 ， 因 此 在 每 一 个 节 点 和 组 件 上 ， 都 需 要 开 启   k e r b o e r s   的 组 件 开 关 ， 加 上 有 大 量 繁 琐 的 配 置 工 作 ， 往 往 会 在 部 署 上 显 得 十 分 困 难 ， 特 别 是 集 群 组 件 的 更 新 、 升 级 、 更 改 ， 以 及 节 点 的 增 减 ， 都 要 对   k e r b o e r s   进 行 相 应 的 配 置 ， 稍 有 偏 差 ， 就 会 导 致 集 群 无 法 启 动 ， 以 至 于 在 实 际 使 用 的 过 程 中 ， 许 多 用 户 在 多 次 尝 试 以 后 ， 选 择 放 弃 。
目 前 ， H a d o o p   最 常 见 的 安 全 问 题 有 ， 账 户 冒 充 、 数 据 泄 露 、 网 络 扫 描 、 勒 索 攻 击 、 物 理 攻 击 、 暴 力 破 解 、 越 权 访 问 等 。 具 体 的 安 全 隐 患 描 述 如 下 ： 1 .   H a d o o p 的 认 证 机 制 不 够 完 善 ， 不 开 启 k e r b e r o s 的 身 份 认 证 用 户 可 以 随 意 访 问 大 数 据 系 统 。 开 启 k e r b e r o s 的 认 证 机 制 会 降 低 整 个 集 群 的 效 率 。 2 .   授 权 单 一 ， 能 够 登 录 集 群 的 用 户 ， 就 可 以 访 问 任 何 数 据 。 对 于 主 客 体 访 问 控 制 的 类 型 不 够 丰 富 ， 不 足 以 满 足 不 同 业 务 的 需 求 。 3 .   H a d o o p 只 有 粗 略 的 访 问 日 志 ， 没 有 具 体 的 审 计 记 录 ， 无 法 对 大 数 据 平 台 各 组 件 全 面 可 视 化 审 计 。 4 .   大 数 据 平 台 组 件 及 应 用 系 统 众 多 ， 增 加 了 操 作 员 统 一 管 理 集 群 所 有 组 件 的 难 度 ， 同 时 H a d o o p 本 身 的 系 统 也 会 存 在 漏 洞 ， 因 此 实 现 大 数 据 平 台 的 漏 洞 扫 描 显 得 尤 为 重 要 。 5 .   敏 感 信 息 泄 露 威 胁 ， 个 人 数 据 的 传 输 过 程 、 存 储 过 程 、 处 理 过 程 、 使 用 过 程 等 还 无 法 实 施 有 效 控 制 ， 给 个 人 信 息 的 泄 露 造 成 威 胁 。 6 .   大 数 据 网 络 安 全 威 胁 ； 黑 客 可 以 通 过 大 数 据 技 术 收 集 、 漏 洞 分 析 和 挖 掘 情 报 ， 使 得 各 种 高 级 持 续 性 威 胁 攻 击 更 容 易 成 功 ， 并 从 原 有 海 量 、 低 价 值 的 数 据 中 获 取 有 用 的 数 据 信 息 ， 从 而 引 发 数 据 泄 露 ， 造 成 更 大 的 危 害 。 公 司 介 绍 公 司 介 绍 观 数 科 技 ， 成 立 于 2 0 1 5 年 ， 分 别 在 北 京 中 关 村 、 贵 阳 ( “ 中 国 数 谷 ” )   大 数 据 安 全 产 业 园 设 有 分 公 司 。 是 目 前 国 内 掌 握 大 数 据 H a d o o p 安 全 防 护 核 心 技 术 的 高 科 技 公 司 ， 大 数 据 安 全 解 决 方 案 的 提 供 商 。 公 司 于   2 0 1 6   年 推 出 国 内 首 个 获 得 公 安 部 认 证 的   H a d o o p   安 全 防 护 产 品   B I G   D A F ， 完 全 自 主 知 识 产 权 。
B I G   D A F   架 构 图 B I G   D A F   产 品 介 绍 产 品 介 绍 B I G D A F   是 国 内 首 个 网 关 级   H a d o o p   大 数 据 安 全 防 火 墙 ， 也 是 目 前 唯 一 通 过 公 安 部 认 证 的   H a d o o p   安 全 防 护 产 品 ， 具 有 用 户 管 理 、 角 色 管 理 、 权 限 管 理 、 操 作 行 为 管 控 、 任 务 管 控 、 基 线 检 测 与 漏 洞 扫 描 用 户 管 理 、 角 色 管 理 、 权 限 管 理 、 操 作 行 为 管 控 、 任 务 管 控 、 基 线 检 测 与 漏 洞 扫 描 等 安 全 防 护 功 能 。 这 款 产 品 主 要 由 三 部 分 组 成 ： 网 关 代 理 网 关 代 理 G a t e w a y 、 管 理 后 台 管 理 后 台 A d m i n 、 插 件 插 件 。 网 关 代 理 G a t e w a y 等 于 在 物 理 隔 离 区 和 公 共 区 有 一 个 桥 梁 ， 所 有 人 都 必 须 通 过 身 份 验 证 后 才 能 提 交 相 关 数 据 或 分 析 任 务 ； 管 理 后 台 A d m i n 主 要 配 置 相 应 的 用 户 和 权 限 ， 采 取 图 形 界 面 ， 不 需 要 进 行 代 码 级 操 作 ； 插 件 可 以 对 用 户 资 源 设 置 不 同 的 访 问 权 限 。 B I G   D A F   产 品 架 构 图 在 分 布 式 的 大 数 据   I T   架 构 下 ， 针 对 大 数 据 的 全 生 命 周 期 ， B I G   D A F 主 要 提 供 如 下 的 功 能 。 一 、 一 、 B I G   D A F 账 户 及 认 证 管 理 账 户 及 认 证 管 理
账 户 管 理 ： 继 承 并 接 管 H a d o o p 原 生 账 户 ， 完 全 重 构 了 一 套 权 限 机 制 ， 将 A C L 独 立 于 H a d o o p 之 外 ， 单 独 管 理 账 户 ， 形 成 独 立 的 账 户 管 理 体 系 。 身 份 认 证 ： 为 H a d o o p 中 所 有 组 件 ， 提 供 S S O ， 单 点 登 录 授 权 ， 提 供 用 户 名 + 密 码 的 身 份 验 证 方 式 。 网 络 控 制 ： 支 持 基 于 I P 、 端 口 的 黑 白 名 单 控 制 。 登 录 控 制 ： 支 持 用 户 + 时 间 + I P   的 登 录 控 制 。 账 号 安 全 ： 密 码 复 杂 度 、 登 录 失 败 处 理 策 略 。 大 数 据   H a d o o p   平 台 的 账 户 添 加 以 及 权 限 管 理 是 在   B I G   D A F   的   a d m i n   后 台 管 理 模 块 来 实 现 的 ，   B I G   D A F 产 品 的 用 户 及 权 限 包 括 但 不 限 于   H D F S   、 H i v e 、 Z o o k e e p e r 、 H b a s e 等 ， 在 试 用 时 ， 暂 时 只 能 看 到   H b a s e   的 后 台 界 面 。 二 、 二 、 B I G   D A F 下 的 授 权 和 访 问 控 制 下 的 授 权 和 访 问 控 制 B I G   D A F 提 供 了 细 粒 度 级 的 授 权 及 访 问 控 制 ， 可 以 对 用 户 和 应 用 程 序 提 供 精 确 的 访 问 级 别 。 分 权 管 理 ： 安 全 、 审 计 和 操 作 ， 拥 有 安 全 权 限 的 使 用 者 ， 只 能 设 置 安 全 策 略 ； 审 计 权 限 的 人 员 只 能 查 看 相 应 的 日 志 ， 掌 握 关 键 数 据 的 使 用 情 况 ； 操 作 权 限 的 人 员 只 能 根 据 安 全 策 略 进 行 数 据 使 用 。 三 种 身 份 相 互 制 约 ， 避 免 权 限 集 中 带 来 的 安 全 风 险 。 授 权 管 理 ： 针 对 主 客 体 的 授 权 管 理 ， 独 立 维 护 一 套 访 问 控 制 列 表 A C L ， 针 对 大 数 据 平 台 上 的 几 乎 所 有 组 件 进 行 单 独 授 权 管 理 （ H d f s 、 H b a s e 、 S t r o m 、 K n o x 、 s o l r 、 K a f k a ） 。 访 问 控 制 ： 实 现 多 种 安 全 模 式 （ D A C 、 M A C   、 R B A C 、 T B A C ） 细 粒 度 访 问 控 制 ， 自 主 访 问 控 制 （ D A C ） ， 解 决 大 数 据 平 台 超 级 用 户 一 权 独 大 的 问 题 ， 文 件 所 属 用 户 不 能 被 更 改 ； 强 制 访 问 控 制 （ M A C ） ， 对 用 户 及 资 源 进 行 级 别 划 分 ， 不 上 读 ， 不 下 写 。
网 关 代 理   G a t e W a y   的   R B A C   权 限 管 控 三 、 任 务 沙 箱 三 、 任 务 沙 箱 任 务 沙 箱 ： 针 对 计 算 任 务 j a r 包 ， 可 通 过 沙 箱 预 执 行 ， 判 断 访 问 资 源 是 否 越 权 ， 通 过 后 台 管 理 统 一 管 理 J A R 包 ， 上 传 J A R 包 、 检 测 J A R 包 ， 浏 览 J A R 包 执 行 返 回 的 状 态 ； 通 过 后 台 管 理 可 以 查 看 历 史 任 务 ； 导 出 J A R 包 上 传 以 及 执 行 结 果 的 相 关 日 志 。 四 、 数 据 安 全 四 、 数 据 安 全 B I G   D A F 还 可 以 定 义 敏 感 数 据 、 制 定 规 则 ， 防 止 敏 感 数 据 外 流 ， 或 者 进 行 敏 感 字 段 的 识 别 和 部 分 脱 敏 。 其 次 ， 比 如 手 机 号 经 识 别 引 擎 可 以 划 分 为 ： 网 络 识 别 号 （ 3 ） + 地 区 编 码 （ 4 ～ 7 ） + 用 户 号 码 （ 8 ～ 1 1 ） 3 个 敏 感 区 域 。 B I G   D A F   可 以 根 据 需 求 对 敏 感 区 域 进 行 ， 替 换 、 重 排 、 加 密 、 截 断 、 掩 码 。 其 次 ， 在 数 据 通 讯 上 ， B I G   D A F 的   G a t e W a y   是   h t t p s   的 通 信 加 密 方 式 ， 同 时 本 身 支 持   k e r b e r o s   认 证 方 式 ， 同 时 也 支 持   K M S 。
五 、 监 控 与 审 计 五 、 监 控 与 审 计 产 品 可 以 对 整 体 资 源 的 状 况 进 行 监 控 ， B I G   D A F   可 以 对 大 数 据 环 境 中 组 件 节 点 状 态 ， 以 及 资 源 的 使 用 情 况 进 行 监 控 展 示 ， 包 括 节 点 正 常 运 行 时 间 、 节 点 存 活 状 态 和 内 存 、 C P U 、 硬 盘 的 使 用 情 况 。 其 次 ， B I G   D A F   可 对 用 户 、 应 用 、 使 用 数 据 资 源 情 况 进 行 排 序 、 查 询 、 分 析 。 可 对 节 点 性 能 、 流 量 、 任 务 等 进 行 监 控 。 可 设 置 预 警 值 ， 当 资 源 紧 张 时 报 警 。 六 、 安 全 审 计 六 、 安 全 审 计 安 全 审 计 ： B I G   D A F   可 以 将 主 客 体 的 访 问 形 成 详 细 日 志 ， 包 含 用 户 名 、 I P 、 操 作 、 资 源 、 访 问 类 型 、 时 间 、 授 权 结 果 。 可 以 根 据 用 户 、 时 间 、 认 证 结 果 进 行 筛 选 分 析 ， 做 到 事 中 监 控 、 事 后 审 计 追 溯 安 全 事 件 。 A d m i n   s e r v e r 则 可 以 进 行 操 作 日 志 记 录 ， 为 事 后 追 责 提 供 依 据 。 紧 急 日 志 ： 非 法 访 问 、 口 令 破 解 、 网 络 攻 击 、 系 统 错 误 、 性 能 告 急 。 常 规 日 志 ： 登 录 日 志 、 维 护 日 志 、 A C L 修 改 、 系 统 运 维 。 平 台 日 志 的 统 一 管 控 ： 能 够 丰 富 补 充 大 数 据 各 个 组 件 以 及 访 问 所 产 生 的 日 志 ， 能 够 从 这 些 日 志 里 分 析 出 可 阅 读 的 报 告 ， 能 够 发 现 安 全 事 件 。
B I G   D A F   产 品 优 势 产 品 优 势 我 们 可 以 看 到 ， B I G   D A F   在 性 能 上 的 消 耗 ， 主 要 通 过   A C L   和 审 计 实 现 ， 不 会 对 集 群 造 成 性 能 影 响 。 其 次 ， 其 系 统 独 立 在 H a d o o p 系 统 之 外 ， 对 通 用 版 和 发 行 版 都 具 有 良 好 的 兼 容 性 ， 会 对 厂 商 的 后 续 更 新 具 备 支 持 能 力 。 最 后 在 安 全 性 上 ， 日 志 、 配 置 和 各 种 安 全 模 型 都 进 行 了 备 份 保 存 。 在 当 今 大 数 据 时 代 下 ， 不 少 企 业 拥 抱 变 化 加 强 了 数 据 方 面 的 基 础 设 施 建 设 ， 大 数 据 安 全 作 为 保 障 业 务 健 康 发 展 在 当 今 大 数 据 时 代 下 ， 不 少 企 业 拥 抱 变 化 加 强 了 数 据 方 面 的 基 础 设 施 建 设 ， 大 数 据 安 全 作 为 保 障 业 务 健 康 发 展 的 基 础 需 要 得 到 更 多 的 关 注 。 的 基 础 需 要 得 到 更 多 的 关 注 。 第 三 方 安 全 工 具 和 解 决 方 案 提 供 了 了 更 集 成 和 便 捷 的 方 式 供 企 业 选 择 。 企 业 应 用 此 类 解 决 方 案 能 够 更 完 善 地 掌 第 三 方 安 全 工 具 和 解 决 方 案 提 供 了 了 更 集 成 和 便 捷 的 方 式 供 企 业 选 择 。 企 业 应 用 此 类 解 决 方 案 能 够 更 完 善 地 掌 握 大 数 据 系 统 中 关 键 数 据 的 使 用 情 况 、 进 行 权 限 控 制 、 数 据 隔 离 、 日 志 审 计 、 系 统 资 源 和 性 能 监 控 。 在 复 杂 环 握 大 数 据 系 统 中 关 键 数 据 的 使 用 情 况 、 进 行 权 限 控 制 、 数 据 隔 离 、 日 志 审 计 、 系 统 资 源 和 性 能 监 控 。 在 复 杂 环 境 下 ， 企 业 选 择 第 三 方 的 安 全 管 理 方 案 也 不 失 为 一 种 可 以 考 虑 的 选 择 。 境 下 ， 企 业 选 择 第 三 方 的 安 全 管 理 方 案 也 不 失 为 一 种 可 以 考 虑 的 选 择 。 W i t A w a r d s   2 0 1 7   颁 奖 盛 典 颁 奖 盛 典   |   F I T   2 0 1 8   互 联 网 创 新 大 会 即 将 揭 晓 互 联 网 创 新 大 会 即 将 揭 晓 W i t A w a r d s 年 度 互 联 网 安 全 评 选 活 动 由 国 内 信 息 安 全 新 媒 体 领 导 者   F r e e B u f . C O M   主 办 。 评 选 周 期 历 时 3 个 月 ， 评 委 包 括 顶 尖 行 业 专 家 、 行 业 媒 体 和 安 全 从 业 者 ， 颁 奖 盛 典 将 在 F r e e B u f   互 联 网 安 全 创 新 大 会 （ F I T   2 0 1 8 ） 举 办 。 「 F I T 2 0 1 8 大 会 官 网 」
W i t A w a r d s   2 0 1 7 互 联 网 安 全 年 度 评 选 ， 旨 在 发 掘 全 年 卓 越 的 安 全 产 品 和 杰 出 人 物 ； 给 予 在 2 0 1 7 年 为 安 全 行 业 做 出 贡 献 的 个 人 、 团 队 及 产 品 以 掌 声 和 肯 定 。 历 时 5 5 天 ， 近 5 0 0 项 申 报 及 提 名 ， 经 W I T 组 委 会 严 格 审 核 ， 共 预 录 取 7 1 席 入 围 项 目 。 F r e e B u f 现 邀 请 每 一 位 安 全 领 域 从 业 者 、 爱 好 者 ， 共 同 选 出 安 全 领 域 T o p   I c o n ， 一 起 见 证 年 度 安 全 盛 誉 的 诞 生 ， 为 数 万 名 从 业 者 和 数 百 款 安 全 产 品 的 努 力 与 创 新 喝 彩 ！ 阅 读 原 文
回复

举报

高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

Archiver| 手机版| 小黑屋|
Powered by Discuz! X3.4 Copyright © 2001-2020, Tencent Cloud. 商业源码建议获取授权，如侵犯您的权益，请联系客服处理