搜索

[20985] 2020-04-26_日志管理与分析（七）–云日志

文档创建者：s7ckTeam
浏览次数：2
最后更新：2025-01-18
2020-04-26_日志管理与分析（七）–云日志 日 志 管 理 与 分 析 （ 七 ） – 云 日 志 L e m o n S e c   2 0 2 0 - 0 4 - 2 6 首 发 安 全 脉 搏 ： h t t p s : / / w w w . s e c p u l s e . c o m / a r c h i v e s / 1 2 1 7 9 3 . h t m l 随 着 开 发 和 运 营 团 队 不 断 把 资 源 迁 移 向 云 端 ， 企 业 对 于 基 于 云 的 服 务 也 使 用 越 来 越 多 ， 致 使 安 全 团 队 不 得 不 时 刻 准 备 应 对 不 预 期 的 问 题 — — 大 量 新 的 预 警 和 事 件 。 在 之 前 的 文 章 《 日 志 管 理 与 分 析 （ 六 ） – 日 志 的 审 核 与 响 应 》 中 ， 概 念 化 的 讲 述 了 日 志 的 异 常 与 分 析 、 事 故 响 应 流 程 等 随 着 业 务 量 的 增 长 ， 服 务 器 的 增 长 ， 同 时 应 用 日 志 的 数 量 也 是 呈 现 几 何 的 速 度 增 长 。 大 部 分 人 的 认 为 日 志 数 据 对 业 务 来 说 只 是 开 发 人 员 排 除 故 障 的 依 据 ， 除 此 以 外 对 业 务 而 言 是 没 有 任 何 的 意 义 的 。 我 相 信 ， 对 很 多 人 的 认 知 来 说 日 志 也 就 那 么 点 的 作 用 。 不 可 或 缺 ， 但 是 也 是 很 鸡 肋 。 需 要 它 的 时 候 ， 迫 不 及 待 ， 不 需 要 它 的 时 候 弃 之 如 敝 履 。 本 章 围 绕 云 计 算 、 云 安 全 以 及 云 日 志 的 基 本 概 念 。 目 的 并 不 是 让 你 成 为 这 些 主 题 的 专 家 ， 而 是 为 你 提 供 基 本 知 识 ， 以 及 做 出 云 日 志 方 面 的 明 智 决 策 所 需 的 理 解 。 你 对 云 概 念 的 细 节 了 解 越 多 ， 就 越 容 易 在 选 择 提 供 商 时 做 出 正 确 的 决 定 。 1 .   云 计 算 云 计 算 本 质 上 ， 云 计 算 是 一 个 用 于 描 述 用 户 与 一 组 计 算 机 资 源 （ C P U 、 内 存 、 磁 盘 等 ） 交 互 方 式 的 术 语 。 对 于 最 终 用 户 ， 他 好 像 在 使 用 一 个 计 算 机 系 统 。 但 是 ， 实 际 上 用 户 使 用 的 可 能 是 许 多 不 同 （ 往 往 进 行 虚 拟 化 ） 的 组 件 。 云 计 算 的 关 键 特 征 之 一 是 弹 性 。 弹 性 是 扩 展 （ 在 需 要 更 多 资 源 时 ） 和 资 源 不 再 需 要 时 收 缩 的 能 力 。 在 文 章 部 分 ， 会 使 用 “ 提 供 商 ” 和 “ 消 费 者 ” 两 个 术 语 。 提 供 商 是 提 供 云 服 务 的 一 方 ， 可 能 是 第 三 方 实 体 ， 也 可 能 是 公 司 内 部 的 一 个 群 体 。 消 费 者 是 消 费 云 服 务 的 人 。 1 . 1   服 务 交 付 模 型 服 务 交 付 模 型 服 务 交 付 模 型 指 的 是 特 定 的 计 算 机 资 源 交 付 给 最 终 用 户 的 方 式 。 软 件 即 服 务 （ S o f t w a r e   a s   a   S e r v i c e ） 、 平 台 即 服 务 （ P l a t f o r m   a s   a S e r v i c e ） 和 基 础 设 施 即 服 务 （ I n f r a s t r u c t u r e   a s   a   S e r v i c e ） 。 1 . 软 件 即 服 务 （ S a a S ） S a a S 用 于 描 述 存 在 于 提 供 商 基 础 设 施 上 的 软 件 。 消 费 者 使 用 客 户 端 或 者 w e b 浏 览 器 交 互 并 使 用 该 软 件 。 从 消 费 者 的 角 度 看 ， 他 们 是 与 单 一 计 算 机 系 统 交 互 。 他 们 不 负 责 软 件 和 硬 件 维 护 、 保 护 等 工 作 。 要 注 意 的 是 ， S a a S 提 供 商 可 能 是 S a l e s f o r c e . c o 这 样 的 第 三 方 外 部 提 供 商 ， 也 可 能 是 消 费 者 所 在 组 织 内 的 内 部 提 供 商 。 云 日 志 提 供 商 属 于 这 种 交 付 模 型 ， 也 就 是 说 ， 一 个 组 织 接 受 日 志 ， 以 便 为 其 他 组 织 分 析 日 志 。 2 . 平 台 即 服 务 （ P a a S ） 在 P a a S 模 式 下 ， 消 费 者 可 以 将 定 制 的 应 用 程 序 或 者 工 具 部 署 到 提 供 商 的 云 。 和 P a a S 一 样 ， 消 费 者 对 底 层 硬 件 或 者 网 络 没 有 控 制 权 （ 在 有 些 情 况 下 ， 消 费 者 可 能 访 问 防 火 墙 配 置 ） ， 但 是 和 S a a S 不 同 ， 消 费 者 对 于 部 署 的 应 用 程 序 和 相 关 配 置 有 控 制 权 。 云 日 志 提 供 商 不 允 许 消 费 者 安 装 自 己 的 应 用 程 序 。 3 . 基 础 设 施 即 服 务 （ I a a S ） 最 后 一 种 服 务 交 付 模 型 处 理 基 础 设 施 。 I a a S 允 许 消 费 者 配 置 计 算 资 源 ， 如 C P U 、 内 存 、 磁 盘 、 网 络 和 其 他 相 关 资 源 。 消 费 者 通 常 控 制 操 作 系 统 、 部 署 的 应 用 程 序 和 存 储 容 量 。 他 们 不 能 控 制 底 层 基 础 设 置 。 4 . 存 储 即 服 务 顾 名 思 义 ， 存 储 即 服 务 处 理 云 中 的 存 储 。 消 费 者 和 提 供 商 签 署 一 个 协 议 ， 租 用 提 供 商 网 络 上 的 空 间 。 加 个 通 常 根 据 每 G B 存 储 和 某 种 数 据 传 输 率 确 定 。 最 常 见 的 用 例 是 场 外 备 份 和 检 索 服 务 。 中 小 规 模 消 费 者 可 以 从 这 种 服 务 获 得 很 大 的 利 益 ， 因 为 I T 、 硬 件 、 软 件 和 网 络 管 理 都 由 提 供 商 承 担 。 1 . 2   云 部 署 模 型 云 部 署 模 型 云 计 算 系 统 可 能 进 行 私 有 部 署 ， 或 者 托 管 在 云 客 户 的 场 地 中 ， 可 以 和 有 限 数 据 的 可 信 合 作 伙 伴 共 享 ， 可 以 由 第 三 方 托 管 ， 也 可 以 是 公 共 可 以 访 问 的 服 务 ， 即 公 共 云 。 理 解 部 署 模 型 的 两 个 关 键 概 念 是 场 内 和 场 外 。 场 内 指 的 是 基 础 设 施 位 于 消 费 者 的 场 地 - - 也 就 是 他 们 的 数 据 中 心 。 场 外 指 的 是 云 处 于 消 费 者 的 场 地 之 外 - - 也 就 是 云 提 供 商 的 数 据 中 心 。 1 . 公 共 云 顾 名 思 义 ， 公 共 云 的 基 础 设 施 可 供 公 众 访 问 ， 这 种 云 一 般 是 由 行 业 集 团 或 者 公 司 拥 有 ， 以 各 种 不 同 的 形 式 销 售 云 服 务 。 云 的 基 础 设 施 由 某 个 组 织 运 营 ， 可 以 由 该 组 织 或 者 云 提 供 商 管 理 。 基 础 设 施 可 以 在 场 内 ， 也 可 能 在 场 外 。 2 . 私 有 云 同 样 ， 从 名 称 就 可 以 看 出 ， 这 种 云 是 私 有 的 ， 是 供 单 一 组 织 使 用 。 云 的 管 理 由 该 组 织 或 者 云 提 供 商 负 责 。 私 有 云 既 可 以 是 场 内 的 ， 也 可 以 是 场 外 的 。 3 . 社 区 云 有 共 同 关 注 点 的 组 织 可 以 采 用 社 区 云 。 共 同 关 注 点 可 以 是 “ 任 务 、 安 全 需 求 、 策 略 或 者 依 从 性 考 虑 ” 。 云 的 管 理 由 社 区 或 者 云 提 供 商 执 行 。 社 区 云 可 以 是 场 内 的 ， 也 可 以 是 场 外 的 。 4 . 混 合 云 混 合 云 考 虑 以 某 种 方 式 将 两 种 或 者 更 多 的 云 类 型 （ 公 共 、 私 有 等 ） 组 合 在 一 起 ， 提 供 可 移 植 性 。 例 如 ， 云 日 志 提 供 商 可 能 允 许 消 费 者 创 建 自 己 的 私 有 云 ， 以 便 提 供 商 的 应 用 程 序 栈 可 以 放 在 同 一 个 位 置 。 这 样 做 的 好 处 是 为 消 费 者 提 供 处 理 灾 难 恢 复 、 集 中 化 、 依 从 性 等 问 题 的 手 段 。 2 .   云 日 志 云 日 志 虽 然 本 篇 的 主 题 是 关 于 云 日 志 的 ， 但 是 前 面 必 须 提 到 关 于 云 计 算 的 许 多 信 息 。 这 是 因 为 ， 云 日 志 只 是 云 计 算 的 一 个 应 用 。 换 言 之 ， 正 是 云 计 算 才 使 云 日 志 得 以 存 在 。 日 志 即 服 务 （ L a a S ） 。 L a a S 指 的 是 提 供 商 用 云 设 置 来 提 供 日 志 记 录 服 务 。 也 就 是 说 ， 提 供 商 获 取 日 志 数 据 ， 并 代 表 其 他 人 实 施 分 析 。 下 图 展 示 了 云 日 志 的 概 要 描 述 。
图 中 是 一 系 列 将 日 志 记 录 到 云 中 的 设 备 。 提 供 商 给 你 一 个 I P 地 址 或 者 主 机 名 ， 让 你 的 s y s l o g 配 置 指 向 它 。 但 是 实 际 情 况 可 能 会 更 加 复 杂 ， 至 少 对 于 云 日 志 提 供 商 来 说 是 这 样 。 例 如 I P 地 址 的 另 一 端 可 能 是 负 载 均 衡 器 ， 用 于 处 理 入 站 连 接 。 平 衡 器 把 请 求 发 给 许 多 机 器 中 的 一 个 ， 这 些 机 器 获 取 数 据 、 规 范 化 、 索 引 ， 并 将 日 志 存 储 起 来 供 以 后 检 索 。 云 日 志 存 储 的 复 杂 度 和 功 能 正 在 不 断 增 加 。 下 面 介 绍 了 云 日 志 实 体 共 有 的 特 性 和 功 能 ： · 日 志 获 取 方 法 ： 为 了 将 数 据 输 入 到 云 中 ， 大 部 分 云 日 志 提 供 商 支 持 s y s l o g （ T C P / U D P 和 安 全 / T L S ） 和 一 个 专 有 的 A P I （ 通 常 是 通 过 H T T P / H T T P S 的 R E S T 风 格 A P I ） 。 s y s l o g 覆 盖 世 界 上 9 5 % 以 上 的 设 备 。 A P I 允 许 将 云 日 志 构 建 到 你 的 应 用 程 序 中 。 · 部 署 模 型 ： 有 些 云 日 志 提 供 商 在 云 计 算 提 供 商 的 基 础 上 构 建 他 们 的 服 务 ， 而 其 他 一 些 提 供 商 构 建 自 己 的 云 。 提 供 商 甚 至 可 能 支 持 混 合 模 型 。 · 日 志 保 存 ： 所 有 提 供 商 都 支 持 日 志 数 据 的 长 期 保 存 ， 不 同 之 处 在 于 存 储 的 收 费 。 通 常 ， 购 买 者 控 制 保 存 数 据 的 周 期 （ 几 天 、 几 周 、 几 个 月 ） 。 有 些 提 供 商 只 允 许 最 多 留 存 6 个 月 的 数 据 。 · 核 心 功 能 ： 日 志 云 服 务 的 基 本 核 心 功 能 包 括 日 志 数 据 获 取 、 日 志 数 据 索 引 日 志 数 据 获 取 、 日 志 数 据 索 引 （ 用 于 快 速 搜 索 等 ） 、 长 期 存 储 和 用 于 搜 索 及 审 核 数 据 的 用 户 界 面 （ 通 常 基 于 w e b ） 。 除 了 这 些 ， 还 有 关 联 、 定 制 警 报 和 定 制 报 告 等 额 外 功 能 （ 有 些 提 供 商 并 不 支 持 这 些 功 能 ） 。 · 记 账 ： 大 部 分 云 日 志 供 应 商 支 持 随 用 随 付 模 型 。 你 不 需 要 签 订 合 同 ， 只 需 为 发 送 给 供 应 商 和 希 望 保 存 的 日 志 数 据 付 费 。 而 且 ， 大 部 分 提 供 商 有 “ 购 买 前 试 用 ” 计 划 ， 这 种 计 划 本 质 上 允 许 你 每 天 免 费 发 送 少 量 日 志 消 息 ， 以 尝 试 服 务 是 否 令 你 满 意 。 · 灾 难 恢 复 ( D R ) ： 有 些 云 日 志 提 供 商 在 服 务 条 款 中 说 明 ， 他 们 不 对 数 据 丢 失 负 责 。 事 实 是 ， 云 日 志 行 业 必 须 解 决 这 个 问 题 ， 才 能 使 其 成 为 较 大 型 消 费 者 的 可 行 选 择 。 这 一 领 域 正 在 以 非 凡 的 速 度 成 长 和 扩 张 。 提 供 商 不 断 出 现 ， 并 且 都 有 最 新 的 突 破 性 功 能 。 然 而 ， 许 多 提 供 商 只 将 重 点 放 在 运 营 ， 而 不 是 安 全 和 依 从 性 方 面 。 如 果 你 所 在 公 司 遇 到 需 要 采 用 服 务 ， 需 要 向 他 们 提 出 有 关 服 务 的 问 题 。 了 解 他 们 所 提 供 服 务 的 内 容 。 下 面 是 一 些 需 要 询 问 的 基 本 问 题 ： 1 ） 有 没 有 安 全 主 管 或 者 C S O 能 够 帮 助 设 置 安 全 态 势 ？ 2 ） 采 用 什 么 安 全 控 制 来 保 护 我 的 数 据 ？ 3 ） 提 供 商 的 总 体 安 全 态 势 如 何 ？ 4 ） 我 的 数 据 和 其 他 人 的 数 据 如 何 隔 离 ？ 5 ） 采 用 什 么 部 署 模 型 ？ 6 ） 采 用 何 种 记 录 计 划 ？ 7 ） 关 于 正 常 运 行 时 间 和 如 下 项 目 的 可 用 性 ， 它 们 提 供 何 种 S L A ： a ） 日 志 获 取 服 务 b ） 日 志 保 存 服 务 c ） 用 户 界 面 d ） 报 告 系 统 8 ） 提 供 商 支 持 什 么 样 的 警 报 选 项 （ 电 子 邮 件 、 短 消 息 等 ） ？ 9 ） 他 们 是 否 提 供 关 联 ？ 如 果 有 ， 采 用 什 么 形 式 ， 统 计 还 是 基 于 规 则 ？ 1 0 ） 和 上 面 的 第 8 条 类 似 ， 他 们 如 何 安 装 维 护 ， 换 言 之 ， 他 们 是 否 在 每 周 二 凌 晨 3 点 进 行 维 护 ？ 在 维 护 期 间 ， 服 务 的 可 用 性 如 何 ？ L o g g l y ， 它 提 供 了 一 个 基 于 w e b 的 A P I 来 将 数 据 获 取 到 云 中 。 这 是 你 用 于 搜 索 日 志 数 据 的 机 制 。 云 日 志 提 供 商 应 该 支 持 这 样 的 定 制 A P I ： 1 ）   你 可 以 从 自 己 控 制 的 任 何 系 统 或 者 应 用 程 序 发 送 日 志 数 据 ， 这 些 系 统 和 应 用 程 序 可 能 不 支 持 s y s l o g 。 2 ） 你 可 以 构 建 自 己 的 警 报 系 统 。 通 过 定 期 查 询 云 ， 你 也 可 以 编 写 脚 本 搜 索 各 种 关 心 的 事 件 ， 然 后 发 送 电 子 邮 件 、 短 消 息 等 。 你 甚 至 可 以 与 内 部 工 作 单 系 统 接 口 。 3 ） 相 互 制 衡 。 例 如 ， 你 可 以 计 量 发 送 到 提 供 商 的 数 据 量 ， 核 对 数 额 。 你 甚 至 可 以 检 测 发 送 到 云 的 数 据 有 没 有 及 时 到 达 ， 在 失 败 时 （ 从 提 供 商 那 里 得 到 一 个 错 误 的 响 应 ） 重 新 发 送 。 3 .   监 管 、 依 从 性 和 安 全 问 题 监 管 、 依 从 性 和 安 全 问 题 你 所 处 行 业 （ 银 行 、 医 疗 、 * * * 等 ） 要 求 监 管 依 从 性 ， 确 保 你 能 够 对 抗 外 部 和 内 部 威 胁 、 数 据 丢 失 等 。 《 日 志 管 理 与 分 析 （ 四 ） – 日 志 管 理 规 程 》 中 分 别 从 P C I   D S S 、 I S O   2 7 0 0 1 、 H I P A A 举 例 详 述 了 监 管 、 依 从 性 对 不 同 行 业 的 日 志 要 求 。 考 虑 到 云 日 志 提 供 商 部 署 自 己 的 软 件 和 服 务 ， 因 此 需 要 解 决 监 管 、 依 从 性 和 安 全 问 题 。 确 实 如 此 ， 许 多 法 律 法 规 的 要 求 都 没 有 面 向 云 计 算 。 因 此 ， 作 为 云 消 费 者 ， 需 要 理 解 下 面 这 些 由 你 负 责 。 · 使 用 云 服 务 的 监 管 适 用 性 。 · 云 提 供 商 和 云 消 费 者 之 间 的 依 从 性 职 责 划 分 。
· 云 提 供 商 生 成 依 从 性 所 需 证 据 的 能 力 。 · 云 消 费 者 在 弥 补 云 提 供 商 和 审 计 人 员 / 评 估 人 员 之 间 鸿 沟 中 的 角 色 。 确 保 你 和 内 部 审 计 团 队 一 起 工 作 ， 协 调 到 云 提 供 商 的 过 渡 。 为 适 应 新 技 术 的 发 展 ， 解 决 云 计 算 、 物 联 网 、 移 动 互 联 和 工 控 领 域 信 息 系 统 的 等 级 保 护 工 作 的 需 要 ， 由 公 安 部 牵 头 组 织 开 展 了 信 息 技 术 新 领 域 等 级 保 护 重 点 标 准 申 报 国 家 标 准 的 工 作 ， 等 级 保 护 正 式 进 入 2 . 0 时 代 。 等 保 2 . 0 云 计 算 方 面 的 安 全 扩 展 要 求 ， 每 一 级 安 全 扩 展 要 求 都 分 为 五 个 部 分 ， 即 安 全 物 理 环 境 、 安 全 通 信 网 络 、 安 全 区 域 边 界 、 安 全 计 算 环 境 和 安 全 建 设 管 理 。 在 安 全 物 理 环 境 中 ， 等 保 2 . 0 强 调 “ 保 证 云 计 算 基 础 设 施 位 于 中 国 境 内 ” ， 同 时 “ 确 保 云 服 务 * * * * 、 用 户 个 人 信 息 等 存 储 于 中 国 境 内 ” 。 从 上 面 两 条 规 定 ， 我 们 看 到 云 计 算 基 础 设 施 和 数 据 不 能 出 境 。 随 着 国 内 数 字 经 济 的 发 展 和 云 计 算 的 深 入 推 进 ， 云 计 算 基 础 设 施 将 得 到 进 一 步 发 展 。 对 国 内 数 据 中 心 而 言 ， 这 也 是 一 个 利 好 消 息 。 关 于 云 计 算 安 全 扩 展 要 求 的 解 读 可 以 参 考 网 络 上 的 资 料 。 至 于 I T 安 全 ， 云 提 供 商 的 安 全 态 势 实 际 上 和 常 规 组 织 没 有 什 么 不 同 。 当 然 ， 考 虑 到 虚 拟 硬 件 的 使 用 、 数 据 隔 离 方 面 的 考 虑 和 身 份 管 理 等 ， 它 们 需 要 处 理 额 外 的 问 题 。 云 提 供 商 应 该 遵 循 的 最 佳 实 践 ： · 内 部 人 员 （ 提 供 商 内 部 ） 可 能 泄 露 你 的 数 据 。 · 云 提 供 商 应 该 在 招 聘 过 程 中 包 含 背 景 调 查 。 · 云 提 供 商 应 该 实 施 安 全 策 略 、 控 制 等 ， 这 些 措 施 应 该 与 要 求 最 严 格 的 客 户 相 符 。 · 协 议 或 者 服 务 条 款 应 该 概 述 安 全 策 略 、 备 份 和 恢 复 、 业 务 持 续 性 等 细 节 。 · 云 提 供 商 应 该 在 接 收 到 请 求 时 ， 提 供 简 述 提 供 商 I T 安 全 态 势 的 文 档 。 从 依 从 性 和 安 全 的 角 度 ， 很 容 易 理 解 使 用 公 共 云 提 供 商 的 含 义 。 在 这 种 情 况 下 ， 使 用 混 合 部 署 模 型 变 得 更 加 有 趣 。   混 合 云 跨 越 私 有 云 和 公 共 云 。 界 限 变 得 模 糊 ， 因 为 在 这 种 部 署 中 ， 消 费 者 在 提 供 商 的 站 点 和 自 己 的 站 点 上 都 使 用 云 资 源 。 有 许 多 因 素 需 要 考 虑 ， 如 ： 1 ） 谁 负 责 加 固 两 个 站 点 之 间 链 接 的 安 全 ？ 2 ） 谁 负 责 场 内 设 施 的 安 全 ？ 3 ） 谁 负 责 场 外 设 施 的 安 全 ？ 4 ） 如 果 泄 露 发 生 在 消 费 者 端 而 非 云 提 供 商 一 端 ， 事 故 响 应 和 升 级 如 何 处 理 ？ 5 ） 根 据 组 织 所 处 的 监 管 和 法 规 下 ， 你 可 以 参 与 混 合 部 署 吗 ？ 转 移 到 云 的 任 何 决 策 都 有 许 多 需 要 考 虑 的 细 节 。 但 是 从 企 业 的 责 任 和 需 求 开 始 推 进 云 计 算 ， 就 可 以 更 加 清 晰 地 完 成 过 渡 。 3 . 1   云 中 的 大 数 据 云 中 的 大 数 据 正 如 S t e p h e n   M a r s l a n d 在 他 的 著 作 中 提 到 的 ， “ 如 果 数 据 有 质 量 ， 那 么 地 球 就 是 一 个 黑 洞 ” 。 什 么 是 海 量 数 据 呢 ？ 我 们 来 看 一 个 真 实 的 公 司 。 该 公 司 有 超 过 5 0 0 0 台 服 务 器 、 2 0 0 0 台 路 由 器 和 交 换 机 ， 大 约 6 0 0 台 安 全 设 备 （ 防 火 墙 、 I D S 、 I P S 、 V P N 、 内 容 服 务 交 换 机 、 防 病 毒 ） 和 5 0 0 0 0 个 以 上 的 桌 面 防 火 墙 和 主 机 防 病 毒 软 件 （ 桌 面 和 编 写 电 脑 ） 。 这 至 少 可 以 称 得 上 是 一 个 大 型 网 络 了 。 在 整 个 企 业 中 ， 从 所 有 系 统 中 产 生 的 日 志 消 息 每 秒 大 约 有 1 0 万 条 。 我 们 假 设 平 均 日 志 消 息 大 小 为 3 0 0 字 节 。 你 可 以 想 想 ， 每 小 时 有 多 少 消 息 ？ 一 天 有 多 少 消 息 ？ 我 们 提 倡 记 录 日 志 ， 并 持 续 评 估 所 收 集 的 信 息 。 通 过 这 一 过 程 ， 你 可 以 不 记 录 任 何 不 打 算 查 看 、 不 关 心 或 者 没 什 么 价 值 的 信 息 。 但 是 有 些 人 希 望 或 者 必 须 收 集 尽 可 能 多 的 日 志 数 据 。 对 于 具 有 严 格 的 查 询 和 分 析 需 求 、 且 体 积 持 续 增 长 的 数 据 （ 数 据 密 集 型 应 用 程 序 ） ， 传 统 的 关 系 数 据 库 （ R D B M S ） 已 经 穷 于 应 付 ， N o S Q L 也 就 应 运 而 生 。 它 的 原 意 是 成 为 现 代 化 的 w e b 级 数 据 库 。 常 见 的 特 征 有 ： 无 模 式 、 简 易 复 制 支 持 、 简 单 A P I 、 最 终 一 致 性 / B A S E （ 不 是 A C I D ） 、 巨 大 的 数 据 量 等 。 虽 然 关 系 型 数 据 库 已 经 在 业 界 的 数 据 存 储 方 面 占 据 不 可 动 摇 的 地 位 ， 但 是 由 于 其 天 生 的 几 个 限 制 ， 使 其 很 难 满 足 上 面 这 几 个 需 求 ： 1 .   扩 展 困 难 ： 由 于 存 在 类 似 J o i n 这 样 多 表 查 询 机 制 ， 使 得 数 据 库 在 扩 展 方 面 很 艰 难 ; 2 .   读 写 慢 ： 这 种 情 况 主 要 发 生 在 数 据 量 达 到 一 定 规 模 时 由 于 关 系 型 数 据 库 的 系 统 逻 辑 非 常 复 杂 ， 使 得 其 非 常 容 易 发 生 死 锁 等 的 并 发 问 题 ， 所 以 导 致 其 读 写 速 度 下 滑 非 常 严 重 ; 3 .   成 本 高 ： 企 业 级 数 据 库 的 L i c e n s e 价 格 很 惊 人 ， 并 且 随 着 系 统 的 规 模 ， 而 不 断 上 升 ; 4 .   有 限 的 支 撑 容 量 ： 现 有 关 系 型 解 决 方 案 还 无 法 支 撑 G o o g l e 这 样 海 量 的 数 据 存 储 ; 业 界 为 了 解 决 上 面 提 到 的 几 个 需 求 ， 推 出 了 多 款 新 类 型 的 数 据 库 ， 并 且 由 于 它 们 在 设 计 上 和 传 统 的 N o S Q L 数 据 库 相 比 有 很 大 的 不 同 ， 所 以 被 统 称 为 “ N o S Q L ” 系 列 数 据 库 。 总 的 来 说 ， 在 设 计 上 ， 它 们 非 常 关 注 对 数 据 高 并 发 地 读 写 和 对 海 量 数 据 的 存 储 等 ， 与 关 系 型 数 据 库 相 比 ， 它 们 在 架 构 和 数 据 模 型 方 量 面 做 了 “ 减 法 ” ， 而 在 扩 展 和 并 发 等 方 面 做 了 “ 加 法 ” 。 现 在 主 流 的 N o S Q L 数 据 库 有 B i g T a b l e 、 H b a s e 、 C a s s a n d r a 、 S i m p l e D B 、 C o u c h D B 、 M o n g o D B 和 R e d i s 等 。 和 传 统 R D B M S 中 扩 展 机 器 的 技 术 做 个 比 较 ， 这 种 技 术 是 在 机 器 上 添 加 更 多 的 C P U 、 R A M 和 多 个 输 入 / 输 出 通 道 。 例 如 ， 具 备 两 个 I / O 通 道 的 机 器 每 秒 吞 吐 量 为 1 0 0 M B ， 它 需 要 花 费 3 小 时 才 能 读 取 2 T B 的 数 据 。 为 什 么 会 这 样 ？ 随 着 时 间 的 推 移 ， 传 输 率 已 经 有 了 提 高 ， 但 是 磁 盘 驱 动 器 的 寻 道 时 间 并 没 有 同 样 幅 度 的 提 高 。
因 此 ， 许 多 人 （ 包 括 云 日 志 提 供 商 ） 使 用 实 现 N o S Q L 概 念 的 系 统 和 软 件 ， 提 供 更 快 的 搜 索 、 索 引 和 其 他 功 能 。 H a d o o p 示 例 ： 示 例 ： H a d o o p 是 一 种 领 先 的 M a p R e d u c e 实 现 。 M a p R e d u c e 技 术 分 为 两 个 步 骤 ， 在 映 射 步 骤 中 ， 主 节 点 取 得 输 入 数 据 并 将 其 分 解 为 较 小 的 块 。 在 归 纳 步 骤 中 ， 主 节 点 取 得 返 回 的 所 有 数 据 并 进 行 某 种 组 合 ， 向 客 户 端 返 回 一 个 答 案 。 图 展 示 了 H a d o o p 的 逻 辑 布 局 。   图 中 我 们 有 一 个 商 用 机 器 的 H a d o o p 云 。 这 些 机 器 代 表 客 户 端 运 行 作 业 （ 客 户 端 可 以 是 最 终 用 户 、 应 用 程 序 等 ） 。 客 户 端 期 待 的 是 问 题 的 答 案 。 映 射 / 归 纳 方 法 效 果 如 此 之 好 的 原 因 是 数 据 和 需 要 在 数 据 上 完 成 的 后 续 分 析 都 可 以 进 行 批 处 理 。 图 中 的 H a d o o p 云 是 一 个 分 布 式 系 统 ， 允 许 数 据 分 块 且 并 行 处 理 。 H a d o o p 和 M a p R e d u c e 的 另 一 个 核 心 技 术 是 数 据 本 地 化 。 数 据 本 地 化 处 理 文 件 系 统 上 数 据 的 映 射 步 骤 。 这 使 得 H a d o o p 群 集 管 理 员 能 够 配 置 最 接 近 数 据 的 服 务 器 执 行 作 业 。 这 能 够 减 少 网 络 宽 带 的 消 耗 ， 缩 短 响 应 时 间 。 H a d o o p 的 出 现 ， 颠 覆 了 数 据 的 使 用 方 式 ， 但 是 H a d o o p 的 安 全 性 一 直 是 个 潜 在 的 隐 患 。 ， 如 果 安 全 问 题 延 伸 讨 论 的 话 ， H a d o o p 同 样 面 对 安 全 问 题 ： N a m e n o d e 或 者 j o b t r a c k e r 缺 乏 安 全 认 证 机 制 、 D a t a N o d e 缺 乏 安 全 授 权 机 制 、 S e r v i c e   t o   s e r v i c e 安 全 认 证 等 3 . 2   云 中 的 云 中 的 S I E M 传 统 上 ， S I E M 系 统 是 一 个 紧 缩 型 套 装 产 品 。 这 意 味 着 你 要 购 买 软 件 的 许 可 证 ， 并 根 据 软 件 的 复 杂 度 ， 向 咨 询 人 员 付 费 ， 由 他 们 花 费 长 时 间 来 安 装 和 配 置 S I E M 。 多 数 公 司 不 愿 意 花 费 数 十 万 美 元 （ 或 者 更 多 ） 在 S I E M 部 署 上 。 实 际 上 ， 许 多 软 件 公 司 都 在 争 相 翻 新 软 件 ， 使 其 成 为 可 以 在 云 中 部 署 的 产 品 。 这 正 是 托 管 安 全 服 务 提 供 商 （ M S S P ） 多 年 以 来 真 正 的 优 势 （ 实 际 上 ， 在 云 日 志 这 一 术 语 出 现 之 前 ， M S S P 就 已 经 在 提 供 云 日 志 了 ） 。 他 们 提 供 的 模 型 通 常 有 只 监 控 、 只 管 理 或 者 监 控 与 管 理 。 下 图 展 示 了 S I E M 云 的 逻 辑 布 局 。   S I E M 云 在 功 能 集 上 稍 微 成 熟 一 点 ， S I E M 云 有 健 全 的 功 能 集 ， 他 们 都 可 以 通 过 一 个 或 者 一 组 A P I 访 问 。 这 不 仅 对 于 向 内 部 客 户 及 系 统 （ 运 营 、 安 全 运 营 中 心 （ S O C ） 、 网 络 运 营 中 心 （ N O C ） 、 记 账 、 人 力 资 源 等 ） 提 供 服 务 很 关 键 ， 对 于 外 部 客 户 同 样 重 要 。 例 如 ， 客 户 通 常 希 望 从 提 供 商 向 其 内 部 系 统 输 出 工 作 单 。 大 部 分 提 供 商 实 现 某 种 基 于 w e b 的 A P I （ R E S T 风 格 、 S O A P 等 ） 。 这 使 得 客 户 很 容 易 编 写 自 定 义 应 用 程 序 代 码 来 获 取 这 些 工 作 单 。 3 . 3   云 日 志 的 优 缺 点 云 日 志 的 优 缺 点 下 面 不 是 一 个 全 面 的 列 表 ， 但 是 概 述 了 在 云 日 志 中 常 会 碰 到 的 优 缺 点 。 当 然 根 据 你 自 身 的 需 求 ， 可 能 必 须 进 行 某 些 分 析 。 优 点 优 点 缺 点 缺 点 管 理 ： 由 别 人 管 理 硬 件 、 软 件 随 用 随 付 模 型 ： 对 你 所 使 用 内 容 的 付 费 你 控 制 发 送 的 内 容 和 时 间 A P I 支 持 ： 许 多 日 志 记 录 提 供 商 有 健 全 的 A P I ， 你 可 以 用 它 以 s y s l o g 之 外 的 手 段 向 云 传 输 日 志 数 据 。 你 一 般 还 使 用 这 个 A P I 搜 索 云 数 据 A P I 支 持 ： 这 可 能 既 是 优 点 ， 也 可 能 是 缺 点 。 如 果 A P I 本 身 不 安 全 （ 身 份 认 证 和 隐 私 ） ， 而 且 你 需 要 处 理 监 管 和 依 从 性 问 题 ， 可 能 是 个 难 点
场 外 存 储 ： 存 储 的 任 务 由 供 应 商 处 理 。 你 一 般 可 以 选 择 保 存 的 时 长 和 数 据 量 场 外 存 储 ： 根 据 安 全 控 制 、 信 任 矩 阵 和 提 供 商 采 用 的 其 他 安 全 相 关 准 则 ， 在 云 中 存 储 你 的 日 志 数 据 可 能 不 现 实 。 确 定 提 供 商 是 否 采 用 混 合 部 署 模 型 ， 允 许 它 们 整 个 应 用 栈 的 一 部 分 保 存 在 你 的 数 据 中 心 安 全 ： 安 全 是 一 个 关 注 点 ， 因 为 迁 移 到 云 可 能 产 生 “ 优 雅 的 失 控 ” 。 需 要 了 解 提 供 商 的 整 体 安 全 态 势 3 . 4   其 他 资 源 其 他 资 源 如 果 你 要 对 云 相 关 信 息 的 搜 索 可 以 访 问 以 下 网 站 ： · N I S T 云 计 算 ： h t t p : / / w w w . n i s t . g o v / i t l / c l o u d / · 云 安 全 联 盟 （ C S A ） ： h t t p : / / c l o u d s e c u r i t y a l l i a n c e . o r g 当 然 ， 互 联 网 搜 索 可 以 返 回 更 多 的 结 果 。   4 . 总 结 ： · 云 服 务 交 付 模 型 ： 三 种 基 本 类 型 是 S a a S 、 I a a S 和 P a a S · 云 部 署 模 型 ： 四 种 基 本 类 型 是 公 共 、 私 有 、 社 区 和 混 合 · 云 日 志 ： 这 是 一 个 年 轻 的 领 域 ， 每 天 都 在 生 长 。 在 你 将 所 有 日 志 数 据 放 到 云 中 之 前 ， 一 定 要 了 解 你 和 组 织 的 需 求 。 要 向 提 供 商 询 问 使 用 中 感 兴 趣 的 任 何 问 题 。 · 云 中 的 S I E M 。 M S S P 支 持 这 一 模 型 已 经 有 多 年 的 历 史 。 传 统 的 紧 缩 型 套 件 S I E M 供 应 商 开 始 意 识 到 这 一 模 型 的 价 值 ， 争 相 在 产 品 中 加 入 云 能 力 和 服 务 。 · 安 全 考 虑 ： 一 定 要 理 解 提 供 商 实 现 I T 安 全 的 方 式 。 还 要 确 保 理 解 在 云 环 境 中 运 营 时 ， 你 在 法 律 和 监 管 依 从 性 方 面 所 负 的 职 责 。 日 志 记 录 的 发 展 趋 势 ： · 日 志 标 准 得 到 日 志 生 成 者 的 广 发 采 纳 。 应 用 程 序 和 设 备 制 造 商 以 及 云 平 台 制 造 商 都 以 标 准 格 式 生 成 日 志 · 应 用 程 序 开 发 人 员 在 编 写 应 用 程 序 时 立 即 采 用 日 志 标 准 和 标 准 库 及 A P I ， 实 现 实 用 的 日 志 。 形 成 的 数 据 不 仅 基 于 标 准 ， 而 且 全 面 、 不 过 分 臃 肿 ， 可 用 于 大 部 分 运 营 、 安 全 和 监 管 需 求 。 · 我 们 将 拥 有 更 加 透 明 、 直 观 和 可 审 核 的 系 统 ， 不 管 采 用 的 是 移 动 、 云 、 虚 拟 还 是 传 统 方 式 。 · 协 助 分 析 日 志 的 工 具 必 须 更 加 智 能 ， 同 时 更 加 易 用 。 这 些 工 具 可 以 消 费 数 据 ， 不 管 数 据 是 遵 循 标 准 的 还 是 遗 留 的 ， 并 且 根 据 数 据 生 成 有 用 的 建 议 和 结 论 。 而 无 须 太 多 的 人 工 调 整 和 交 互 。 · 更 多 的 公 司 提 升 自 己 的 日 志 成 熟 度 曲 线 ， 更 多 组 织 在 分 析 和 理 解 日 志 数 据 上 变 得 更 有 能 力 。 这 种 能 力 并 不 廉 价 ， 但 是 之 前 所 提 供 的 工 具 和 日 志 的 改 进 ， 会 使 它 们 变 得 更 容 易 承 受 。 · 在 I T 领 域 内 外 的 人 在 工 具 、 改 进 的 日 志 和 改 进 的 成 熟 实 践 和 过 程 的 支 持 下 ， 将 日 志 用 于 更 多 的 目 的 ， 这 些 支 持 手 段 专 注 于 获 得 更 多 对 业 务 和 技 术 以 及 系 统 保 护 、 法 规 依 从 性 有 益 的 见 解 。   文 章 参 考 ： 《 日 志 管 理 与 分 析 权 威 指 南 》 h t t p s : / / b l o g . c s d n . n e t / m 0 _ 3 7 8 0 3 7 0 4 / a r t i c l e / d e t a i l s / 8 0 7 3 9 3 4 9
回复

举报

高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

使用Markdown编辑器编辑 使用富文本编辑器编辑

Archiver| 手机版| 小黑屋|
Powered by Discuz! X3.4 Copyright © 2001-2020, Tencent Cloud. 商业源码建议获取授权，如侵犯您的权益，请联系客服处理