搜索

[22122] 2021-06-30_数据安全实践之数据安全日志审计平台

文档创建者：s7ckTeam
浏览次数：8
最后更新：2025-01-18
2021-06-30_数据安全实践之数据安全日志审计平台 数 据 安 全 实 践 之 数 据 安 全 日 志 审 计 平 台 转 自 F r e e B u f   L e m o n S e c   2 0 2 1 - 0 6 - 3 0 前 言 前 言 此 前 写 过 一 篇 文 章 关 于 数 据 资 产 管 理 的 一 些 实 践 方 法 ， 对 于 对 数 据 安 全 来 说 其 实 也 是 对 资 产 的 识 别 ， 监 控 ， 保 护 ， 运 营 的 循 环 过 程 。 我 们 要 清 楚 保 护 对 象 是 什 么 ， 他 有 什 么 风 险 或 者 问 题 ， 然 后 如 何 保 护 ， 再 持 续 提 升 。 对 于 数 据 的 监 控 其 实 是 一 个 比 较 复 杂 的 事 情 ， 数 据 的 形 式 ， 载 体 ， 使 用 场 景 千 变 万 化 ， 所 以 很 难 通 过 一 种 方 式 解 决 所 有 数 据 场 景 ， 数 据 安 全 日 志 审 计 也 只 是 其 中 的 一 种 方 式 。 对 其 日 志 进 行 的 分 析 其 实 是 一 种 很 常 见 的 应 用 场 景 ， 对 应 用 安 全 来 说 ， W A F ， I D S 等 产 生 告 警 日 志 是 安 全 人 员 每 天 必 看 的 日 志 。 所 有 许 多 安 全 团 队 会 将 所 有 安 全 产 品 的 日 志 汇 聚 到 一 个 平 台 ， 从 而 诞 生 了 安 全 日 志 平 台 。 我 们 借 鉴 了 这 个 思 路 ， 将 数 据 安 全 的 日 志 汇 聚 并 加 以 分 析 就 能 够 让 安 全 人 员 关 注 数 据 方 面 每 天 的 威 胁 或 者 风 险 。 安 全 日 志 审 计 系 统 架 构 示 意 图 安 全 日 志 审 计 系 统 架 构 示 意 图 日 志 采 集 ， 分 析 处 理 ， 告 警 存 储 ， 以 及 告 警 展 示 ， 规 则 管 理 等 全 自 研 架 构 图 如 下 ： 部 分 功 能 可 以 利 用 公 司 已 有 基 础 服 务 ， 如 e s + k i b a n a ， k a f c a ， 统 一 日 志 平 台 等 ， 也 可 以 利 用 开 源 系 统 实 现 部 分 功 能 。 数 据 安 全 日 志 审 计 主 要 任 务 是 通 过 对 敏 感 数 据 接 口 日 志 的 访 问 情 况 进 行 分 析 ， 发 现 数 据 泄 露 等 安 全 事 件 ， 或 识 别 潜 在 数 据 安 全 风 险 ， 并 留 存 证 据 。 基 本 的 要 求 如 下 ： 1 . 能 自 动 配 置 规 则 2 . 能 根 据 规 则 匹 配 敏 感 字 段 3 . 看 到 告 警
4 . 能 够 溯 源 5 . 设 置 白 黑 名 单 6 . 访 问 量 统 计 安 全 日 志 采 集 与 接 入 安 全 日 志 采 集 与 接 入 1 . 业 务 接 口 日 志 → 公 司 基 础 服 务 日 志 平 台 → 安 全 日 志 分 析 平 台 2 . 业 务 接 口 日 志 → 服 务 器 本 地 某 目 录 → 通 过 s y s l o g 同 步 到 安 全 日 志 平 台
3 . 日 志 格 式 示 例 见 附 录 日 志 审 计 平 台 功 能 日 志 审 计 平 台 功 能 1 . 敏 感 数 据 定 义 敏 感 数 据 定 义 重 要 关 注 数 据 ， 如 ： 身 & & 份 证 ， 手 机 号 ， 银 & & 行 卡 等 。 匹 配 规 则 ： 使 用 正 则 ， 关 键 字 匹 配 。 业 务 数 据 需 根 据 业 务 需 求 进 行 指 纹 提 取 。 详 细 介 绍 请 参 考 ： 《 数 据 安 全 实 践 之 数 据 资 产 管 理 》 2 . 通 用 日 志 审 计 规 则 通 用 日 志 审 计 规 则 仅 举 例 一 些 通 用 规 则 ， 安 全 规 则 应 随 公 司 业 务 场 景 ， 泄 露 情 况 进 行 调 整 ， 也 就 是 需 要 投 入 大 量 运 营 工 作 ， 不 断 场 景 化 ， 细 化 的 过 程 。 （ 1 ） 频 次 纬 度 ： 最 常 见 的 情 况 就 是 频 次 过 大 ， 较 大 频 次 是 泄 露 批 量 数 据 的 一 种 常 见 现 象 ， 适 用 于 捕 捉 到 对 突 发 的 非 计 划 的 安 全 事 件 【 1 分 钟 】 单 个 账 号 访 问 接 口 频 次 大 于 【 1 0 0 】 条 日 志 【 1 分 钟 】 单 I P 访 问 单 个 接 口 大 于 【 1 0 】 个 账 号 （ 2 ） 时 间 纬 度 ： 非 工 作 时 间 ， 或 非 业 务 时 间 的 大 量 访 问 ， 针 对 员 工 或 者 第 三 方 常 用 策 略 【 非 工 作 时 间 （ 1 : 0 0 - 7 : 0 0 ） 】 单 I P 访 问 单 个 接 口 大 于 【 5 0 】 条 日 志 【 非 工 作 时 间 （ 1 : 0 0 - 7 : 0 0 ） 】 单 账 号 访 问 单 个 接 口 大 于 【 5 0 】 条 日 志 （ 3 ） 数 据 量 纬 度 ： 往 往 会 发 现 一 些 对 数 据 控 制 不 严 的 接 口 单 个 账 号 对 某 一 数 据 接 口 累 计 获 取 去 重 后 敏 感 数 据 大 于 【 1 0 0 0 】 条 （ 4 ） 时 间 窗 口 ： 基 于 统 计 和 平 均 值 的 告 警 ， 发 现 突 发 的 异 常 行 为 的 常 用 规 则 统 计 单 账 号 / I P 【 每 月 】 平 均 访 问 量 ， 该 账 号 / I P 访 问 量 超 过 平 均 访 问 次 数 / 获 取 数 据 数 量 【 2 倍 】 统 计 单 个 系 统 【 每 月 】 单 账 号 / I P 平 均 访 问 量 ， 单 个 账 号 / i p 访 问 该 系 统 超 过 平 均 访 问 次 数 / 获 取 数 据 数 量 【 2 倍 】 3 . 告 警 信 息 查 看 告 警 信 息 查 看 （ 1 ） 告 警 事 件 信 息 与 检 索 基 本 包 含 的 要 素 ， 可 自 行 发 挥 ： 时 间 ， 账 号 ， u s e r I P ， 规 则 名 称 ， 访 问 系 统 ， u r l ， 访 问 类 型 ， 匹 配 多 少 条 日 志 ， 详 情 检 索 信 息 ： 时 间 段 ， 账 号 ， I P ， 规 则 名 称 ， 访 问 系 统 ， u r l ， 访 问 类 型 检 索 基 本 实 现 ： 可 以 通 过 搭 建 E S + k i b a n a ， 简 单 实 现 ， 也 可 以 自 行 开 发 前 端 和 检 索 。 （ 2 ） 事 件 与 日 志 首 先 ， 日 志 审 计 平 台 里 有 两 种 数 据 需 要 明 确 ， 事 件 和 日 志 。 事 件 ： 是 当 告 警 规 则 匹 配 到 相 关 日 志 ， 或 一 组 日 志 处 罚 了 告 警 规 则 ， 平 台 产 生 一 条 记 录 为 事 件
日 志 ： 为 从 系 统 采 集 来 的 原 始 日 志 ， 一 般 为 J S O N 格 式 。 告 警 日 志 是 被 告 警 规 则 匹 配 到 的 日 志 组 ， 和 一 个 事 件 关 联 事 件 和 日 志 产 生 过 程 ： 日 志 采 集 后 会 自 动 存 储 到 一 个 e s 索 引 内 ， 该 索 引 为 全 量 日 志 索 引 告 警 条 件 匹 配 到 告 警 后 ， 会 产 生 一 条 事 件 ， 该 事 件 存 储 一 个 e s 索 引 / m y s q l 数 据 库 中 ， 作 为 事 件 存 储 同 时 将 告 警 追 踪 匹 配 到 的 日 志 存 入 一 个 e s 索 引 中 ， 为 告 警 日 志 索 引 ， 并 在 每 个 日 志 中 插 入 事 件 I D 4 . 日 志 画 像 和 决 策 分 析 日 志 画 像 和 决 策 分 析 画 像 和 决 策 分 析 ， 应 用 于 机 器 学 习 算 法 ， 可 以 对 每 个 系 统 和 账 号 进 行 风 险 评 估 。 也 可 以 根 据 专 家 经 验 与 业 务 方 一 同 判 断 和 决 策 系 统 风 险 。 （ 1 ） 系 统 画 像 每 个 系 统 的 访 问 情 况 ， 可 以 确 定 系 统 的 活 跃 程 度 ， 账 号 数 据 能 够 帮 助 评 估 系 统 权 限 是 否 过 大 。 系 统 列 表 ： 系 统 名 称 ， u r L ， 月 均 访 问 次 数 ， 月 均 访 问 数 据 量 ， 账 号 数 访 问 某 个 系 统 的 账 号 列 表 ： 账 号 名 ， 姓 名 ， 部 门 ， 当 月 访 问 次 数 ， 当 月 访 问 数 据 量 （ 2 ） 账 号 画 像 每 个 账 号 的 访 问 情 况 ， 过 于 活 跃 的 账 号 ， 通 常 其 风 险 会 比 较 大 ， 我 们 还 应 关 注 权 限 过 大 的 账 号 。 账 号 列 表 ： 部 门 ， 账 号 名 ， 姓 名 ， 项 目 组 ， 当 月 访 问 总 次 数 ， 当 月 访 问 总 数 据 量 账 号 访 问 系 统 列 表 ： 系 统 名 称 ， U R L ， 业 务 线 ， 当 月 访 问 此 时 ， 当 月 访 问 数 据 量 （ 3 ） 统 计 数 字 系 统 / U R L 数 量 ， 按 业 务 线 账 号 / U R L 数 量 ， 按 部 门 告 警 t o p 部 门 ， 账 号 访 问 量 t o p 部 门 ， 账 号 5 . 日 志 采 集 自 检 测 日 志 采 集 自 检 测 该 功 能 主 要 验 证 日 志 采 集 过 程 是 否 出 现 错 误 ， 由 于 日 志 格 式 和 内 容 都 是 安 全 部 和 业 务 共 同 定 义 的 ， 所 以 在 日 志 中 会 有 一 些 错 误 ， 这 个 有 助 于 安 全 推 进 业 务 方 完 善 日 志 质 量 。 新 增 u r l 接 入 检 测 ， 加 入 系 统 列 表 清 单 ： 系 统 名 ， 业 务 线 ， u r l ， 加 入 时 间 ， 日 访 问 量 ， 日 志 告 警 丢 失 ， 某 个 u r l 连 续 【 1 0 】 日 没 有 日 志 告 警 ： U R L 上 线 ， 下 线 手 动 添 加 / 清 除 功 能 异 常 日 志 告 警 ： 异 常 日 志 打 标 后 ， 存 储 异 常 日 志 库 ， 分 析 异 常 原 因 ， 安 全 告 警 应 排 除 这 类 日 志 ， 会 产 生 误 报 。 日 志 平 台 的 应 用 场 景 日 志 平 台 的 应 用 场 景 1 . 数 据 泄 露 事 件 溯 源 数 据 泄 露 事 件 溯 源 通 过 某 个 泄 露 样 本 ， 查 找 相 似 的 告 警 事 件 。 初 筛 后 ， 通 过 数 据 传 输 链 进 行 事 件 还 原 。
结 构 化 数 据 溯 源 ： 初 筛 数 据 结 构 相 似 度 7 0 % 以 上 ， 根 据 内 容 ， 行 数 等 信 息 抽 样 ， 匹 配 度 6 0 % 的 事 件 。 文 件 类 数 据 溯 源 ： 日 常 事 件 涉 及 文 件 建 立 指 纹 库 ， 初 筛 文 件 指 纹 相 似 7 0 % ， 通 过 文 件 反 查 可 能 涉 及 的 事 件 。 通 过 疑 似 人 员 账 号 ， 查 看 访 问 系 统 接 口 ， 数 据 查 看 ， 导 出 的 时 间 ， 频 次 ， 下 载 文 件 后 的 后 续 行 为 。 2 . 员 工 数 据 泄 露 事 件 取 证 与 事 件 还 原 员 工 数 据 泄 露 事 件 取 证 与 事 件 还 原 系 统 接 口 的 安 全 日 志 告 警 与 D L P 告 警 关 联 ： 时 间 维 度 ： 在 同 一 个 时 间 段 内 ， 有 前 后 关 联 的 事 件 人 员 维 度 ： 相 同 账 号 ， 相 同 I P ， 同 部 门 ， 同 岗 位 账 号 等 事 件 维 度 ： 相 似 的 异 常 行 为 ， 或 者 有 一 定 逻 辑 关 联 的 事 件 数 据 维 度 ： 数 据 血 缘 关 联 行 ， 需 要 了 解 业 务 工 作 流 程 ， 数 据 加 工 时 文 件 的 关 系 和 流 转 过 程 。 与 D L P 结 合 内 容 详 见 下 一 章 节 。 3 . 大 数 据 场 景 下 数 据 导 出 行 为 监 控 大 数 据 场 景 下 数 据 导 出 行 为 监 控 （ 1 ） 数 据 线 上 化 中 的 应 用 ： 大 数 据 在 线 分 析 虚 拟 环 境 ， 许 多 大 数 据 管 控 机 制 ， 仅 允 许 原 始 敏 感 数 据 在 线 上 进 行 分 析 ， 导 出 数 据 结 果 。 但 是 往 往 在 线 分 析 引 擎 固 化 了 分 析 环 境 和 一 些 分 析 逻 辑 ， 不 能 满 足 所 有 数 据 分 析 需 求 。 所 以 使 用 虚 拟 化 环 境 提 供 用 户 可 以 定 制 化 的 在 线 分 析 环 境 就 诞 生 了 ， 用 户 可 以 自 由 操 作 该 环 境 ， 最 终 完 成 数 分 工 作 ， 并 导 出 结 果 。 安 全 日 志 分 析 平 台 提 供 了 数 据 操 作 和 导 出 时 的 审 计 工 作 。 （ 2 ） 沙 盒 环 境 中 的 应 用 ： 沙 盒 环 境 会 控 制 安 全 域 （ 沙 盒 ） ， 个 人 域 （ 开 放 空 间 ） 之 间 的 数 据 交 换 ， 数 据 交 换 过 程 往 往 会 有 较 为 严 格 的 申 请 审 批 流 程 ， 需 要 通 过 日 志 审 计 来 保 证 流 程 和 安 全 策 略 的 有 效 性 。 （ 3 ） 从 大 数 据 平 台 数 据 导 出 ： 大 数 据 平 台 一 般 会 开 放 数 据 查 询 和 导 出 功 能 ， 对 查 询 和 导 出 功 能 的 日 志 审 计 ， 可 以 保 证 该 功 能 不 被 滥 用 ， 造 成 数 据 泄 露 风 险 。 4 . 第 三 方 数 据 共 享 审 计 第 三 方 数 据 共 享 审 计 第 三 方 共 享 数 据 ， 防 止 第 三 方 滥 用 ， 泄 露 数 据 ： 一 号 多 用 ： 同 账 号 不 同 I P 的 访 问 爬 虫 ： 有 规 律 爬 去 ， 或 者 数 据 量 远 超 正 常 业 务 需 要 账 号 被 盗 ： 数 据 访 问 量 突 增 ， 非 业 务 时 间 的 大 量 访 问 日 志 审 计 不 能 解 决 所 有 数 据 共 享 问 题 ， 需 要 配 合 其 他 技 术 和 管 理 手 段 ： 签 署 数 据 安 全 和 保 密 协 议 ， 建 议 和 法 务 一 起 制 定 ， 明 确 违 规 行 为 ， 罚 则 等 限 制 访 问 权 限 ， 强 认 证 机 制 ， 数 据 最 小 化 原 则 。 利 用 数 据 染 色 技 术 ， 监 控 所 有 第 三 方 是 否 泄 露 数 据 此 外 还 有 多 方 安 全 计 算 等 不 直 接 提 供 原 始 数 据 的 方 案 根 治 问 题 。
日 志 平 台 的 扩 展 日 志 平 台 的 扩 展 1 . 公 司 公 司 文 件 监 控 文 件 监 控 — — 与 与 D L P 结 合 应 用 结 合 应 用 （ 1 ） D L P 基 本 功 能 实 现 U S B 拷 贝 ： 条 件 ： 终 端 操 作 方 式 = U S B 拷 贝 网 盘 上 传 ： 条 件 ： 如 应 用 程 序 = b a i d u n e t d i s k . e x e I M 发 送 ： 条 件 ： 应 用 程 序 = w e c h a t . e x e 邮 件 外 发 ： 条 件 ： 应 用 程 序 = f o x m a i l . e x e ， 应 用 程 序 包 含 i e ， c h r o m e ， f i r e f o x ， 域 名 包 含 m a i l ， 目 标 I P 为 外 网 地 址 上 传 网 站 ： 条 件 ： 应 用 程 序 包 含 i e ， c h r o m e ， f i r e f o x ； 目 标 I P 公 网 地 址 列 表 ： 时 间 ， 部 门 ， 姓 名 ， 文 件 名 称 ， 数 据 类 型 ， 域 名 ， 目 标 I P ， 详 情 代 码 到 g i t ： 条 件 ： 文 件 类 型 ， j a v a ， p y t h o n 。 。 。 ， 目 标 域 名 ： g i t ， 应 用 程 序 ： T o r t o i s e G i t （ 2 ） D L P 功 能 扩 展 ： 总 所 周 知 ， D L P 需 要 非 常 强 的 运 营 能 力 ， 创 建 规 则 比 较 复 杂 ， 尤 其 在 应 用 场 景 比 较 繁 多 的 企 业 ， 准 确 率 和 告 警 人 工 排 查 工 作 都 比 较 困 难 。 利 用 安 全 日 志 审 计 平 台 可 以 直 接 对 接 D L P 告 警 日 志 ， 并 对 日 志 进 行 二 次 规 则 匹 配 ， 使 人 工 成 本 降 低 ， 大 大 提 升 告 警 效 率 。 D L P 告 警 日 志 接 口 对 接 ， 可 根 据 日 志 接 口 类 型 进 行 定 制 开 发 。 日 志 审 计 平 台 结 合 后 ， 告 警 场 景 可 以 根 据 需 监 控 的 场 景 进 行 精 细 化 管 理 ， 举 例 如 下 ： U S B 拷 贝 ： 可 将 1 次 拷 贝 事 件 合 并 为 1 条 告 警 事 件 ， 并 统 计 文 件 数 量 ， 文 件 类 型 。 对 接 工 单 系 统 ， 降 低 数 据 备 份 ， 更 换 电 脑 等 场 景 的 风 险 值 。 离 职 监 控 ： 人 事 系 统 对 接 后 ， 自 动 化 筛 选 离 职 人 员 告 警 ， 提 升 风 险 值 。 （ p s ： 也 可 以 对 接 D L P 规 则 引 擎 ， 自 动 更 新 离 职 人 员 监 控 名 单 ） 2 . 安 全 攻 防 能 力 扩 展 安 全 攻 防 能 力 扩 展 安 全 日 志 平 台 可 以 接 受 不 同 类 型 的 日 志 ， 也 可 以 实 现 不 能 的 安 全 策 略 从 而 发 现 更 多 的 风 险 和 异 常 ， 严 格 意 义 上 这 个 可 能 脱 离 了 数 据 安 全 的 范 畴 ， 使 其 逐 步 演 进 为 一 个 安 全 基 础 监 控 平 台 和 安 全 大 数 据 平 台 。 具 体 内 容 不 再 详 述 ， 这 里 仅 提 供 一 个 思 路 ： （ 1 ） 识 别 入 侵 事 件 与 D N S l o g ， 威 胁 情 报 ， 网 络 流 量 的 结 合 ， 识 别 如 ： 恶 意 挖 矿 盲 打 平 台 病 毒 木 马 特 定 账 号 监 控 （ 2 ） 识 别 安 全 漏 洞 H T T P 接 口 日 志 里 自 身 含 有 比 较 全 的 请 求 h e a d e r 和 b o d y 的 内 容 ， 并 且 能 很 方 便 的 溯 源 用 户 及 I P 信 息 ， 对 发 现 安 全 漏 洞 和 利 用 者 能 够 起 到 辅 助 作 用 ：
S Q L 注 入 X S S 命 令 执 行 特 定 场 景 越 权 登 录 爆 破 和 撞 库 总 结 总 结 数 据 只 有 流 传 和 应 用 才 能 产 生 价 值 ， 如 果 为 了 安 全 而 限 制 了 数 据 的 使 用 ， 那 么 数 据 也 就 丧 失 了 其 本 来 的 价 值 ， 所 以 数 据 注 定 是 千 变 万 化 的 ， 也 是 无 处 不 在 的 。 在 数 据 安 全 日 志 审 计 中 ， 解 决 获 取 什 么 日 志 也 是 首 先 要 解 决 的 问 题 。 笔 者 始 终 认 为 与 其 面 面 俱 到 不 如 优 先 做 最 重 要 事 ， 所 以 整 个 数 据 安 全 日 志 审 计 的 设 计 也 是 基 于 这 个 方 面 出 发 ， 重 点 对 应 用 接 口 日 志 进 行 收 集 ， 在 企 业 实 际 应 用 中 也 可 以 根 据 实 际 情 况 先 外 再 内 的 方 式 依 次 进 行 。 平 台 后 续 可 以 再 逐 步 扩 展 ， 并 与 其 它 安 全 能 力 结 合 产 生 更 多 的 价 值 ， 如 结 合 D L P 对 文 件 的 监 控 。 附 录 ： 日 志 格 式 定 义 示 例 附 录 ： 日 志 格 式 定 义 示 例
一 如 既 往 的 学 习 ， 一 如 既 往 的 整 理 ， 一 如 即 往 的 分 享 。 感 谢 支 持 “ 如 侵 权 请 私 聊 公 众 号 删 文 ” 关 注 关 注 L e m o n S e c
觉 得 不 错 点 个 觉 得 不 错 点 个 “ 赞 赞 ” 、 、 “ 在 看 在 看 ” 哦 哦
回复

举报

高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

使用Markdown编辑器编辑 使用富文本编辑器编辑

Archiver| 手机版| 小黑屋|
Powered by Discuz! X3.4 Copyright © 2001-2020, Tencent Cloud. 商业源码建议获取授权，如侵犯您的权益，请联系客服处理