设为首页收藏本站
切换到窄版

 找回密码
 立即注册
搜索
热搜: 活动 交友 discuz
Nmaps Club»论坛 › Pentests Wiki › Wiki › 数据库 › [14831] 2019-11-18_基于大数据企业网络威胁发现模型实 ...
返回列表 发新帖
查看: 10|回复: 0

[14831] 2019-11-18_基于大数据企业网络威胁发现模型实践

[复制链接]
s7ckTeam

6万

主题

-6万

回帖

-54

积分

管理员

积分
-54
发表于 2025-1-18 16:56:48 | 显示全部楼层 |阅读模式
2019-11-18_基于大数据企业网络威胁发现模型实践 基 于 大 数 据 企 业 网 络 威 胁 发 现 模 型 实 践 糖 果 L U A   F r e e B u f   2 0 1 9 - 1 1 - 1 8 0 x 0 1   前 言 前 言 关 于 企 业 安 全 威 胁 数 据 收 集 分 析 是 一 个 系 统 工 程 ， 每 天 在 我 们 网 络 环 境 中 ， 都 会 产 生 各 种 形 式 的 威 胁 数 据 。 为 关 于 企 业 安 全 威 胁 数 据 收 集 分 析 是 一 个 系 统 工 程 ， 每 天 在 我 们 网 络 环 境 中 ， 都 会 产 生 各 种 形 式 的 威 胁 数 据 。 为 了 网 络 安 全 防 护 ， 会 收 集 各 种 流 量 日 志 、 审 计 日 志 、 报 警 日 志 、 上 网 设 备 日 志 ， 安 防 设 备 日 志 等 等 。 很 多 公 司 了 网 络 安 全 防 护 ， 会 收 集 各 种 流 量 日 志 、 审 计 日 志 、 报 警 日 志 、 上 网 设 备 日 志 ， 安 防 设 备 日 志 等 等 。 很 多 公 司 都 有 自 己 的 数 据 处 理 流 程 ， 大 数 据 管 理 工 具 。 我 们 根 据 过 去 的 实 践 经 验 ， 总 结 出 了 一 个 威 胁 数 据 处 理 模 型 ， 因 都 有 自 己 的 数 据 处 理 流 程 ， 大 数 据 管 理 工 具 。 我 们 根 据 过 去 的 实 践 经 验 ， 总 结 出 了 一 个 威 胁 数 据 处 理 模 型 ， 因 为 引 用 增 长 黑 客 的 模 型 的 命 名 方 式 ， 我 们 称 这 种 模 式 为 ： 沙 漏 式 威 胁 信 息 处 理 模 型 。 为 引 用 增 长 黑 客 的 模 型 的 命 名 方 式 ， 我 们 称 这 种 模 式 为 ： 沙 漏 式 威 胁 信 息 处 理 模 型 。 网 络 环 境 下 构 建 的 安 全 发 现 设 备 或 服 务 ， 其 主 要 的 作 用 是 ， 增 加 我 方 的 防 御 厚 度 ， 减 缓 攻 方 的 攻 速 ， 能 通 过 足 够 厚 的 防 御 措 施 ， 在 攻 方 攻 破 之 前 发 现 威 胁 ， 残 血 坚 持 到 最 后 等 回 血 ， 并 且 提 醒 友 方 人 员 的 服 务 不 要 轻 易 送 人 头 。 0 x 0 2   沙 漏 威 胁 处 理 模 型 沙 漏 威 胁 处 理 模 型 图 1 . 威 胁 分 析 沙 漏 模 型 威 胁 数 据 组 织 ： 威 胁 数 据 组 织 ： 我 们 参 考 软 件 设 计 模 式 、 神 经 网 络 层 、 增 长 黑 客 模 型 的 归 纳 方 法 ， 归 纳 出 一 个 威 胁 数 据 处 理 模 型 。 通 过 这 个 模 型 ， 可 以 看 出 数 据 收 集 、 处 理 、 展 现 基 本 流 程 脉 络 ， 根 据 自 己 的 实 际 需 求 情 况 ， 精 简 模 型 或 是 扩 展 模 型 ， 来 够 建 我 们 的 防 御 系 统 。 下 面 我 们 根 据 实 际 情 况 ， 概 况 出 一 个 基 本 的 模 型 ， 由 若 干 层 和 多 种 元 素 构 成 。 一 个 综 合 威 胁 信 息 聚 合 模 型 ， 像 一 个 软 件 系 统 服 务 一 样 ，   有 输 入 层 、 处 理 层 、 输 出 层 。 输 入 层 的 数 据 源 来 自 不 同 的 分 类 数 据 类 型 ： 代 理 流 量 、 镜 像 流 量 、 真 实 流 量 、 主 机 数 据 、 设 备 数 据 、 扫 描 数 据 等 等 。 通 过 收 集 不 同 级 别 的 威 胁 信 息 数 据 碎 片 ， 根 据 威 胁 信 息 碎 片 类 型 分 类 、 价 值 权 重 级 别 、 数 据 的 属 性 。 将 低 信 息 量 的 威 胁 信 息 数 据 碎 片 ， 用 信 息 化 手 段 升 级 。 将 不 同 属 性 的 数 据 碎 片 组 合 ， 提 升 威 胁 发 现 能 力 。 代 理 流 量 ： 代 理 流 量 ： 代 理 是 一 种 概 括 的 统 称 ， 很 多 企 业 都 有 网 关 设 备 ， 7 层 或 4 层 ， 这 种 设 备 服 务 会 产 生 流 相 关 量 日 志 数 据 ， 并 具 有 准 入 认 证 的 功 能 。
镜 像 流 量 ： 镜 像 流 量 ： 镜 像 流 量 比 较 常 见 ， 通 过 流 量 镜 像 发 给 威 胁 分 析 设 备 与 分 析 服 务 ， 设 备 系 统 反 馈 威 胁 检 测 报 警 。 真 实 流 量 ： 真 实 流 量 ： N g i n x 日 志 ，   蜜 罐 日 志 等 真 实 服 务 的 流 量 数 据 产 生 的 落 地 日 志 信 息 。 主 机 数 据 主 机 数 据 :   无 论 是 探 针 A P M 、 Z a b b i x   A g e n t 、 O S Q u e r y 、 H I D S 都 会 产 生 与 主 机 相 关 的 指 标 数 据 ，   这 些 数 据 异 常 阀 值 同 样 能 起 动 预 示 报 警 的 作 用 。 设 备 数 据 ： 设 备 数 据 ： 重 要 敏 感 设 备 产 生 的 数 据 ，   这 数 据 有 自 己 的 异 常 数 据 监 控 。 扫 描 数 据 ： 扫 描 数 据 ： 主 动 扫 描 采 集 的 数 据 ： 端 口 、 服 务 扫 描 等 。 层 次 划 分 ： 层 次 划 分 ： 第 一 层 ： 输 入 层 （ 数 据 集 中 ） ： 在 输 入 层 出 现 了 以 上 提 到 的 各 种 服 务 、 设 备 产 生 的 数 据 。 这 一 层 关 键 点 是 数 据 的 收 集 ， 如 果 没 有 数 据 的 收 集 ， 后 续 的 横 向 和 垂 直 的 分 析 工 作 都 无 数 据 可 分 析 处 理 。 第 二 层 ： 处 理 层 （ 数 据 加 工 ） ： 数 据 只 是 收 集 而 不 处 理 ， 只 是 一 种 数 据 的 堆 砌 。 在 数 据 处 理 层 做 了 几 件 事 情 ， 1 . 比 如 数 据 的 快 速 非 格 式 化 。 （ 切 割 ） 2 . 后 期 数 据 聚 类 统 计 提 纯 的 结 构 化 。 （ 整 形 ） 3 . 数 据 清 洗 过 滤 与 打 标 签 。 （ 加 工 ） 威 胁 情 报 数 据 可 以 有 多 种 形 态 ， 基 于 流 数 据 形 式 的 信 息 ， 比 较 适 合 使 用 管 道 处 理 模 式 ， 在 管 道 处 理 模 式 ， 根 据 不 同 的 信 息 数 据 输 入 ， 在 处 理 槽 中 ， 采 用 部 署 不 同 的 数 据 处 理 技 能 单 元 。 装 备 、 技 能 ： 输 入 输 入 处 理 处 理 输 出 输 出 W A F I D S 蜜 罐 蜜 罐 扫 描 扫 描 H I D S 采 集 采 集 整 型 整 型 切 割 切 割 过 滤 过 滤 报 警 报 警 报 警 报 警 可 视 化 可 视 化 第 三 层 ： 输 出 层 （ 威 胁 发 现 ） ： 对 数 据 进 行 去 伪 存 真 后 ， 根 据 被 打 过 的 标 签 进 行 策 略 分 析 落 地 ， 最 后 根 据 策 略 分 析 产 出 威 胁 信 息 数 据 。 根 据 安 全 规 则 进 行 报 警 信 息 推 送 。 对 加 工 好 的 威 胁 数 据 ， 进 行 统 计 展 示 给 用 户 。 为 什 么 采 用 漏 斗 的 方 式 表 达 这 种 模 型 ， 因 为 威 胁 情 报 ， 去 误 报 的 过 程 ， 整 体 就 是 过 滤 信 息 的 过 程 ， 威 胁 信 息 由 多 变 少 的 ， 逐 渐 的 减 少 误 报 。 最 后 将 过 滤 后 的 威 胁 情 报 进 行 汇 总 ， 积 累 成 区 域 型 威 胁 情 报 库 ， 不 断 的 更 新 迭 代 。 0 x 0 3   安 全 角 色 分 工 安 全 角 色 分 工 安 全 运 维 人 员 当 面 对 如 此 之 多 的 日 志 数 据 时 ， 如 何 组 织 这 些 数 据 ， 在 这 些 数 据 当 中 发 现 有 价 值 的 信 息 ， 是 一 件 很 多 挑 战 的 事 情 ， 不 同 的 人 在 整 个 威 胁 发 现 系 统 构 建 的 过 程 中 担 当 不 同 的 角 色 。 每 一 种 职 业 种 类 ， 都 有 自 己 特 长 的 和 弱 点 ， 在 某 些 场 景 下 工 作 ， 有 人 适 合 在 对 抗 路 ， 有 人 适 合 在 后 期 发 力 。 各 种 职 业 人 对 威 胁 信 息 碎 片 组 合 不 一 样 ， 不 同 威 胁 碎 片 信 息 的 属 性 ， 不 同 的 职 业 有 不 同 的 解 读 和 运 用 。 安 全 运 维 ： 安 全 运 维 ： 对 于 安 全 维 护 相 关 人 员 来 说 ， 最 喜 欢 的 体 验 是 ， 将 每 天 产 生 的 原 始 威 胁 数 据 情 报 当 中 的 可 疑 信 息 ， 选 最 重 要 与 危 害 最 大 的 问 题 进 行 优 先 报 警 ， 并 找 到 相 关 责 任 人 推 送 报 警 信 息 。 安 全 运 维 人 员 ， 需 要 不 断 的 迭 代 制 作 安 全 策 略 与 报 警 规 则 。 数 据 运 维 ： 数 据 运 维 ： 将 各 种 可 见 的 威 胁 信 息 日 志 ， 进 行 整 理 集 中 ， 运 用 各 种 大 数 据 工 具 ， 将 数 据 进 行 合 理 的 存 储 ， 保 证 数 据 完 整 性 、 有 效
性 。 安 全 开 发 ： 安 全 开 发 ： 提 供 操 作 界 面 ， 都 所 有 可 用 的 日 志 数 据 ， 提 供 查 询 界 面 ， 查 询 接 口 ， 完 成 信 息 查 询 交 互 。 大 数 据 算 法 ： 大 数 据 算 法 ： A I 分 析 是 安 全 分 析 的 大 脑 。 安 全 威 胁 发 的 方 式 方 法 有 很 多 的 种 类 ， 比 如 D N S 解 析 相 关 、 僵 尸 网 络 相 关 、   W E B 相 关 的 ， 比 如 ： X S S 反 射 、 S Q L 注 入 等 等 。 面 一 种 同 一 种 威 胁 事 件 数 据 ， 有 多 种 检 测 方 法 ， 比 如 针 对   S Q L 注 意 和 X S S 注 入 这 种 威 胁 的 发 现 方 式 就 有 ： 同 样 是 神 经 网 络 ， 使 用 的 具 体 算 法 不 同 ， 样 本 不 同 ， 效 果 也 不 同 ，   比 如 ： L S T M 、 M L P 等 。 有 开 源 的 检 测 软 件 ， 有 商 业 软 件 都 具 备 威 胁 分 析 报 警 的 功 能 ， 可 以 作 为 平 时 网 络 环 境 中 检 测 威 胁 事 件 的 手 段 。 商 业 软 件 的 威 胁 分 析 过 程 是 黑 盒 完 成 ， 用 户 看 不 到 具 体 威 胁 实 现 的 方 法 策 略 ， 属 于 产 品 核 心 的 一 部 分 。 并 且 ， 无 论 是 商 业 软 件 ， 还 是 开 源 软 件 都 存 在 误 报 的 情 况 的 ， 还 有 漏 报 的 情 况 。 针 对 这 种 情 况 ， 在 实 践 过 程 ， 我 们 采 用 相 应 方 法 处 理 。 为 了 强 化 某 些 防 御 技 能 ， 加 厚 防 御 ， 有 时 需 要 叠 加 防 御 装 备 ， 而 叠 加 的 防 御 装 备 又 不 能 千 篇 一 律 ， 可 以 根 据 不 同 的 攻 击 类 型 ， 在 增 加 防 御 的 同 时 ， 有 减 速 的 攻 击 防 御 手 段 ， 有 迷 惑 眩 晕 的 对 方 的 防 御 手 段 ， 有 终 结 阻 断 的 对 方 攻 击 的 防 御 手 段 ， 有 抵 抗 对 方 挖 矿 控 制 快 速 脱 离 受 控 的 手 段 ， 等 等 。 过 滤 ： 交 叉 检 查 过 滤 ： 交 叉 检 查 ( 垂 直 垂 直 ) 叠 加 检 测 分 析 装 备 与 服 务 ， 提 取 头 部 信 息 ， 是 为 了 尽 量 的 消 除 误 报 。 举 例 来 说 ， 我 们 能 通 过 流 量 镜 像 的 方 式 ， 将 网 络 中 的 一 部 分 流 量 ， 导 入 某 个 威 胁 分 析 系 统 ， 分 析 系 统 会 为 我 们 产 生 各 种 类 型 的 报 警 信 息 ， 但 是 ， 报 警 信 息 是 会 存 在 误 报 的 。 我 们 就 可 以 用 冗 余 威 胁 手 段 多 次 ， 对 同 一 个 威 胁 信 息 ， 进 行 威 胁 重 叠 判 断 ， 降 低 误 报 。 比 如 ， 我 们 可 以 对 于 基 于 正 则 模 式 匹 配 X S S 分 析 结 果 ， 再 用 自 然 语 言 处 理 的 方 式 进 行 确 认 ， 也 可 以 对 基 于 自 然 语 言 处 理 的 报 警 ， 通 过 神 经 网 络 算 法 ， 或 是 开 源 威 胁 分 析 库 的 方 式 多 次 分 析 ， 通 过 交 叉 检 查 的 方 式 ， 进 行 误 报 过 滤 ， 交 叉 检 查 是 对 威 胁 信 息 多 重 检 查 ， 叠 加 确 认 的 过 程 。 因 为 每 种 威 胁 分 析 都 可 能 会 产 生 误 报 ， 产 生 误 报 叠 加 。 这 时 候 我 们 更 应 该 关 注 的 是 ， 每 种 分 析 方 法 的 头 部 威 胁 分 析 结 果 。 关 联 ： 关 联 检 查 （ 横 向 ） 关 联 ： 关 联 检 查 （ 横 向 ） 网 络 环 境 中 不 只 有 一 种 监 测 手 段 存 在 ， 我 们 可 以 从 不 同 的 维 度 进 行 ， 对 资 产 进 行 安 全 监 控 保 护 ： 叠 加 堆 砌 威 胁 分 析 设 备 与 服 务 ， 是 为 了 提 高 发 现 的 威 胁 准 确 率 ， 减 少 漏 报 。 有 时 会 用 多 种 不 同 的 装 备 在 同 一 区 域 叠 加 使 用 ， 强 化 某 一 效 果 ， A 装 备 效 果 不 够 快 ， 可 以 用 B 装 备 。 A 看 不 见 的 ， B 可 以 看 见 。 A 不 便 于 部 署 的 ， B 可 以 便 于 部 署 。 举 例 来 说 ，   相 同 网 络 环 境 ： 第 1 种 ： 流 量 监 听 ， 我 们 可 以 会 把 相 关 某 一 区 域 的 网 络 流 量 ， 镜 像 给 网 络 检 查 分 析 模 块 （ 开 源 商 业 ） ， 通 过 流 量 分 析 ， 分 析 出 针 对 某 台 服 务 操 作 的 可 疑 流 量 数 据 ， 及 威 胁 报 警 。 1 . 基 于 正 则 匹 配 。 2 . 基 于 S Q L   I n j e c t i o n 模 式 配 对 。 3 . 基 于 自 然 语 言 处 理 算 法 。 4 . 基 于 神 经 网 络 算 法 。
第 2 种 ： 部 署 蜜 罐 ， 我 们 会 在 重 要 服 务 器 所 在 环 境 部 署 蜜 罐 系 统 ， 通 过 蜜 罐 检 查 当 前 网 段 的 可 疑 行 为 。 第 3 种 ： 加 入 审 计 监 听 ， 我 们 可 以 对 服 务 器 安 装 类 似 O S Q u e r y 这 种 主 机 审 计 组 件 ， 分 析 主 机 配 置 变 化 的 可 疑 行 为 。 第 4 种 ： 主 动 扫 描 ， 我 们 可 以 定 时 对 服 务 器 发 起 主 动 扫 描 ， 服 务 扫 描 和 端 口 扫 描 ， 通 过 扫 描 返 回 结 果 ， 建 立 漏 洞 库 等 相 关 情 况 ， 判 断 主 机 是 否 异 常 。 第 5 种 ： 访 问 控 制 ， 我 们 可 以 建 立 服 务 主 机 的 访 问 控 制 ， 生 成 通 信 聚 类 的 白 名 单 与 黑 名 单 ， 分 析 异 常 访 问 行 为 。 第 6 种 ： 威 胁 情 报 库 ， 我 们 可 以 将 访 问 服 务 的 I P 与 威 胁 情 报 库 进 行 对 比 ， 发 现 异 常 访 问 行 为 。 横 向 的 威 胁 检 查 方 法 可 能 还 会 很 多 ， 这 里 只 是 举 例 一 些 。 他 们 都 有 一 个 公 同 之 处 ： 这 些 检 测 分 析 服 务 都 会 产 生 ， 围 绕 同 一 主 体 的 威 胁 报 警 信 息 ， 所 以 对 于 同 一 I P 主 体 ， 可 以 通 过 各 种 检 测 手 段 ， 垂 直 确 认 后 ， 再 横 向 与 其 它 分 析 模 块 的 威 胁 数 据 进 行 比 较 。 威 胁 的 确 认 ， 误 报 的 情 况 是 可 能 发 生 的 ， 但 是 如 果 多 种 检 测 方 式 ， 都 出 现 了 威 胁 事 件 的 发 生 ， 就 降 低 了 误 报 的 可 能 性 ， 具 体 的 控 制 细 节 需 要 实 施 者 具 体 控 制 的 。 比 如 ： 一 台 机 器 ， 同 时 有 扫 描 行 为 ， 还 访 问 敏 感 端 口 ， 还 触 碰 蜜 罐 ， 服 务 负 载 情 况 在 异 常 时 间 发 生 异 常 变 化 ， 这 一 系 列 的 操 作 ， 多 个 威 胁 事 件 同 时 指 向 一 个 主 体 ， 说 明 服 务 可 能 真 的 出 现 问 题 了 。 如 果 用 各 种 装 备 来 强 化 防 御 厚 度 ， 并 且 可 灵 活 上 下 线 ，   可 以 终 结 控 制 ， 可 以 阻 断 访 问 ， 效 果 更 佳 。 0 x 0 4   实 现 工 具 技 术 栈 实 现 工 具 技 术 栈 图 2 . 威 胁 分 析 沙 漏 模 型 （ 技 术 栈 ） 如 果 有 多 种 检 查 手 段 ， 我 们 一 定 有 多 种 威 胁 情 报 的 ， 从 技 术 工 具 层 面 ， 我 们 如 果 管 理 这 些 数 据 ， 如 何 挖 掘 、 利 用 、 驱 动 这 些 数 据 是 一 个 问 题 。 今 天 的 开 源 社 区 变 的 异 常 的 强 大 ， 可 以 用 各 种 开 源 软 件 ， 构 建 我 们 的 安 全 检 测 系 统 ， 大 家 使 用 有 类 似 的 技 术 栈 、 像 E L K 、 H a d o o p 、 S p a r k 这 种 工 具 都 非 常 的 常 见 ， 大 家 使 用 的 技 术 工 具 手 段 都 非 常 常 见 。 实 现 技 术 ： 技 术 属 于 技 能 属 性 ， 不 同 职 业 人 有 着 自 己 领 域 专 属 的 技 能 元 素 ， 人 是 技 术 技 能 的 一 种 载 体 。
实 现 工 具 ： 工 具 是 构 建 服 务 的 武 器 ， 武 器 有 不 同 的 属 性 。 威 胁 发 现 系 统 是 一 个 渐 进 发 展 的 过 程 ， 在 时 间 线 上 ， 根 据 规 模 和 发 展 的 状 况 不 同 ， 调 用 合 适 工 具 武 器 来 达 到 自 己 夺 标 的 目 的 ， 规 模 小 的 时 候 ， 发 展 初 期 ， 可 以 使 用 一 般 的 统 计 工 具 就 可 以 ，   E S 单 结 点 ， M y s q l 数 据 ， 随 着 规 模 和 时 间 的 发 展 ，   适 应 大 的 数 据 量 ， 就 可 以 更 重 型 的 武 器 来 解 决 ， 更 复 杂 的 需 求 。 E S 单 结 点 无 法 满 足 就 使 用 集 群 ， 一 个 集 群 不 够 ， 使 用 多 个 集 群 。 M y S Q L 不 够 就 用 C l i c k H o u s e 。 系 统 都 是 从 小 到 大 ， 不 断 迭 代 的 过 程 ， 数 据 也 从 单 机 到 集 群 ， 从 一 个 集 群 到 多 个 集 群 。 检 测 系 统 、 设 备 、 日 志 格 式 都 在 不 断 的 积 累 增 多 ， 越 变 越 复 杂 。 但 是 基 础 模 式 越 来 越 清 晰 。 我 们 从 实 现 的 技 术 栈 的 角 度 分 析 具 体 使 用 过 技 术 手 段 。 第 一 层 第 一 层 . 输 入 层 ： 输 入 层 ： 对 于 数 据 输 入 收 集 阶 段 ， 各 种 各 样 的 数 据 收 集 手 段 都 能 利 用 上 。 f i l e b e a t 、 n x l o g 、 l o g s t a s h 、 s y s l o g 等 ， 各 种 能 便 捷 取 得 数 据 的 手 段 都 可 以 用 ， 根 据 不 同 的 平 台 。 第 二 层 第 二 层 . 处 理 层 ： 处 理 层 ： 数 据 的 处 理 之 前 是 要 对 数 据 进 行 存 储 的 ， 不 然 也 没 法 分 析 数 据 。 安 全 大 数 据 中 很 重 要 的 一 点 是 数 据 缓 存 ， 解 决 输 入 数 据 量 过 大 ， 处 理 不 过 来 的 问 题 。 E l a s t i c S e a r c h 是 现 在 最 行 的 一 种 数 据 存 储 方 案 之 一 ， 我 们 也 不 例 外 的 使 用 的 E S 保 存 数 据 。 用 E S 一 个 很 大 的 好 处 是 ， 我 们 不 用 想 使 用 关 系 型 数 据 库 时 先 创 建 表 结 构 ， 可 快 速 想 报 警 数 据 收 集 。 对 安 全 威 胁 数 据 来 说 ， E S 前 期 收 集 数 据 更 快 捷 。 高 危 的 报 警 数 据 ， 理 论 上 应 该 和 交 通 数 据 不 一 样 ， 那 么 巨 大 的 并 发 量 ， 所 以 一 般 的 E S 就 可 以 ， 另 外 E S 本 身 可 以 扩 展 吞 吐 量 。 我 们 对 大 量 的 日 志 数 据 驱 动 ， 还 是 比 较 担 心 的 ， 所 以 我 们 用 了 C l i c k H o u s e 。 C l i c k H o u s e 相 对 于 其 它 的 大 数 据 工 具 ， 上 手 更 快 ， 更 轻 量 ， 但 是 效 果 速 度 确 实 相 当 的 好 。 我 们 可 以 在 C l i c k h o u s e 对 威 胁 进 行 打 标 签 。 如 果 数 据 的 级 别 没 有 达 到 这 个 量 ， 可 以 使 用 M y s q l 。 其 实 E S 同 样 可 以 实 现 索 引 的 S Q L 查 询 。 第 三 层 第 三 层 . 输 出 层 输 出 层 :   数 据 准 备 就 位 以 后 ， 可 以 用 各 种 手 段 分 析 、 展 示 、 报 警 数 据 ， 可 能 根 据 偏 向 技 术 栈 ， 使 用 开 源 的 解 决 方 案 ， 比 如 商 业 B I 分 析 工 具 s u p e r s e t 等 。 沙 漏 模 式 就 是 将 数 据 由 多 变 少 ， 人 肉 一 天 处 理 几 万 报 警 ， 是 处 理 不 过 来 的 。 0 x 0 5   流 模 式 威 胁 处 理 模 型 流 模 式 威 胁 处 理 模 型 图 3 . 威 胁 分 析 处 理 流 模 型
威 胁 数 据 的 湖 泊 海 洋 都 是 由 一 条 条 的 数 据 河 流 汇 聚 而 成 的 。 在 早 期 “ 数 据 流 ” 模 式 ， 收 集 数 据 操 作 起 来 灵 活 方 便 。 因 为 数 据 ， 无 论 是 接 入 ， 还 是 存 储 都 不 能 一 步 到 位 的 ， 采 用 增 量 的 流 模 式 数 据 处 理 比 较 适 合 。 各 种 信 息 数 据 ， 就 像 小 河 汇 入 湖 泊 一 样 ， 积 少 成 多 ， 最 后 形 成 更 大 数 据 动 势 ， 对 于 新 的 威 胁 检 查 手 段 加 入 ， 灵 活 的 新 加 入 一 条 威 胁 信 息 数 据 流 ， 流 入 到 我 们 的 数 据 池 子 中 就 好 。 使 用 E S 收 集 数 据 的 几 个 好 处 ， 如 果 结 构 化 数 据 库 相 关 于 “ 定 长 表 ” 来 说 ，   E S 的 储 存 是 一 种 “ 变 长 表 ” ， 数 据 的 “ 字 段 ” 可 以 灵 活 的 增 加 或 是 减 少 。 当 输 入 段 的 数 据 结 构 发 生 变 化 时 ， 数 据 结 构 不 用 频 繁 变 更 字 段 的 定 义 ， 不 用 频 繁 的 修 改 表 结 构 。 利 用 这 种 灵 活 性 ， 可 以 在 这 个 阶 段 对 数 据 进 行 整 形 处 理 ， 数 据 的 维 护 成 本 会 降 低 。 采 用   C l i c k H o u s e 与 M y S Q L 数 据 库 是 为 了 结 构 化 查 询 ， 能 用 S Q L 解 决 的 问 题 ， 其 实 不 用 再 多 写 很 多 的 脚 本 ， 可 减 少 脚 本 编 写 量 ， S Q L 本 身 可 以 当 成 很 强 大 的 D S L 使 用 ， 对 于 主 机 审 计 应 用 O S Q u e r y 来 说 ， 支 持 S Q L 审 计 也 是 一 种 提 高 审 计 效 率 的 方 法 。 0 x 0 6   威 胁 数 据 处 理 过 滤 模 式 威 胁 数 据 处 理 过 滤 模 式 ( P U L L 、 、 P U S H ) 图 4 . 传 统 威 胁 处 理 模 型 A 面 对 各 种 分 类 的 海 量 数 据 ， 如 何 进 行 数 据 处 理 ？ 方 法 一 个 个 针 对 性 的 处 理 。 从 历 史 发 展 迭 代 出 来 ， 基 本 可 以 归 类 的 模 式 有 2 种 ， 实 际 的 威 胁 分 析 应 用 ， 本 质 上 就 是 两 大 操 作 ： 1 . 单 数 据 流 的 威 胁 垂 直 多 重 威 胁 判 定 确 认 。 2 . 多 分 析 模 块 间 的 威 胁 数 据 的 横 向 比 较 关 联 。 A / B 模 式 数 据 采 集 与 威 胁 分 析 过 程 模 式 数 据 采 集 与 威 胁 分 析 过 程 1 . P U L L 模 式 : 分 析 服 务 主 动 拉 取 各 威 胁 分 析 模 块 的 威 胁 报 警 信 息 数 据 ， 集 中 监 听 模 式 分 析 。 需 要 把 各 种 报 警 ， 分 表 异 结 构 存 储 。 （ 多 表 异 构 ） 2 . P U S H 模 式 ： 各 威 胁 过 滤 模 块 ， 针 对 不 同 的 报 警 进 行 垂 直 过 滤 后 ， 将 过 滤 后 的 数 据 按 同 样 的 结 构 推 送 到 ， 集 中 的 威 胁 数 据 表 中 。 （ 单 表 同 构 ）
图 5 . 传 统 威 胁 处 理 模 型 B 实 际 情 况 是 ，   威 胁 分 析 的 模 式 这 两 种 情 况 是 并 存 的 。 随 着 数 据 的 集 中 处 理 工 作 的 演 进 ，   这 种 两 种 模 ， 最 后 混 合 成 到 了 一 起 ， 只 是 不 同 的 场 景 运 用 了 不 同 有 的 分 析 模 式 。 A / B 模 式 的 优 缺 点 对 比 模 式 的 优 缺 点 对 比 P U L L 处 理 模 式 ： 处 理 模 式 ： 优 点 ： 快 速 审 计 分 析 ， P U L L 模 式 最 快 ， 不 同 分 析 模 块 间 的 威 胁 数 据 互 相 不 干 扰 ， 处 理 异 构 数 据 ， 操 作 很 多 关 联 数 据 ， 但 是 对 单 威 胁 数 据 流 审 计 ， 没 有 那 些 关 联 数 据 操 作 。 缺 点 ： 数 据 不 集 中 ， 相 对 不 利 于 统 计 ， 要 进 行 各 种 S Q L 和 脚 本 的 关 联 。 P U S H 处 理 模 式 ： 处 理 模 式 ： 优 点 ： 如 果 单 S t r e a m 数 据 流 过 滤 之 后 ， 多 准 备 一 份 数 据 处 理 ， 把 报 警 威 胁 信 息 过 滤 后 ， 本 地 存 一 份 ， 在 集 中 表 中 再 存 储 一 份 同 构 数 据 。 之 后 统 计 威 胁 关 联 ， 只 操 作 一 份 数 据 就 可 以 了 ， 减 少 了 关 联 数 据 的 多 次 操 作 。 缺 点 ： 威 胁 数 据 过 于 耦 合 。 0 x 0 7   碰 撞 表 碰 撞 表 : 威 胁 检 测 模 式 威 胁 检 测 模 式
图 6 . 威 胁 分 析 碰 撞 表 模 型 如 果 我 们 采 用 了 P U S H 模 式 ， 将 各 种 数 据 收 集 ， 我 们 就 可 以 对 不 同 标 签 来 源 数 据 进 行 整 合 。 在 威 胁 数 据 被 格 式 化 之 前 ， 我 们 都 是 针 对 不 同 的 威 胁 数 据 进 行 了 一 定 程 度 的 垂 直 过 滤 。 然 后 把 可 能 是 真 的 威 胁 ， 放 入 我 们 的 中 心 威 胁 情 报 表 结 构 ： 为 了 便 于 记 忆 ， 叫 威 胁 比 对 模 式 为 ： 碰 撞 表 。 所 谓 碰 撞 表 ， 就 是 能 过 建 立 一 个 统 一 属 性 结 构 的 威 胁 报 警 二 维 关 系 表 ， 将 不 同 设 备 和 服 务 的 报 警 数 据 集 中 存 储 ， 根 据 威 胁 情 报 在 表 中 ， 重 复 次 数 的 多 少 ， 威 胁 等 级 的 高 低 ， 综 合 累 计 威 胁 事 件 的 多 寡 ， 来 判 断 威 胁 的 严 重 性 。 简 单 说 ， 同 一 个 I P 有 多 个 威 胁 事 件 发 生 的 越 多 ， 并 且 情 报 源 来 自 不 同 服 务 和 设 备 ， 威 胁 越 大 。 P U L L 的 模 式 是 对 数 据 进 行 关 联 ，   通   过 脚 本 读 取 结 构 数 据 关 联 ， 通 过 表 关 联 。 而 在 P U S H 处 理 模 式 下 生 成 的 集 中 碰 撞 表 ， 是 按 威 胁 共 通 属 性 进 行 威 胁 信 息 集 中 的 ， 无 论 是 什 么 类 型 的 威 胁 那 都 是 威 胁 ， 区 别 在 于 威 胁 级 别 和 威 胁 分 析 有 来 源 不 一 样 ， 如 果 我 们 在 碰 撞 表 中 ， 发 现 同 一 个 I P 多 次 出 现 ， 来 自 不 同 的 威 胁 分 析 模 块 ， 而 且 威 胁 的 级 别 还 很 高 。 各 种 威 胁 事 件 发 生 都 这 个 I P 相 关 ， 就 需 要 关 注 一 下 这 个 I P 。 我 们 对 不 同 的 威 胁 级 别 打 分 ， 并 对 同 一 I P 累 计 分 数 ， 最 后 得 出 一 个 分 数 ，   最 后 根 据 得 分 的 高 低 ， 匹 配 不 同 的 处 理 级 别 ， 报 警 级 别 。 攻 击 者 的 情 报 ， 我 们 可 以 在 积 累 的 内 外 部 威 胁 情 报 中 ，   寻 找 回 溯 历 史 数 据 。 被 攻 击 者 的 情 报 ，   我 们 可 以 在 C M D B 资 产 系 统 中 ， 找 到 资 产 对 应 的 责 任 人 。 将 爆 破 表 中 的 威 胁 情 报 ， 进 行 分 类 、 统 计 、 可 视 化 给 安 全 运 维 人 员 做 报 警 提 示 。 以 上 就 是 举 例 说 明 ， 威 胁 信 息 能 过 沙 漏 威 胁 处 理 模 型 ， 进 行 威 胁 数 据 信 息 处 理 的 一 种 策 略 举 例 。 0 x 0 8   总 结 总 结 不 同 规 模 的 环 境 中 ： 输 入 层 ： 输 入 源 的 收 集 数 据 信 息 的 多 寡 ， 数 据 量 大 小 。 处 理 层 ： 对 数 据 分 析 处 理 逻 辑 复 杂 程 度 。 输 出 层 ： 信 息 提 示 的 多 样 性 。 综 合 起 来 决 定 的 防 护 系 统 防 护 能 力 和 构 建 成 本 。 过 去 我 们 在 运 用 E S 和 C l i c k H o u s e 大 数 据 工 具 的 实 践 中 ， 迭 代 演 进 ， 总 结 出 了 这 种 沙 漏 式 的 威 胁 处 理 模 型 ， 然 后 摸 索 出
了 一 些 共 通 性 的 内 容 ， 这 篇 没 有 过 多 涉 及 到 具 体 的 代 码 和 工 具 使 用 方 法 。 * 本 文 原 创 作 者 ： 本 文 原 创 作 者 ： 糖 果 糖 果 L 5 Q ， 本 文 属 ， 本 文 属 F r e e B u f 原 创 奖 励 计 划 ， 未 经 许 可 禁 止 转 载 原 创 奖 励 计 划 ， 未 经 许 可 禁 止 转 载 精 彩 推 荐 精 彩 推 荐
阅 读 原 文
回复

举报

返回列表 发新帖
高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

使用Markdown编辑器编辑 使用富文本编辑器编辑

Archiver|手机版|小黑屋|Nmaps Club

GMT+8, 2025-2-2 21:09 , Processed in 0.569976 second(s), 30 queries .

Powered by Discuz! X3.5

© 2001-2025 Discuz! Team.

快速回复 返回顶部 返回列表