搜索

[15802] 2020-09-02_基于开源项目构建SIEM

文档创建者：s7ckTeam
浏览次数：3
最后更新：2025-01-18
2020-09-02_基于开源项目构建SIEM 基 于 开 源 项 目 构 建 S I E M l e e h a c k   F r e e B u f   2 0 2 0 - 0 9 - 0 2 S I E M 简 介 简 介 G a r t n e r 的 定 义 ： 安 全 信 息 和 事 件 管 理 （   S e c u r i t y   I n f o r m a t i o n   E v e n t   M a n a g e m e n t ） 技 术 通 过 对 来 自 各 种 事 件 和 上 下 文 数 据 源 的 安 全 事 件 的 实 时 收 集 和 历 史 分 析 来 支 持 威 胁 检 测 和 安 全 事 件 响 应 。 它 还 通 过 分 析 来 自 这 些 来 源 的 历 史 数 据 来 支 持 合 规 报 告 和 事 件 调 查 。 S I E M 技 术 的 核 心 功 能 是 广 泛 的 事 件 收 集 ， 以 及 跨 不 同 来 源 关 联 和 分 析 事 件 的 能 力 。 S I E M 可 以 说 是 企 业 的 网 络 安 全 人 员 的 “ 屠 龙 刀 ” 、 “ 倚 天 剑 ” ， 有 了 S I E M 很 多 网 络 安 全 问 题 可 以 事 半 功 倍 ， 也 是 构 建 企 业 安 全 网 络 的 奠 基 石 ， 它 可 以 作 为 所 有 数 据 收 集 和 分 析 活 动 的 集 中 点 ， 将 各 种 设 备 的 日 志 归 一 化 。 近 年 来 比 较 火 的 S O C 、 S O A R 均 是 在 S I E M 基 础 上 进 行 开 展 ， 相 信 很 多 一 定 规 模 的 企 业 都 会 部 署 S I E M 平 台 ， 可 能 是 商 业 版 ， 也 可 能 是 开 源 的 。 商 业 版 S I E M 特 点 功 能 相 对 完 善 ， 开 箱 即 用 厂 家 提 供 技 术 支 持 ， 节 省 人 员 时 间 和 精 力 很 多 商 业 化 安 全 产 品 扩 展 性 较 差 ， 不 够 灵 活 ， 绝 大 部 分 的 网 安 设 备 都 是 闭 源 的 ， 因 此 个 性 化 需 求 要 完 全 依 赖 厂 商 进 行 二 次 开 发 ， 对 厂 商 依 赖 性 强 ， 需 求 还 一 定 能 满 足 。 商 业 版 S I E M 适 合 网 络 安 全 人 员 或 技 术 能 力 不 足 ， 对 安 全 又 有 一 定 投 入 的 企 业 ， 所 谓 花 钱 买 省 心 。 开 源 S I E M 特 点 功 能 相 对 商 业 版 少 一 些 需 要 网 络 安 全 人 员 来 维 护 ， 因 此 对 运 维 人 员 有 一 定 技 术 能 力 开 放 源 码 ， 可 以 根 据 企 业 本 身 实 际 情 况 进 行 二 次 开 发 ， 满 足 个 性 化 需 求 ， 灵 活 性 较 高 。 开 源 的 S I E M 适 用 于 拥 有 一 定 数 量 的 安 全 人 员 ， 技 术 能 力 强 ， 有 个 性 化 需 求 的 企 业 ， 典 型 代 表 就 是 互 联 网 企 业 ， 互 联 网 企 业 比 较 热 衷 于 自 己 研 发 或 在 开 源 项 目 上 二 次 开 发 ， 一 个 是 技 术 能 力 的 体 现 ， 一 个 是 商 业 版 产 品 满 足 不 了 多 场 景 需 求 。 商 业 版 S I E M 涉 及 商 业 授 权 问 题 ， 因 此 本 次 介 绍 开 源 的 S I E M 工 具 ， E l a s t i c   S t a c k + G r a f a n a E l a s t i c   S t a c k E l a s t i c   S t a c k 简 称 E L K ， 官 方 网 站 ： h t t p s : / / w w w . e l a s t i c . c o / E L K 具 有 以 下 优 势 G a r t n e r   P e e r I n s i g h t s 评 分 ： 4 . 3 星 ； 目 标 受 众 ： 各 种 规 模 的 客 户 ， 尤 其 是 具 有 D e v O p s 功 能 的 客 户 ； 显 著 特 点 ： 开 源 和 极 其 灵 活 的 平 台 ； 定 价 ： 开 源 且 免 费 ， 基 于 具 体 规 模 和 使 用 情 况 提 供 企 业 支 持 和 商 业 订 阅 定 价 模 式 ； 主 要 包 括 以 下 核 心 组 件 ：
E l a s t i c s e a r c h E l a s t i c s e a r c h   是 一 个 分 布 式 的 开 源 搜 索 和 分 析 引 擎 ， 适 用 于 所 有 类 型 的 数 据 ， 包 括 文 本 、 数 字 、 地 理 空 间 、 结 构 化 和 非 结 构 化 数 据 。 E l a s t i c s e a r c h   在 速 度 和 可 扩 展 性 方 面 都 表 现 出 色 ， 而 且 还 能 够 索 引 多 种 类 型 的 内 容 ， 这 意 味 着 其 可 用 于 多 种 用 例 ： 应 用 程 序 搜 索 网 站 搜 索 企 业 搜 索 日 志 处 理 和 分 析 基 础 设 施 指 标 和 容 器 监 测 应 用 程 序 性 能 监 测 地 理 空 间 数 据 分 析 和 可 视 化 安 全 分 析 业 务 分 析 L o g s t a s h L o g s t a s h   是   E l a s t i c   S t a c k   的 核 心 产 品 之 一 ， 可 用 来 对 数 据 进 行 聚 合 和 处 理 ， 并 将 数 据 发 送 到   E l a s t i c s e a r c h 。 L o g s t a s h 是 一 个 开 源 的 服 务 器 端 数 据 处 理 管 道 ， 允 许 您 在 将 数 据 索 引 到   E l a s t i c s e a r c h   之 前 同 时 从 多 个 来 源 采 集 数 据 ， 并 对 数 据 进 行 充 实 和 转 换 。 K i b a n a K i b a n a   是 一 款 适 用 于   E l a s t i c s e a r c h   的 数 据 可 视 化 和 管 理 工 具 ， 可 以 提 供 实 时 的 直 方 图 、 线 形 图 、 饼 状 图 和 地 图 。 K i b a n a   同 时 还 包 括 诸 如   C a n v a s   和   E l a s t i c   M a p s   等 高 级 应 用 程 序 ； C a n v a s   允 许 用 户 基 于 自 身 数 据 创 建 定 制 的 动 态 信 息 图 表 ， 而   E l a s t i c   M a p s   则 可 用 来 对 地 理 空 间 数 据 进 行 可 视 化 。 B e a t s B e a t s 是 作 为 开 源 数 据 托 运 人 代 理 安 装 在 服 务 器 上 ， 用 于 向 E l a s t i c s e a r c h 发 送 操 作 数 据 。 B e a t s 可 以 直 接 将 数 据 发 送 到 E l a s t i c s e a r c h 或 通 过 L o g s t a s h ， 在 L o g s t a s h 里 你 可 以 进 一 步 处 理 和 增 强 数 据 。 基 于 E L K 数 据 流 程 图
自 建 自 建 S I E M 步 骤 步 骤 1 .   采 集 日 志 采 集 日 志 针 对 海 量 的 日 志 ， 安 全 运 维 会 有 以 下 痛 点 日 志 多 且 乱 。 各 个 网 络 设 备 都 有 日 志 ， 日 志 数 据 分 散 难 以 查 找 日 志 难 检 索 。 日 志 数 据 量 大 ， 查 询 速 度 慢 ， 数 据 不 够 实 时 日 志 孤 岛 。 日 志 相 互 独 立 ， 难 以 进 行 关 联 分 析 日 志 展 示 难 。 缺 乏 简 单 易 用 的 工 具 ， 对 日 志 进 行 分 析 展 示 基 于 以 上 痛 点 ， 日 志 的 归 一 化 迫 在 眉 睫 。 针 对 安 全 日 志 ， 可 以 分 为 以 下 几 个 大 类 ： 网 安 设 备 网 安 设 备 ： 通 过 s y s l o g 的 形 式 发 送 到 l o g s t a c h 上 做 数 据 的 格 式 化 和 聚 合 ， 保 留 有 用 的 字 段 。 由 于 每 个 安 全 产 品 的 日 志 字 段 有 差 异 ， 因 此 需 要 将 字 段 名 称 统 一 命 名 ， 用 索 引 名 称 来 区 分 数 据 来 源 ， 方 便 后 期 做 数 据 检 索 。 应 用 日 志 应 用 日 志 ： 针 对 一 些 w e b 日 志 ， 若 不 能 通 过 s y s l o g 的 形 式 发 送 到 E L K 上 ， 可 以 通 过 f i l e b e a t 对 l o g 文 件 进 行 采 集 。 W i n d o w s ： E L K 有 个 w i n l o g b e a t 的 组 件 ， 专 门 收 集 W i n d o w s 上 日 志 ， 采 集 安 全 日 志 中 审 核 失 败 的 事 件 ， 通 过 这 些 事 件 能 否 发 现 W i n d o w s   系 统 的 服 务 器 能 否 遭 到 暴 力 破 解 攻 击 。 L i n u x ： 针 对 L i n u x 系 统 ， 也 可 以 通 过 f i l e b e a t 来 采 集 日 志 ， 采 集 服 务 器 的 安 全 日 志 ， 以 便 用 于 网 络 攻 击 事 件 预 防 、 溯 源 。 2 .   日 志 存 储 及 搜 索 日 志 存 储 及 搜 索 根 据 日 志 量 的 大 小 来 规 则 集 群 的 副 本 数 量 、 分 片 数 量 。 如 何 管 理 e l a s t i c s e a r c h 集 群 ， 这 里 不 多 展 开 阐 述 。 统 一 索 引 名 称 规 范 ， 针 对 多 个 数 据 来 源 ， 我 们 需 要 对 索 引 做 命 名 规 范 ， 便 于 管 理 员 通 过 索 引 来 识 别 日 志 源 ， 如 s a f e - p r o d - f w 0 1 - s y s l o g 开 启 x - p a c k 认 证 ， 全 站 H T T P S 。 e s 集 群 间 通 信 、 e s 和 k i b a n a 、 e s 和 l o g s t a c h 通 信 开 启 证 书 、 密 码 认 证 ， k i b a n a 前 端 访 问 也 需 要 启 用 H T T P S 。 E L K 平 台 提 供 了 多 种 搜 索 方 式 ， 主 要 有 以 下 几 种 ， K Q L 是 k i b a n a 提 供 的 查 询 语 言 ； L u c e n e 是 A p a c h e 提 供 的 查 询 语 言 ， L u c e n e 也 是 e l a s t i c 的 搜 索 引 擎 ； D S L 是 e l a s t i c 公 司 在 L u c e n e 的 基 础 上 开 发 的 一 种 查 询 语 言 。 这 三 种 语 言 的 数 据 搜
索 都 比 较 简 单 ， 零 基 础 即 可 入 门 。 日 志 归 一 化 后 ， 可 以 对 各 个 日 志 源 做 关 联 分 析 ， 这 对 于 安 全 分 析 人 员 来 说 ， 无 疑 带 来 了 很 多 的 便 利 ， 也 会 提 高 工 作 效 率 ， 加 快 安 全 事 件 的 处 理 时 间 。 在 k i b a n a 上 使 用 K Q L 进 行 日 志 查 询 3 .   日 志 展 示 日 志 展 示 万 事 俱 备 ， 只 欠 东 风 ， 到 了 日 志 展 示 环 节 ， 这 是 最 重 要 的 一 步 了 ， 除 了 我 们 安 全 运 维 人 员 需 要 借 助 安 全 日 志 进 行 威 胁 分 析 、 定 位 、 预 警 之 外 ， 还 有 就 是 安 全 可 视 化 的 工 作 汇 报 ， 要 知 道 在 甲 方 ， 我 们 要 让 领 导 看 到 我 们 的 价 值 所 在 ， 需 要 将 安 全 状 况 以 图 表 的 形 式 展 示 给 管 理 层 ， 也 让 管 理 层 知 道 目 前 企 业 的 安 全 状 况 。 k i b a n a 本 身 也 提 供 数 据 图 表 的 功 能 ， 但 效 果 不 是 十 分 好 ， 推 荐 使 用 另 一 款 开 源 工 具 ， g r a f a n a ， 官 方 网 站 ： h t t p s : / / g r a f a n a . c o m / 。 g r a f a n a   是 一 款 采 用   g o   语 言 编 写 的 开 源 应 用 ， 主 要 用 于 大 规 模 指 标 数 据 的 可 视 化 展 现 ， 是 网 络 架 构 和 应 用 分 析 中 最 流 行 的 时 序 数 据 展 示 时 序 数 据 展 示 工 具 。 将 e l a s t i c s e a r c h 数 据 源 添 加 到 g r a f a n a 中 ， 开 始 编 排 图 表 。 首 先 是 内 网 安 全 概 要 页 面 ， 该 页 面 主 要 是 展 示 各 个 维 度 的 攻 击 数 量 、 攻 击 类 型 T o p 1 0 以 及 信 息 安 全 新 闻 等 。
详 情 页 面 。 在 这 里 可 以 对 每 个 系 统 遭 到 攻 击 做 细 分 ， 根 据 时 间 段 查 询 各 个 应 用 系 统 的 攻 击 类 型 以 及 攻 击 数 量 以 上 是 一 些 示 例 图 标 ， 可 以 根 据 企 业 自 身 情 况 来 绘 制 图 表 存 在 的 问 题 及 应 对 措 施 存 在 的 问 题 及 应 对 措 施 在 自 建 S I E M 过 程 ， 自 然 遇 到 不 少 问 题 ， 踩 过 不 少 的 坑 ， 我 总 结 了 以 下 几 个 常 见 问 题 网 安 设 备 不 能 通 过 s y s l o g 推 送 日 志 或 日 志 类 型 不 全 。 小 弟 就 遇 到 过 不 支 持 推 送 s y s l o g 日 志 的 设 备 ， 这 让 人 很 抓 狂 啊 。 针 对 这 种 问 题 ， 只 能 求 助 厂 商 了 ， 可 以 做 一 个 定 制 版 本 来 支 持 s y s l o g 日 志 推 动 。 缺 少 字 段 说 明 文 档 。 大 部 分 s y s l o g 日 志 字 段 都 可 以 通 过 英 文 来 识 别 其 字 段 类 型 ， 但 有 些 安 全 级 别 会 用 数 字 来 代 替 ， 这 时 候 就 不 知 道 高 危 、 中 危 、 低 危 分 布 在 哪 些 区 间 了 。 解 决 办 法 ： 1 .   找 厂 家 协 助 ， 这 是 最 有 效 的 途 径 。 2 .   根 据 设 备 显 示 的 安 全 级 别 跟 s y s l o g 日 志 中 的 数 据 对 应 ， 可 以 收 集 多 个 级 别 的 日 志 进 行 比 较 ， 尽 可 能 匹 配 正 确 。 没 有 告 警 功 能 。 E L K 免 费 版 本 是 没 有 告 警 功 能 的 ， 意 味 着 安 全 事 件 发 生 后 ， 会 有 滞 后 性 。 解 决 办 法 ： 购 买 商 业 版 w a t h e r 的 告 警 功 能 ， 可 以 满 足 多 种 条 件 下 的 告 警 规 则 总 结 总 结 自 建 S I E M ， 我 们 投 入 了 4 个 人 员 ， 花 了 接 近 半 年 的 时 间 完 成 了 从 日 志 收 集 到 数 据 呈 现 ， 从 原 来 日 志 分 散 到 日 志 集 中 管
理 、 安 全 可 视 化 ， 在 网 络 安 全 体 系 建 设 上 可 以 说 是 从 0 到 1 的 过 程 。 不 足 的 是 我 们 现 在 完 成 的 只 是 真 正 意 义 上 S I E M 的 一 部 分 功 能 ， 尽 管 E L K   S t a c k 是 用 于 集 中 式 日 志 记 录 的 功 能 非 常 强 大 的 工 具 ， 但 它 不 能 按 原 样 用 于 S I E M 。 缺 少 内 置 的 警 报 功 能 ， 关 联 规 则 和 缓 解 功 能 E L K   S t a c k 无 法 完 成 安 全 分 析 师 所 需 的 完 整 工 具 箱 。 未 来 的 S I E M 还 具 备 更 多 的 技 术 能 力 ， 包 括 ： 实 时 应 用 关 联 规 则 、 实 时 应 用 高 级 分 析 和 机 器 学 习 、 历 史 数 据 分 析 与 机 器 学 习 。 精 彩 推 荐 精 彩 推 荐
阅 读 原 文
回复

举报

高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

使用Markdown编辑器编辑 使用富文本编辑器编辑

Archiver| 手机版| 小黑屋|
Powered by Discuz! X3.4 Copyright © 2001-2020, Tencent Cloud. 商业源码建议获取授权，如侵犯您的权益，请联系客服处理