搜索

[12785] 2018-06-04_开源SOC的设计与实践

文档创建者：s7ckTeam
浏览次数：5
最后更新：2025-01-18
2018-06-04_开源SOC的设计与实践 开 源 S O C 的 设 计 与 实 践 x s e c u r i t y   F r e e B u f   2 0 1 8 - 0 6 - 0 4 0 x 0 1   概 要 概 要 开 源 日 志 系 统 分 析 很 常 见 ， 开 源 日 志 系 统 分 析 很 常 见 ，   现 在 基 于 开 源 中 间 件 可 以 很 有 效 的 搭 建 日 志 中 心 ， 处 理 各 种 数 据 的 收 集 与 分 析 。 现 在 基 于 开 源 中 间 件 可 以 很 有 效 的 搭 建 日 志 中 心 ， 处 理 各 种 数 据 的 收 集 与 分 析 。   日 日 志 系 统 也 是 信 息 系 统 ， 从 软 件 工 程 的 角 度 来 看 和 一 般 的 信 息 系 统 有 很 多 类 似 的 地 方 ， 我 们 可 以 从 服 务 器 物 理 部 志 系 统 也 是 信 息 系 统 ， 从 软 件 工 程 的 角 度 来 看 和 一 般 的 信 息 系 统 有 很 多 类 似 的 地 方 ， 我 们 可 以 从 服 务 器 物 理 部 署 的 角 度 来 解 释 这 种 系 统 ， 这 种 更 多 的 是 从 运 维 角 度 来 看 ， 我 们 也 可 以 从 软 件 系 统 构 成 的 角 度 来 分 析 ， 也 可 以 署 的 角 度 来 解 释 这 种 系 统 ， 这 种 更 多 的 是 从 运 维 角 度 来 看 ， 我 们 也 可 以 从 软 件 系 统 构 成 的 角 度 来 分 析 ， 也 可 以 从 数 据 流 向 看 系 统 。 我 们 这 次 把 物 理 部 署 和 软 件 逻 辑 系 统 放 到 一 起 ， 展 示 出 整 个 系 统 的 数 据 流 向 ， 数 据 存 储 和 从 数 据 流 向 看 系 统 。 我 们 这 次 把 物 理 部 署 和 软 件 逻 辑 系 统 放 到 一 起 ， 展 示 出 整 个 系 统 的 数 据 流 向 ， 数 据 存 储 和 处 理 逻 辑 ， 也 展 示 了 从 系 统 设 计 到 插 件 工 厂 的 实 现 逻 辑 。 处 理 逻 辑 ， 也 展 示 了 从 系 统 设 计 到 插 件 工 厂 的 实 现 逻 辑 。 0 x 0 2   需 求 需 求 现 实 的 需 求 很 简 单 ， 就 是 从 我 们 要 从 收 集 到 日 志 数 据 中 ， 分 析 各 种 可 能 存 在 威 胁 ， 按 照 高 中 低 危 进 行 报 警 ， 并 统 计 威 胁 数 据 ， 进 行 报 警 与 后 续 动 作 。 简 化 威 胁 定 义 表 同 ， 如 下 ： S R C _ I P , D S T _ I P , L E V E L , T Y P E 1 9 2 . 1 6 8 . 1 , 1 9 2 . 1 6 8 . 6 , h i g h , p h p _ i n j e c t i o n 1 9 2 . 1 6 8 . 1 , 1 9 2 . 1 6 8 . 6 , m i d d l e , x s s _ i n j e c t i o n 1 9 2 . 1 6 8 . 1 , 1 9 2 . 1 6 8 . 6 , l o w , s q l _ i n j e c t i o n 整 个 系 统 要 做 的 就 是 ： 1 . 数 据 收 集 ： 生 产 中 很 多 服 务 器 的 日 志 和 状 态 数 据 ， 我 们 都 可 以 拿 来 分 析 。 如 果 是 n g i n x 服 务 器 ， 我 们 可 以 通 过 访 问 日 志 发 现 访 问 中 的 威 胁 ， 如 果 部 署 有 H I D S ， 我 们 可 以 分 析 单 机 服 务 器 的 状 态 ， 并 与 长 期 聚 合 的 白 名 单 进 行 比 对 ， 发 现 威 胁 。
2 . 数 据 清 洗 ： 实 际 我 们 收 集 了 大 量 的 各 种 日 志 数 据 ， 这 些 数 据 ， 我 们 不 能 直 接 拿 来 用 ， 初 级 阶 段 的 日 志 分 析 和 简 单 查 找 可 以 做 到 ， 之 后 ， 我 们 需 要 对 数 据 的 格 式 进 行 整 形 ， 如 果 进 行 威 胁 分 析 ， 就 要 把 大 量 不 关 键 的 信 息 清 洗 掉 。 3 . 威 胁 分 析 ： 我 们 的 数 据 在 先 期 经 过 了 整 型 和 规 范 化 后 ， 可 以 把 数 据 与 我 们 的 威 胁 特 征 库 进 行 比 较 分 析 ， 用 我 们 积 累 的 威 胁 特 征 库 来 威 胁 判 断 ， 发 现 数 据 中 是 否 存 在 异 常 的 威 胁 行 为 存 在 。 4 . 威 胁 展 示 ： 经 过 数 据 的 清 洗 与 威 胁 初 步 判 断 ， 我 们 找 出 了 ， 存 在 于 日 常 中 日 志 中 的 威 胁 行 为 ， 我 们 需 要 对 这 些 数 据 ， 按 优 先 级 ， 威 胁 高 低 程 度 显 现 ， 给 安 装 安 全 运 维 人 员 使 用 。 5 . 威 胁 报 警 ： 在 实 际 的 工 作 中 ， 会 有 各 种 威 胁 报 警 产 生 ， 但 是 真 正 危 害 到 系 统 的 关 键 性 威 胁 ， 是 有 一 个 优 先 层 级 的 ， 我 们 往 往 把 优 先 级 高 ， 危 害 大 的 威 胁 行 为 ， 第 一 时 间 通 知 管 理 人 员 ， 比 如 ： 生 产 服 务 器 发 生 与 危 险 主 机 的 外 连 通 信 ， 服 务 器 产 生 了 ， 根 本 不 该 产 生 的 S Q L 注 入 行 为 。 0 x 0 3   数 据 收 集 与 存 储 数 据 收 集 与 存 储 我 们 尽 量 从 现 有 的 生 产 环 境 中 ， 取 得 对 我 们 来 说 有 用 的 数 据 源 信 息 ， 前 期 开 源 工 具 起 动 很 大 的 作 用 ， 比 如 ， 我 们 用 n x l o g 、 f i l e b e a t 之 类 的 工 具 在 服 务 上 架 设 数 据 a g e n t ， 架 设 s y s l o g   s e r v e r 服 务 器 ， 使 用 共 享 E S 数 据 集 群 ，   在 这 个 阶 段 我 们 关 注 数 据 源 来 源 ， 数 据 内 容 ， 接 受 的 方 式 ， 部 署 数 据 a g e n t 的 平 台 环 境 ， 这 是 构 建 数 据 日 志 信 息 系 统 必 经 的 一 条 路 。 数 据 存 储 ： 1 . S y s l o g 服 务 器 ：   S y s l o g 是 基 于 U D P 协 议 的 ， 很 多 设 备 都 支 持 s y s l o g 日 志 传 送 ， 生 产 中 有 很 多 n g i n x 为 基 础 的 w e b 应 用 ， n g i n x 也 可 以 发 送 s y s l o g 格 式 的 日 志 。 2 . E S 数 据 库 服 务 器 集 群 ： E S 对 于 存 J S O N 形 式 的 数 据 非 常 友 好 ， 我 们 可 以 把 s y s l o g 数 据 进 行 数 据 整 形 存 到 E S 中 。 3 . K a f k a 队 列 ： 有 时 数 据 I O 特 别 大 时 ， 需 要 一 个 缓 存 来 存 数 据 ， 然 后 再 消 费 到 E S 或 是 C l i c k H o u s e 中 。 4 . C l i c k H o u s e ： C l i c k H o u s e 支 持 大 数 据 存 储 ， 可 以 支 持 S Q L 查 询 。 5 . M o n g o D B ： 这 种 K V 数 据 库 几 乎 也 是 要 用 的 ， 用 于 存 放 共 享 配 置 信 息 。 6 . G r a y l o g 数 据 网 关 ： 如 果 我 们 支 持 通 过 H T T P 接 口 去 E S 中 取 数 据 ， 要 处 理 跨 i n d e x 的 查 询 ， 而 实 际 当 中 ， 如 果 可 以 把 E S 的 操 作 按 业 务 单 元 再 抽 象 出 一 层 ， 把 对 业 务 数 据 的 操 作 ， 归 并 成 大 类 的 R E S T   A P I 操 作 ， 会 让 处 理 逻 辑 更 清 晰 ， 更 好 维 护 ， 这 种 情 况 下 ， G r a y l o g 提 供 的 R E S T 服 务 就 为 我 们 解 决 了 这 个 问 题 ， G r a y l o g 提 供 了 原 始 数 据 “ 流 ” 数 据 组 织 的 跨 越 ， 具 体 的 此 处 不 细 说 。 数 据 收 集 ：
1 . N x L o g ： N x l o g 是 支 持 跨 平 台 的 系 统 级 日 志 收 集 ， 我 们 可 以 在 W i n d o w s 好 部 署 N x l o g 解 决 特 定 日 志 的 收 集 问 题 。 2 . C a t K a f k a ： c a t k a f k a 可 以 把 本 地 落 地 的 日 起 文 本 推 送 到 k a f k a 队 列 中 ， 然 后 从 队 列 中 消 费 到 E S 或 是 C l i c k H o u s e 中 。 3 . L o g g e r ： 这 个 就 是 把 文 本 放 到 s y s l o g 服 务 器 接 受 端 口 。 4 . F i l e b e a t ： 把 文 本 内 容 发 到 E S 中 。 0 x 0 4   威 胁 分 析 处 理 威 胁 分 析 处 理 既 然 威 胁 分 析 系 统 也 是 信 息 系 统 的 一 种 ， 我 们 把 重 点 放 在 ， 如 果 对 系 统 划 分 ， 如 果 对 接 ， 如 果 组 织 和 设 计 程 序 单 体 这 些 点 上 。 如 果 ， 我 们 系 统 是 基 于 E S 为 数 据 库 为 基 础 核 心 ， 或 是 G r a y l o g 这 种 提 供 了 R E S T   A P I 的 数 据 查 询 接 口 服 务 的 系 统 ， 我 们 可 以 很 简 单 的 划 分 组 织 数 据 ， 通 过 一 套 R E S T   A P I 就 可 以 取 得 我 们 想 要 的 日 志 数 据 。 日 志 数 据 有 了 ， 如 何 识 别 日 志 中 是 否 有 威 胁 行 为 ， 就 是 要 针 对 不 同 的 数 据 源 做 分 析 工 作 ， 就 是 构 建 整 威 胁 分 析 系 统 的 大 脑 灵 魂 部 分 ， 我 们 要 有 根 有 据 的 识 别 出 那 些 数 据 是 有 问 题 的 ，   威 胁 分 析 过 程 如 下 ： 1 . 取 特 定 业 务 数 据 源 的 数 据 。 - > 2 . 与 威 胁 规 则 库 进 行 比 较 。 - > 3 . 判 断 结 果 根 据 黑 白 名 单 。 - > 4 . 进 行 威 胁 定 级 。 - > 5 . 生 成 威 胁 报 告 。 完 成 这 些 事 ， 关 键 的 3 个 点 ： 1 . 数 据 源 ： 没 有 数 据 源 无 从 进 行 分 析 。 2 . 判 断 策 略 ： 对 威 胁 和 异 常 的 定 义 ， 是 我 们 判 断 的 主 要 依 据 ， 实 际 生 产 中 ， 有 各 种 威 胁 ， 这 种 威 胁 的 定 义 都 是 不 一 样 ， 我 们 只 有 有 这 种 对 异 常 的 判 断 依 据 ， 才 能 分 析 出 什 么 是 问 题 行 为 。 3 . 黑 白 名 单 ： 威 胁 报 警 噪 音 ， 各 种 系 统 和 设 备 的 误 报 其 实 是 一 直 存 在 ， 我 们 实 际 事 况 也 很 复 杂 ， 应 对 误 报 比 较 有 效 的 一 种 方 式 ， 就 是 构 建 黑 白 名 单 机 制 ， 把 明 显 的 误 报 都 放 到 白 名 单 里 ， 把 特 别 需 要 注 意 的 ， 出 现 过 问 题 的 服 务 列 表 放 到 黑 名 单 里 。
数 据 分 析 ： 从 软 件 系 统 设 计 的 角 度 来 看 ， 3 个 角 度 来 分 析 信 息 系 统 ： 1 . 架 构 设 计 ： 整 体 的 架 构 设 计 很 明 了 ， 基 于 E S 和 C l i c k H o u s e 为 数 据 存 储 核 心 ， 围 绕 核 心 写 子 系 统 。 2 . 概 要 设 计 ：   如 果 非 系 统 的 概 要 级 描 述 ，   从 技 术 角 度 来 看 ， 我 们 采 用 插 件 方 式 组 织 模 块 ， 从 业 务 上 来 讲 ， S Q L 注 入 和 P H P 注 入 的 关 联 性 是 不 大 的 ， 我 们 采 用 插 件 的 方 式 也 是 为 了 解 开 模 块 间 的 耦 合 关 系 。 3 . 单 元 插 件 设 计 ：   体 现 出 单 体 设 计 大 不 同 ， 可 以 从 单 体 类 的 接 口 设 计 和 目 录 构 成 来 区 分 。 0 x 0 5   模 块 单 体 设 计 模 块 单 体 设 计 1 . 单 体 设 计 ： 模 块 对 象 接 口 设 计 ： 为 了 使 用 类 工 厂 集 中 调 度 模 块 ， 我 们 预 定 了 插 件 模 块 必 须 要 有 接 口 函 数 。 / * 定 义 单 体 可 处 理 的 输 入 数 据 * / c l a s s   i n p u t _ d a t a   { s t r i n g   s r c _ i p , s t r i n g   d s t _ i p , s t r i n g   p a y l o a d } ; / * 定 义 单 体 输 出 的 数 据 型 态 * / c l a s s   o u t p u t _ d a t a   { s t r i n g   s r c _ i p , s t r i n g   d s t _ i p , s t r i n g   p a y l o a d , i n t   l e v e l } ; c l a s s   x x x _ I n j e c t i o n   { v r i t u a l   i n t   I n i t ( v o i d ) ;   / /   负 责 所 有 相 关 外 部 数 据 资 源 的 获 取 和 黑 白 名 单 的 设 置 。 v i r t u a l   o u t p u t _ d a t a *   m a i n ( i n p u t _ d a t a   * m e s s a g e ) ;   / /   主 要 的 威 胁 判 断 和 特 征 判 断 。 v i r t u a l   i n t   f i n ( v o i d ) ;   / /   释 放 相 关 资 源 } ;
2 . 目 录 构 成 设 计 我 们 除 去 预 定 的 接 口 ， 同 时 约 定 了 插 件 目 录 结 构 构 成 。 l i b 、 s r c 、 d a t a 、 c o n f i g 文 件 夹 ， M a k e f i l e 、 r u n . s h 、 l o g s 三 个 文 件 。 l i b 文 件 夹 ： 所 有 的 特 征 库 都 在 这 里 ， 比 如 l i b I n j e c t i o n 这 个 库 。 s r c 文 件 夹 ： 插 件 的 源 代 码 。 d a t a 文 件 夹 ： 单 体 测 试 用 的 C S V 文 件 。 c o n f i g 文 件 夹 ： 黑 白 名 单 配 置 文 件 。 M a k e f i l e 文 件 ： 单 体 配 置 文 件 。 r u n . s h 文 件 ： 运 行 脚 本 。 l o g s 文 件 ： 调 试 日 志 。 3 . 代 码 实 现 。 有 了 特 征 库 ， 预 定 了 接 口 ， 剩 下 就 是 具 体 的 编 码 ， 这 个 因 项 目 和 数 据 业 务 而 不 同 ， 占 不 展 示 。 0 x 0 6   威 胁 报 表 与 报 警 威 胁 报 表 与 报 警 整 个 系 统 起 到 点 睛 作 用 的 部 分 就 是 威 胁 报 告 输 出 ， 最 开 始 我 们 简 单 的 约 定 了 威 胁 输 出 了 的 格 式 ： 1 . 威 胁 输 出 格 式 。 S R C _ I P , D S T _ I P , L E V E L , T Y P E 1 9 2 . 1 6 8 . 1 , 1 9 2 . 1 6 8 . 6 , h i g h , p h p _ i n j e c t i o n 1 9 2 . 1 6 8 . 1 , 1 9 2 . 1 6 8 . 6 , m i d d l e , x s s _ i n j e c t i o n 1 9 2 . 1 6 8 . 1 , 1 9 2 . 1 6 8 . 6 , l o w , s q l _ i n j e c t i o n 如 果 是 在 C l i c k H o u s e 生 产 系 统 中 创 建 威 胁 表 格 要 比 这 个 多 ， 字 段 和 展 现 的 数 据 聚 合 是 有 关 系 的 ， 我 们 简 单 的 举 例 一
下 ： S R C _ I P ： 攻 击 I P ， 是 谁 发 起 的 I P ， 我 们 可 以 对 应 I P 在 表 中 产 生 地 理 位 置 信 息 ， 典 型 的 报 表 形 式 就 是 用 于 地 图 跑 。 攻 击 I P 是 可 以 威 胁 情 报 进 行 比 对 的 。 D S T _ I P ： 被 攻 击 I P ， 具 体 那 个 服 务 器 被 攻 击 ， 一 般 的 公 司 都 有 服 务 器 管 理 的 C M D B 数 据 库 ， 可 以 在 生 成 报 告 时 ， 直 接 找 到 对 应 的 I D C 、 机 房 、 管 理 员 。 L E V E L ： 威 胁 级 别 ， 高 中 代 危 ， 看 黑 白 名 单 和 特 征 库 的 定 级 。 T Y P E ： 具 体 是 什 么 威 胁 ， 比 如 ： S Q L 注 入 、 X S S 注 入 、 P H P 注 入 。 2 . 威 胁 报 告 的 形 式 。 邮 件 ：   每 天 早 上 发 送 昨 天 的 攻 击 总 结 日 报 告 、 周 报 告 、 月 报 告 等 。 被 威 胁 I P 的 t o p 1 0 、 被 攻 击 总 数 t o p 1 0 、 威 胁 聚 合 分 布 。 实 时 报 告 ： 提 供 实 时 查 询 接 口 ， 直 接 给 出 C l i c k H o u s e 威 胁 情 报 的 聚 合 信 息 ， 实 时 查 询 挂 在 墙 上 。 0 x 0 7   总 结 总 结 目 前 我 们 把 一 个 基 于 开 源 技 术 的 微 型 日 志 威 胁 分 析 系 统 介 绍 完 了 ， 并 没 给 出 更 具 体 的 实 现 代 码 ， 更 多 的 为 基 础 部 署 架 构 和 设 计 方 式 提 代 了 一 个 思 路 ， 具 体 到 包 括 单 体 接 口 实 现 的 约 定 ， 理 想 状 态 下 ， 按 照 这 种 模 式 写 出 的 模 块 的 大 同 小 异 ， 我 们 这 么 预 定 也 是 为 了 后 续 系 统 扩 展 和 调 试 更 方 便 。 如 果 有 人 不 太 喜 欢 这 种 方 式 ， 其 实 也 是 没 有 问 题 ， 一 定 会 有 更 好 更 高 效 的 方 式 处 理 系 统 的 设 计 和 实 现 ， 然 后 呢 ？ 然 后 我 们 后 续 会 更 具 体 针 对 某 一 些 特 定 业 务 ， 给 出 对 应 业 务 插 件 的 实 现 。 *   本 文 作 者 ： 本 文 作 者 ： x s e c u r i t y ， 本 文 属 ， 本 文 属 F r e e B u f 原 创 奖 励 计 划 ， 未 经 许 可 禁 止 转 载 原 创 奖 励 计 划 ， 未 经 许 可 禁 止 转 载
回复

举报

高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

使用Markdown编辑器编辑 使用富文本编辑器编辑

Archiver| 手机版| 小黑屋|
Powered by Discuz! X3.4 Copyright © 2001-2020, Tencent Cloud. 商业源码建议获取授权，如侵犯您的权益，请联系客服处理