搜索

[12654] 2018-05-02_开源软件创建SOC的一份清单

文档创建者：s7ckTeam
浏览次数：0
最后更新：2025-01-18
2018-05-02_开源软件创建SOC的一份清单 开 源 软 件 创 建 S O C 的 一 份 清 单 x s e c u r i t y   F r e e B u f   2 0 1 8 - 0 5 - 0 2 0 x 0 1   概 要 概 要 现 在 各 个 公 司 都 有 自 己 的 现 在 各 个 公 司 都 有 自 己 的 S O C 安 全 日 志 中 心 ， 有 的 是 自 己 搭 建 的 ， 有 的 是 买 厂 商 的 ， 更 多 的 情 况 是 ， 各 种 复 合 安 全 日 志 中 心 ， 有 的 是 自 己 搭 建 的 ， 有 的 是 买 厂 商 的 ， 更 多 的 情 况 是 ， 各 种 复 合 类 的 的 组 织 结 构 。 这 些 日 志 来 自 不 同 的 服 务 器 ， 不 同 的 部 门 五 花 八 门 。 如 果 是 买 的 设 备 ， 设 备 可 能 是 一 整 套 的 类 的 的 组 织 结 构 。 这 些 日 志 来 自 不 同 的 服 务 器 ， 不 同 的 部 门 五 花 八 门 。 如 果 是 买 的 设 备 ， 设 备 可 能 是 一 整 套 的 方 案 ， 有 自 己 的 流 理 量 监 听 与 安 全 日 志 中 心 ， 但 因 为 成 本 的 原 因 ， 不 能 所 有 地 方 都 都 部 署 商 业 产 品 ， 必 然 会 有 方 案 ， 有 自 己 的 流 理 量 监 听 与 安 全 日 志 中 心 ， 但 因 为 成 本 的 原 因 ， 不 能 所 有 地 方 都 都 部 署 商 业 产 品 ， 必 然 会 有 自 己 的 自 己 的 S O C 系 统 ， 商 业 系 统 也 不 可 能 去 监 听 分 析 ， 太 边 界 的 日 志 ， 处 理 起 来 也 力 不 从 心 ， 首 先 本 地 化 的 数 据 不 系 统 ， 商 业 系 统 也 不 可 能 去 监 听 分 析 ， 太 边 界 的 日 志 ， 处 理 起 来 也 力 不 从 心 ， 首 先 本 地 化 的 数 据 不 通 用 ， 商 用 产 品 也 没 法 构 建 安 全 策 略 。 开 源 和 自 己 构 建 的 系 统 可 以 高 度 的 定 制 化 ， 但 与 商 业 产 品 不 能 有 机 的 结 通 用 ， 商 用 产 品 也 没 法 构 建 安 全 策 略 。 开 源 和 自 己 构 建 的 系 统 可 以 高 度 的 定 制 化 ， 但 与 商 业 产 品 不 能 有 机 的 结 合 ， 就 没 办 法 发 挥 最 大 效 用 。 合 ， 就 没 办 法 发 挥 最 大 效 用 。 0 x 0 2   需 求 分 析 需 求 分 析 抛 出 问 题 ， 我 们 首 先 要 收 集 各 种 日 志 ， 监 听 流 量 ， 让 设 备 去 发 现 流 量 中 的 威 胁 ， 我 们 来 汇 总 报 告 数 据 ， 结 合 我 们 收 集 来 的 所 有 数 据 ， 去 溯 源 ， 去 发 现 更 多 的 历 史 痕 迹 。 内 网 安 全 和 外 网 不 一 样 的 地 方 是 ， 内 网 有 各 种 日 志 和 设 备 ， 采 用 什 么 方 式 取 ， 什 么 方 式 存 ， 用 什 么 工 具 ， 可 能 都 不 统 一 。 但 总 来 说 ， 我 们 主 要 的 手 段 监 听 危 险 行 为 ： 1 . 分 析 流 量 ； 2 . 分 析 日 志 。   像 t e n a b l e 这 种 工 具 ， 就 是 提 供 了 全 栈 系 列 的 解 决 方 案 。   她 会 把 流 量 中 各 种 协 议 解 析 出 来 配 合 自 己 的 策 略 报 警 ， 还 提 供 了 与 外 部 系 统 交 互 的 方 式 ， s y s l o g 和 r e s t   a p i 都 是 典 型 变 互 手 段 ， p a l o a t o 的 I D S 也 一 样 ， 有 的 是 基 于 r e s t 的 ， 有 的 是 基 于 x m l 的 交 互 的 。 总 体 我 们 就 是 有 自 己 的 分 析 结 果 ， 还 有 厂 商 的 分 析 果 ， 如 何 整 体 到 一 起 ， 威 胁 情 报 更 准 确 ， 就 是 我 们 想 要 的 。 0 x 0 3   日 志 收 集 流 程 日 志 收 集 流 程 其 实 我 们 构 建 自 己 的 S O C 也 是 从 流 量 和 日 志 ， 还 有 策 略 方 面 考 虑 的 ，   用 什 么 策 略 ， 又 反 过 来 也 推 动 了 工 具 的 选 择 。 这 篇 我 们 考 虑 不 是 如 何 存 数 据 ， 而 是 我 们 采 用 一 个 什 么 的 结 构 ， 可 以 从 海 量 的 日 志 来 ， 取 得 我 们 想 要 的 有 用 的 数 据 ， 用 机 器 和 自 动 化 的 方 式 ， 代 替 人 工 甄 别 数 据 的 工 作 量 的 耗 时 ， 提 供 一 种 思 路 。 0 x 0 4   日 志 种 类 日 志 种 类
从 大 的 粒 度 角 度 讲 ， 我 们 的 日 志 就 是 几 类 ： 1 . 流 量 日 志 ： 典 型 的 流 量 日 志 ， 比 如 我 们 网 络 镜 像 分 光 过 来 的 日 志 ， 然 后 用 s n o r t 或 是 p c a p 去 监 听 流 量 中 ， 我 们 最 关 注 的 数 据 ， 比 如 h t t p 报 文 ， 或 是 m y s q l 的 执 行 s q l 数 据 。 2 . 设 备 日 志 ： 厂 商 的 设 备 ， 一 般 会 去 监 听 流 量 ， 通 过 监 听 流 量 ， 存 储 日 志 再 分 析 ， 进 行 威 胁 报 告 ， 这 些 高 中 低 威 的 威 胁 日 志 数 据 就 是 我 们 需 要 的 ， 也 是 我 们 要 重 点 过 滤 的 。 这 个 有 一 个 误 报 的 问 题 ， 如 果 设 备 知 道 自 己 是 误 报 ， 就 不 报 了 ， 就 不 用 我 们 过 滤 了 ， 但 误 报 也 是 正 常 ， 那 有 不 误 报 的 设 备 ， 如 果 真 没 用 的 ， 可 以 看 看 是 不 是 设 备 断 电 了 。 3 . 服 务 日 志 ： 比 如 云 的 H T T P 的 日 志 ， 路 由 器 的 日 志 ， 邮 件 服 务 日 志 ， 这 种 日 志 我 们 也 可 以 分 析 收 集 ， 分 析 服 务 中 可 能 存 在 的 安 全 问 题 。 4 . a g e n t 日 志 ： a g e n t 的 日 志 是 大 量 的 ， 比 如 z a b b i x 这 种 模 式 收 集 了 大 量 这 种 日 志 。 （ 图 上 没 画 ） 0 x 0 5   日 志 处 理 相 关 工 具 链 日 志 处 理 相 关 工 具 链 搭 建 这 些 服 务 器 ， 有 很 多 都 通 用 的 的 工 具 ， 大 家 可 以 按 方 抓 药 ， 很 多 都 是 开 源 软 件 ， 主 要 的 成 本 的 是 实 践 的 时 间 成 本 。 流 量 监 听 类 ： 流 量 监 听 类 ： d p d k : d p d k   为   I n t e l   处 理 器 架 构 下 用 户 空 间 高 效 的 数 据 包 处 理 提 供 了 库 函 数 和 驱 动 的 支 持 ， 它 不 同 于   L i n u x   系 统 以 通 用 性 设 计 为 目 的 ， 而 是 专 注 于 网 络 应 用 中 数 据 包 的 高 性 能 处 理 。 也 就 是   d p d k   绕 过 了   L i n u x   内 核 协 议 栈 对 数 据 包 的 处 理 过 程 ， 在 用 户 空 间 实 现 了 一 套 数 据 平 面 来 进 行 数 据 包 的 收 发 与 处 理 。 在 内 核 看 来 ， d p d k   就 是 一 个 普 通 的 用 户 态 进 程 ， 它 的 编 译 、 连 接 和 加 载 方 式 和 普 通 程 序 没 有 什 么 两 样 。 n e t m a p 是 一 个 高 效 的 收 发 报 文 的   I / O   框 架 ， 已 经 集 成 在   F r e e B S D   的 内 部 了 。   当 然 ， 也 可 以 在   L i n u x   下 编 译 使 用   。 p c a p : 流 量 抓 包 基 础 工 具 ， t c p d u m p 等 流 理 工 具 的 底 层 包 。 流 量 复 制 类 ： 流 量 复 制 类 ： t c p y c o p y : 流 量 监 听 和 流 量 重 放 工 具 ， 可 以 实 时 ， 或 是 将 记 录 下 来 的 p c a p 文 件 重 放 。 h t t p - m i r o o r : h t t p 的 镜 像 ， 是 n g i n x 的 插 件 ， 可 以 将 n g i n x , o p e n r e s t y 流 量 ， 并 发 镜 像 一 份 。 开 源 开 源 I D S ： ： s u r i c a t a : S u r i c a t a 是 一 个 高 性 能 的 网 络 入 侵 检 测 （ I D S ） 、 入 侵 防 御 ( I P S ） 和 网 络 安 全 监 控 的 多 线 程 引 擎 , 内 置 支 持 I P v 6 。 可 加 载 s n o r t 规 则 和 签 名 ， 支 持 b a r n y a r d 2 。 使 用 p c a p 提 供 的 接 口 进 行 抓 包 ， 运 行 前 电 脑 必 须 安 装 有 p c a p 才 可 以 使 用 。 s n o r t : 在 1 9 9 8 年 ， M a r t y   R o e s c h 先 生 用 C 语 言 开 发 了 开 放 源 代 码 ( O p e n   S o u r c e ) 的 入 侵 检 测 系 统 S n o r t . 直 至 今 天 ， S n o r t 已 发 展 成 为 一 个 多 平 台 ( M u l t i - P l a t f o r m ) , 实 时 ( R e a l - T i m e ) 流 量 分 析 ， 网 络 I P 数 据 包 ( P o c k e t ) 记 录 等 特 性 的 强 大 的 网 络 入 侵 检 测 / 防 御 系 统 ( N e t w o r k   I n t r u s i o n   D e t e c t i o n / P r e v e n t i o n   S y s t e m ) , 即 N I D S / N I P S . S n o r t 符 合 通 用 公 共 许 可 ( G P L — — G N U   G e n e r a l   P u b i c   L i c e n s e ) , 在 网 上 可 以 通 过 免 费 下 载 获 得 S n o r t , 并 且 只 需 要 几 分 钟 就 可 以 安 装 并 开 始 使 用 它 。 s n o r t 基 于 l i b p c a p 。 日 志 中 心 日 志 中 心 S O C : g r a y l o g ： ： G r a y l o g   是 一 个 简 单 易 用 、 功 能 较 全 面 的 日 志 管 理 工 具 ， 相 比   E L K   组 合 ，   优 点 ： 部 署 维 护 简 单 , 查 询 语 法 简
单 易 懂 , 内 置 简 单 的 告 警 , 可 以 将 搜 索 结 果 导 出 为   j s o n , 提 供 简 单 的 聚 合 统 计 功 能 , U I   比 较 友 好 。 s p l u n k ： ： S p l u n k   是 机 器 数 据 的 引 擎 。 使 用   S p l u n k   可 收 集 、 索 引 和 利 用 所 有 应 用 程 序 、 服 务 器 和 设 备 生 成 的 快 速 移 动 型 计 算 机 数 据   。   使 用   S p l u n k i n g   处 理 计 算 机 数 据 ， 可 让 您 在 几 分 钟 内 解 决 问 题 和 调 查 安 全 事 件 。 监 视 您 的 端 对 端 基 础 结 构 ， 避 免 服 务 性 能 降 低 或 中 断 。 以 较 低 成 本 满 足 合 规 性 要 求 。 关 联 并 分 析 跨 越 多 个 系 统 的 复 杂 事 件 。 获 取 新 层 次 的 运 营 可 见 性 以 及   I T   和 业 务 智 能 。 服 务 日 志 ： 服 务 日 志 ： 企 业 内 部 的 服 务 日 志 太 多 了 ， 邮 件 、 网 关 、 v p n 、 云 日 志 ， 不 一 一 介 绍 。 所 以 这 些 工 作 的 第 一 步 ， 就 是 将 这 些 数 据 都 放 到 合 适 的 容 器 了 里 ， 数 据 库 还 是 很 多 的 ， 这 里 特 别 要 说 的 是 c l i c k h o u s e ， c l i c k h o u s e 是 用 来 分 析 用 户 行 为 的 ， 用 于 安 全 领 域 也 是 可 以 有 的 。 E l a s t i c S e a r c h ： ： E l a s t i c S e a r c h 是 一 个 基 于 L u c e n e 的 搜 索 服 务 器 。 它 提 供 了 一 个 分 布 式 多 用 户 能 力 的 全 文 搜 索 引 擎 ， 基 于 R E S T f u l   w e b 接 口 。 E l a s t i c s e a r c h 是 用 J a v a 开 发 的 ， 并 作 为 A p a c h e 许 可 条 款 下 的 开 放 源 码 发 布 ， 是 当 前 流 行 的 企 业 级 搜 索 引 擎 。 设 计 用 于 云 计 算 中 ， 能 够 达 到 实 时 搜 索 ， 稳 定 ， 可 靠 ， 快 速 ， 安 装 使 用 方 便 。 C l i c k H o u s e ： ： Y a n d e x 在 2 0 1 6 年 6 月 1 5 日 开 源 了 一 个 数 据 分 析 的 数 据 库 ， 名 字 叫 做 C l i c k H o u s e ， 这 对 保 守 俄 罗 斯 人 来 说 是 个 特 大 事 。 更 让 人 惊 讶 的 是 ， 这 个 列 式 存 储 数 据 库 的 跑 分 要 超 过 很 多 流 行 的 商 业 M P P 数 据 库 软 件 ， 例 如 V e r t i c a 。 如 果 你 没 有 听 过 V e r t i c a ， 那 你 一 定 听 过   M i c h a e l   S t o n e b r a k e r ， 2 0 1 4 年 图 灵 奖 的 获 得 者 ， P o s t g r e S Q L 和 I n g r e s 发 明 者 （ S y b a s e 和 S Q L   S e r v e r 都 是 继 承   I n g r e s 而 来 的 ） ,   P a r a d i g m 4 和 S c i D B 的 创 办 者 。 M i c h a e l   S t o n e b r a k e r 于 2 0 0 5 年 创 办 V e r t i c a 公 司 ， 后 来 该 公 司 被 H P 收 购 ， H P   V e r t i c a 成 为 M P P 列 式 存 储 商 业 数 据 库 的 高 性 能 代 表 ， F a c e b o o k 就 购 买 了 V e r t i c a 数 据 用 于 用 户 行 为 分 析 。 m y s q l ： ： 开 源 关 系 型 数 据 库 ， 这 个 大 家 如 果 感 到 陌 生 ， 可 以 g o o g l e 一 下 。 日 志 收 集 工 具 日 志 收 集 工 具 : n x l o g ： ： n x l o g   是 用   C   语 言 写 的 一 个 开 源 日 志 收 集 处 理 软 件 ， 它 是 一 个 模 块 化 、 多 线 程 、 高 性 能 的 日 志 管 理 解 决 方 案 ， 支 持 多 平 台 。 l o g s t a s h ： ： L o g s t a s h   是 开 源 的 服 务 器 端 数 据 处 理 管 道 ， 能 够 同 时   从 多 个 来 源 采 集 数 据 、 转 换 数 据 ， 然 后 将 数 据 发 送 到 您 最 喜 欢 的   “ 存 储 库 ”   中 。 （ 我 们 的 存 储 库 当 然 是   E l a s t i c s e a r c h 。 ） k a f k a c a t ： ： 是 一 个 g i t h u b 上 的 开 源 项 目 ， 把 落 地 的 日 志 文 本 传 到 k a f k a 队 列 上 ， 但 比 其 它 的 类 似 工 具 的 特 点 就 是 效 率 强 大 。 0 x 0 6   过 滤 策 略 过 滤 策 略 我 们 收 集 了 这 么 多 数 据 ， 其 实 还 是 想 从 这 些 数 据 中 ， 拿 到 我 们 想 到 的 数 据 是 ， 从 威 胁 报 警 噪 音 中 ， 去 掉 误 报 ， 得 到 最 有 价 值 的 关 键 信 息 。
上 面 我 们 提 到 的 数 据 的 日 志 源 ， 从 威 胁 甄 别 ， 到 日 志 字 段 存 储 策 略 都 有 自 己 方 式 ， 我 们 让 所 有 的 相 关 想 要 的 数 据 都 放 到 了 我 们 的 容 器 里 ， 我 们 加 入 自 己 的 过 滤 策 略 ， 得 到 我 们 想 到 的 结 果 。 其 实 有 些 开 源 日 志 工 具 已 经 想 到 了 会 有 这 种 需 求 ， 所 能 他 们 在 设 计 就 实 现 了 这 个 功 能 ， 我 们 通 添 加 一 些 小 的 脚 本 在 他 们 的 系 统 中 就 可 以 实 现 数 据 的 再 过 滤 处 理 ， 但 也 只 限 于 在 他 们 自 己 的 系 统 里 ， 而 我 们 的 数 据 显 然 不 在 一 个 系 统 里 ， 所 以 ， 最 后 还 得 我 们 自 己 来 ， 下 面 图 展 示 了 大 体 的 我 们 的 容 器 使 用 的 技 术 。 从 ” 1 . 日 志 源 “ 开 始 ， 到 实 际 存 数 据 的 “ 2 . 容 器 ” ， 就 是 基 础 数 据 持 久 层 ， 然 后 我 们 通 过 实 现 一 个 “ 3 . 驱 动 ” 层 来 提 供 数 据 读 取 的 可 能 。 最 后 我 们 会 把 ” 4 . 过 滤 策 略 ” 应 用 到 我 们 的 数 据 上 ， 通 过 编 写 算 法 策 略 来 实 现 数 据 过 滤 和 甄 别 ， 最 后 我 们 能 得 到 什 么 数 据 呢 ？ 我 们 可 以 通 过 白 名 单 和 黑 名 单 得 到 更 准 备 的 报 警 消 息 。   我 们 可 以 得 有 关 行 为 的 关 联 数 据 。 我 们 可 以 建 立 一 个 数 据 反 馈 机 制 ， 沉 淀 威 胁 数 据 和 安 全 策 略 。 我 们 可 能 针 对 不 同 报 警 ， 做 再 次 判 断 处 理 ，   降 低 误 报 噪 音 ， 加 强 正 确 报 警 的 识 别 度 。 0 x 0 7   应 用 实 例 应 用 实 例 比 如 说 ， 我 们 已 经 构 建 了 一 个 实 际 的 复 合 性 的 S O C 系 统 的 雏 形 ， 我 们 可 以 取 得 我 设 备 发 过 来 的 报 警 信 息 ， 比 如 ， 某 个 网 段 上 的 W E B 相 关 的 S Q L 注 入 的 流 量 监 听 分 析 ， 我 们 如 何 做 下 一 步 的 过 滤 策 略 呢 ，   如 果 这 个 设 备 的 报 警 原 则 是 针 对 字 典 的 判 断 的 ， 我 们 就 可 以 加 一 个 针 对 库 判 断 的 工 具 进 行 再 次 过 滤 ， 让 报 警 的 正 确 率 更 高 。
有 一 个 叫 做 l i b i n j e c t i o n 的 库 ， 可 以 准 确 的 判 断 中 字 符 串 中 是 否 有 注 入 ： h t t p s : / / g i t h u b . c o m / c l i e n t 9 / l i b i n j e c t i o n 这 工 具 使 用 起 来 非 常 的 简 单 ， 并 且 提 供 其 它 语 言 的 工 具 驱 动 。 还 技 持 s q l 注 入 以 外 的 检 查 。 堆 积 代 码 不 太 好 ， 而 且 现 在 使 用 一 个 d j a n g o ， f l a s k , t o r n a d o 的 框 架 来 实 现 一 个 后 台 系 统 的 效 率 还 是 挺 快 的 ， 问 题 并 不 只 是 代 码 ， 我 们 最 主 要 的 是 让 策 略 行 之 有 效 的 执 行 下 去 ， 这 样 睡 在 库 中 的 数 据 才 有 价 值 。 我 们 现 在 使 用 o p e n r e s t y 做 网 关 很 普 通 ， 有 人 可 能 会 觉 得 整 合 日 志 和 系 统 间 的 A P I 是 比 较 麻 烦 的 ， 其 实 就 是 麻 烦 ， 我 们 为 了 简 单 一 些 ， 就 封 装 了 一 些 简 单 的 S D K 库 ， 让 工 作 更 高 效 率 ， 比 如 这 个 m o o n s c r i p t 的 库 ： h t t p s : / / g i t h u b . c o m / s h e n g n o a h / f o r t r e s s 0 x 0 8   总 结 总 结 罗 马 城 不 是 一 天 建 立 的 ， 这 种 针 对 各 种 数 据 的 过 滤 策 略 也 是 一 个 不 断 累 积 的 过 程 ， 我 们 只 是 提 供 一 种 实 现 的 思 路 和 可 能 。 更 多 的 代 码 可 以 到 以 上 给 出 的 g i t h u b 的 连 接 上 去 找 。 关 键 系 统 好 用 ， 还 是 要 看 我 们 对 工 具 的 驾 驭 能 力 ， 和 策 略 制 定 的 优 良 ， 按 图 索 骥 拿 出 实 践 ， 记 住 了 ， 如 果 设 备 不 报 警 ， 看 看 是 不 是 断 电 了 。 * 本 文 作 者 ： 本 文 作 者 ： x s e c u r i t y ， 本 文 属 ， 本 文 属   F r e e B u f   原 创 奖 励 计 划 ， 未 经 许 可 禁 止 转 载 原 创 奖 励 计 划 ， 未 经 许 可 禁 止 转 载
阅 读 原 文
回复

举报

高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

使用Markdown编辑器编辑 使用富文本编辑器编辑

Archiver| 手机版| 小黑屋|
Powered by Discuz! X3.4 Copyright © 2001-2020, Tencent Cloud. 商业源码建议获取授权，如侵犯您的权益，请联系客服处理