搜索

[22294] 2021-08-28_Suricata+ELK（Docker化部署）数据展示

文档创建者：s7ckTeam
浏览次数：25
最后更新：2025-01-18
2021-08-28_Suricata+ELK（Docker化部署）数据展示 S u r i c a t a + E L K （ D o c k e r 化 部 署 ） 数 据 展 示 F r e e A C h a o   L e m o n S e c   2 0 2 1 - 0 8 - 2 8 一 、 引 言 一 、 引 言 最 近 有 一 个 工 作 任 务 ， 需 要 利 用 S u r i c a t a 作 为 I D S 来 检 测 出 口 流 量 ， 同 时 利 用 E L K 进 行 数 据 的 展 示 。 在 搭 建 过 程 中 ， 发 现 一 篇 文 章 《 使 用 S u r i c a t a 和 E L K 进 行 流 量 检 测 》 [ 1 ] 记 录 的 比 较 好 ， 但 不 是 非 常 符 合 需 求 ， 一 方 面 是 本 次 部 署 任 务 需 要 利 用 D o c k e r 进 行 E L K 的 部 署 ， 另 一 方 面 是 其 数 据 展 示 并 不 是 很 丰 富 。 在 之 前 的 文 章 中 《 C o w r i e 蜜 罐 的 D o c k e r 部 署 过 程 及 E l a s t i c s e a r c h + K i b a n a 可 视 化 》 中 就 利 用 D o c k e r 搭 建 过 e l a s t i c s e a r c h   +   k i b a n a 来 展 示 过 自 己 的 蜜 罐 数 据 。 这 里 按 照 相 同 的 策 略 ， 在 利 用 D o c k e r 部 署 E L K 进 行 展 示 。 二 、 部 署 架 构 二 、 部 署 架 构 本 次 部 署 过 程 中 ， 一 开 始 准 备 在 一 台 机 器 上 部 署 所 有 的 内 容 ， 也 就 是 说 ， 在 s u r i c a t a 监 听 流 量 机 器 上 直 接 部 署 E L K ， 但 是 为 了 以 后 能 够 更 好 的 扩 展 ， 还 是 将 两 部 分 分 开 ： 在 出 口 流 量 的 镜 像 服 务 器 上 ， 只 部 署 s u r i c a t a 进 行 流 量 监 听 ， 并 生 成 日 志 ， 同 时 利 用 f i l e b e a t 将 数 据 传 输 至 另 一 台 机 器 的 l o g s t a s h ； 另 外 一 台 机 器 上 利 用 d o c k e r 部 署 E L K 。 具 体 的 安 排 如 下 ： 表 2 - 1   服 务 器 安 排 机 器 机 器 部 署 内 容 部 署 内 容 I P 流 量 机 器 s u r i c a t a 监 听 流 量 + f i l e b e a t 传 输 数 据 1 0 . 0 . 0 . 1 数 据 展 示 机 器 d o c k e r 部 署 E L K 1 0 . 0 . 0 . 2 三 、 环 境 准 备 三 、 环 境 准 备 3 . 1   k i b a n a 的 展 示 模 板 的 展 示 模 板
图 3 . 1   s ý n e s i s ™   L i t e   f o r   S u r i c a t a 模 板 本 次 部 署 过 程 中 ， 直 接 使 用 了 s ý n e s i s ™   L i t e   f o r   S u r i c a t a [ 2 ] 的 展 示 模 板 ， 这 样 就 省 去 了 再 自 己 管 理 数 据 并 设 计 的 过 程 。 在 进 行 模 板 下 载 的 过 程 中 ， 使 用 1 . 1 . 0 版 本 ， 具 体 版 本 请 自 行 选 择 ， 注 意 要 和 E L K 版 本 匹 配 。 图 3 . 2   版 本 信 息 3 . 2   D o c k e r 镜 像 准 备 镜 像 准 备 在 之 前 的 机 器 上 已 经 存 在 了 E L K 各 个 软 件 7 . 5 . 1 的 软 件 镜 像 ， 所 以 直 接 使 用 该 版 本 。 读 者 可 以 可 以 执 行 下 列 命 令 来 获 取 镜 像 。 3 . 3   s u r i c a t a 的 安 装 的 安 装 在 本 文 要 部 署 的 流 量 监 听 机 器 上 很 早 之 前 就 安 装 了 s u r i c a t a （ 版 本 5 . 0 . 0 ） ， 这 部 分 内 容 在 文 章 [ 1 ] 中 已 经 介 绍 了 很 详 细 ， 读 者 可 以 参 考 其 安 装 过 程 ， 这 里 不 再 赘 述 。 3 . 4   f i l e b e a t 安 装 安 装 d o c k e r   p u l l   l o g s t a s h : 7 . 5 . 1 d o c k e r   p u l l   k i b a n a : 7 . 5 . 1 d o c k e r   p u l l   e l a s t i c s e a r c h : 7 . 5 . 1
f i l e b e a t 需 要 安 装 在 流 量 监 听 机 器 ， 该 部 分 同 样 选 择 7 . 5 . 1 版 本 ， 读 者 可 以 在 该 地 址 下 载 ， 记 得 选 择 版 本 ， 下 载 后 解 压 。 四 、 部 署 过 程 四 、 部 署 过 程 4 . 1   l o g s t a s h 配 置 过 程 配 置 过 程 为 了 更 好 说 明 这 部 分 的 部 署 过 程 ， 这 里 笔 者 直 接 创 建 新 的 文 件 夹 s u r i c a t a _ e l k 进 行 部 署 。 在 部 署 之 前 ， 请 将 s ý n e s i s ™ L i t e 模 板 文 件 （ 下 文 简 称 为 模 板 ） 下 载 ， 并 解 压 。 此 时 的 文 件 组 织 结 构 如 下 ： 图 4 . 1   初 始 环 境 文 件 组 织 结 构 1 ） 在 当 前 文 件 路 径 下 ， 创 建 l o g s t a s h 文 件 夹 ， 2 ） 获 取 模 板 中 的 l o g s t a s h 配 置 文 件 在 模 板 的 l o g s t a s h 配 置 文 件 中 ， 包 含 了 具 体 进 行 数 据 解 析 的 内 容 ， 但 是 分 为 三 个 文 件 配 置 的 ， 这 里 直 接 合 并 为 一 个 ， 执 m k d i r   l o g s t a s h
行 以 下 命 令 。 在 其 配 置 文 件 l o g s t a s h . c o n f 文 件 中 ， 还 有 e l a s t i c s e a r c h 密 码 的 设 置 ， 这 里 不 准 备 使 用 密 码 ， 所 以 直 接 将 l o g s t a s h . c o n f 中 1 1 6 0 和 1 1 7 0 行 的 内 容 删 除 即 可 。 3 ） 配 置 i p 等 数 据 文 件 回 到 上 层 目 录 s u r i c a t a _ e l k 目 录 下 ， 复 制 相 应 的 文 件 到 l o g s t a s h 路 径 下 。 4 . 2   配 置 配 置 e l a s t i c s e a r c h 该 部 分 不 需 要 进 行 具 体 的 配 置 ， 主 要 是 为 了 能 够 将 数 据 保 存 到 宿 主 机 上 ， 创 建 一 个 文 件 夹 来 保 存 数 据 ， 为 了 方 便 直 接 赋 予 该 文 件 夹 全 权 限 。 4 . 3   编 写 编 写 d o c k e r - c o m p o s e 文 件 文 件 c d   s y n e s i s _ l i t e _ s u r i c a t a - 1 . 1 . 0 / l o g s t a s h / s y n l i t e _ s u r i c a t a /   c a t   1 0 _ i n p u t _ b e a t s . l o g s t a s h . c o n f   >   l o g s t a s h . c o n f   c a t   2 0 _ f i l t e r _ s u r i c a t a . l o g s t a s h . c o n f   > >   l o g s t a s h . c o n f   c a t   3 0 _ o u t p u t _ e l a s t i c s e a r c h . l o g s t a s h . c o n f   > >   l o g s t a s h . c o n f   c p   l o g s t a s h . c o n f   . . / . . / . . / . . / l o g s t a s h / c p   s y n e s i s _ l i t e _ s u r i c a t a - 1 . 1 . 0 / l o g s t a s h / s y n l i t e _ s u r i c a t a / d i c t i o n a r i e s /   l o g s t a s h /   - r c p   s y n e s i s _ l i t e _ s u r i c a t a - 1 . 1 . 0 / l o g s t a s h / s y n l i t e _ s u r i c a t a / g e o i p d b s /   l o g s t a s h /   - r   c p   s y n e s i s _ l i t e _ s u r i c a t a - 1 . 1 . 0 / l o g s t a s h / s y n l i t e _ s u r i c a t a / t e m p l a t e s /   l o g s t a s h /   - r m k d i r   e l a s t i c s e a r c h / d a t a   - p c h m o d   7 7 7   e l a s t i c s e a r c h / d a t a #   y a m l   s e t t i n g s v e r s i o n :   ' 3 ' s e r v i c e s :         e l a s t i c s e a r c h :                 c o n t a i n e r _ n a m e :   e l a s t i c s e a r c h _ f o r _ s u r i c a t a                 i m a g e :   e l a s t i c s e a r c h : 7 . 5 . 1                 r e s t a r t :   " a l w a y s "                 v o l u m e s :                         -   " . / e l a s t i c s e a r c h / d a t a : / u s r / s h a r e / e l a s t i c s e a r c h / d a t a "                 e n v i r o n m e n t :                         " d i s c o v e r y . t y p e " :   " s i n g l e - n o d e "         k i b a n a :                 c o n t a i n e r _ n a m e :   k i b a n a _ f o r _ s u r i c a t a                 i m a g e :   k i b a n a : 7 . 5 . 1                 p o r t s :                         -   " 5 6 0 1 : 5 6 0 1 "                 r e s t a r t :   " a l w a y s "                 d e p e n d s _ o n :                         -   e l a s t i c s e a r c h         l o g s t a s h :                 c o n t a i n e r _ n a m e :   l o g s t a s h _ f o r _ s u r i c a t a                 i m a g e :   l o g s t a s h : 7 . 5 . 1                 p o r t s :                         -   " 5 0 4 4 : 5 0 4 4 "                 r e s t a r t :   " a l w a y s "                 v o l u m e s :                           -   " . / l o g s t a s h / l o g s t a s h . c o n f : / u s r / s h a r e / l o g s t a s h / p i p e l i n e / l o g s t a s h . c o n f "
其 中 l o g s t a s h 服 务 暴 露 5 0 4 4 端 口 来 接 收 数 据 ， k i b a n a 暴 露 5 6 0 1 端 口 来 进 行 数 据 展 示 ； 如 果 读 者 是 直 接 复 制 该 部 分 命 令 ， 请 注 意 格 式 ， 上 述 代 码 可 能 因 为 f r e e b u f 的 显 示 问 题 出 现 了 换 行 。 此 时 在 初 始 目 录 下 执 行 命 令 d o c k e r - c o m p o s e   u p   - d ， 然 后 访 问 h t t p : / / y o u r _ m a c h i n e _ i p : 5 6 0 1 ， 就 可 以 看 到 K i n a b a 界 面 。 此 时 在 数 据 展 示 机 器 上 的 E L K 就 算 部 署 完 成 了 ， 此 时 的 文 件 夹 结 构 如 下 ：                         -   " . / l o g s t a s h / l o g s t a s h . c o n f : / u s r / s h a r e / l o g s t a s h / p i p e l i n e / l o g s t a s h . c o n f "                         -   " . / l o g s t a s h / d i c t i o n a r i e s / : / u s r / s h a r e / l o g s t a s h / s y n l i t e _ s u r i c a t a / d i c t i o n a r i e s "                         -   " . / l o g s t a s h / g e o i p d b s / : / u s r / s h a r e / l o g s t a s h / s y n l i t e _ s u r i c a t a / g e o i p d b s "                         -   " . / l o g s t a s h / t e m p l a t e s / : / u s r / s h a r e / l o g s t a s h / s y n l i t e _ s u r i c a t a / t e m p l a t e s "                 d e p e n d s _ o n :                         -   e l a s t i c s e a r c h                 e n v i r o n m e n t : # 注 意 这 里 的 内 存 配 置 是 模 板 [ 1 ] 中 所 要 求 ， 笔 者 部 署 过 程 中 发 现 较 小 内 存 无 法 启 动                         L S _ J A V A _ O P T S :   " - X m s 4 g   - X m x 4 g "                         S Y N L I T E _ S U R I C A T A _ B E A T S _ H O S T :   " 0 . 0 . 0 . 0 "                         S Y N L I T E _ S U R I C A T A _ B E A T S _ P O R T :   5 0 4 4                         S Y N L I T E _ S U R I C A T A _ E S _ H O S T :   " e l a s t i c s e a r c h : 9 2 0 0 "                         S Y N L I T E _ S U R I C A T A _ G E O I P _ D B _ P A T H :   " / u s r / s h a r e / l o g s t a s h / s y n l i t e _ s u r i c a t a / g e o i p d b s "                         S Y N L I T E _ S U R I C A T A _ D I C T _ P A T H :   " / u s r / s h a r e / l o g s t a s h / s y n l i t e _ s u r i c a t a / d i c t i o n a r i e s "                         S Y N L I T E _ S U R I C A T A _ T E M P L A T E _ P A T H :   " / u s r / s h a r e / l o g s t a s h / s y n l i t e _ s u r i c a t a / t e m p l a t e s "
图 4 . 2   完 整 的 文 件 夹 结 构 4 . 4   f i l e b e a t 传 输 数 据 传 输 数 据 在 流 量 监 听 机 器 上 ， 读 者 应 该 已 经 安 装 好 了 s u r i c a t a ， 并 能 成 功 运 行 。 此 时 需 要 在 该 机 器 上 使 用 f i l e b e a t 将 数 据 传 输 至 l o g s t a s h 服 务 。 配 置 文 件 如 下 ： 请 修 改 上 述 配 置 文 件 中 的 e v e . l o g 位 置 及 l o g s t a s h 的 I P ， 在 解 压 后 的 f i l e b e a t 路 径 下 执 行 以 下 命 令 ， 即 可 将 数 据 传 递 到 l o g s t a s h 。 4 . 5   k i b a n a 添 加 索 引 添 加 索 引 如 果 前 面 都 部 署 没 有 问 题 ， 此 时 点 击 k i b a n a 界 面 左 侧 菜 单 栏 第 一 个 d i s c o v e r 可 以 看 到 下 列 画 面 。 图 4 - 3   等 待 数 据 此 时 还 没 有 数 据 过 来 ， 稍 等 片 刻 即 可 ， 可 持 续 点 击 c h e c k   f o r   n e w   d a t a 查 看 ， 如 果 有 数 据 到 来 之 后 ， 出 现 以 下 画 面 。 图 4 - 4   定 义 索 引 在 i n d e x   p a t t e r n   输 入 框 中 输 入 s u r i c a t a *   并 点 击 n e x t   s t e p ， 并 选 择 时 间 戳 后 ， 创 建 索 引 模 式 。 f i l e b e a t . i n p u t s : -   t y p e :   l o g     e n a b l e d :   t r u e     p a t h s :         -   . / l o g / e v e . j s o n     f i e l d s :         e v e n t . t y p e :   s u r i c a t a o u t p u t . l o g s t a s h :     h o s t s :   [ " 1 0 . 0 . 0 . 2 : 5 0 4 4 " ] . / f i l e b e a t   - c   . / f i l e b e a t . y m l
图 4 - 5   选 择 时 间 戳 此 时 再 次 点 击 d i s c o v e r ， 可 发 现 已 有 数 据 。 图 4 - 6   查 看 数 据 4 . 6   k i b a n a 添 加 模 板 文 件 添 加 模 板 文 件 但 此 时 ， 还 无 法 利 用 模 板 进 行 展 示 ， 需 要 将 模 板 文 件 添 加 到 k i b n a 中 ， 步 骤 如 下 。 1 ） 在 模 板 文 件 的 k i b a n a 的 子 目 录 中 含 有 相 应 的 模 板 文 件 ， 请 下 载 至 本 机 。 图 4 - 7   下 载 模 板 文 件 2 ） 在 k i b a n a 左 侧 菜 单 栏 选 择 最 后 一 个 m a n a g e m e n t ， 然 后 点 击 s a v e d   o b j e c t s 。 图 4 - 8   导 入 文 件 3 ） 导 入 文 件
选 择 文 件 或 者 直 接 拖 拽 进 入 。 图 4 - 9   导 入 文 件 点 击 右 下 角 导 入 即 可 。 五 、 查 看 数 据 五 、 查 看 数 据 点 击 K i b a n a 左 侧 第 三 个 d a s h b o a r d 按 钮 ， 然 后 随 便 选 择 一 个 即 可 ， 例 如 点 击 警 报 部 分 。 图 5 - 1   警 报 部 分 展 示 如 果 读 者 是 新 部 署 的 机 器 ， 可 能 并 没 有 配 置 警 报 文 件 ， 所 以 数 字 显 示 为 0 ， 可 以 在 s u r i c a t a 开 启 E T / o p e n 的 规 则 。 查 看 流 量 监 听 机 器 是 否 安 装 了 s u r i c a t a - u p d a t e ， 如 果 没 有 ， 可 以 参 照 文 章 《 S u r i c a t a 规 则 介 绍 、 以 及 使 用 s u r i c a t a - u p d a t e 做 规 则 管 理 》 [ 3 ] 进 行 安 装 并 下 载 相 应 规 则 。 然 后 重 启 s u r i c a t a 即 可 。 k i b a n a 的 d a s h b o a r d 中 ， 还 有 很 多 其 他 的 功 能 ， 例 如 地 图 ， 选 择 F l o w s ， 在 右 侧 选 择 G e o I P 可 以 查 看 ， 其 他 功 能 请 读 者 自 行 探 索 。 六 、 小 节 六 、 小 节
本 文 主 要 介 绍 了 利 用 E L K 来 展 示 s u r i c a t a 的 信 息 ， 算 是 给 出 了 一 种 简 单 的 数 据 展 示 方 案 。 但 也 存 在 很 多 问 题 。 1 ） 在 图 5 - 1 中 可 以 看 到 非 常 多 的 报 警 信 息 ， 但 实 际 上 在 我 的 网 络 环 境 下 ， 真 正 有 意 义 的 并 不 多 ， 所 以 需 要 读 者 根 据 自 己 的 环 境 来 进 行 规 则 的 优 化 2 ） s y n e s i s 模 板 只 是 给 出 了 一 种 基 础 类 型 的 模 板 ， 很 多 功 能 还 很 欠 缺 ， 而 且 不 够 灵 活 注 ： 本 文 只 是 在 一 个 小 型 的 网 络 下 进 行 测 试 ， 提 供 了 一 种 简 单 的 数 据 可 视 化 方 案 ， 请 读 者 自 己 在 部 署 时 考 虑 自 己 的 实 际 情 况 。 参 考 参 考 [ 1 ] 使 用 S u r i c a t a 和 E L K 进 行 流 量 检 测 [ 2 ] s ý n e s i s ™   L i t e   f o r   S u r i c a t a [ 3 ] S u r i c a t a 规 则 介 绍 、 以 及 使 用 s u r i c a t a - u p d a t e 做 规 则 管 理 - - - 》 强 烈 推 荐 ： 强 烈 推 荐 ：         每 日 发 布 每 日 发 布   红 队 攻 防 技 术 文 章 、 蓝 队 防 守 技 术 文 章 、 红 队 攻 防 技 术 文 章 、 蓝 队 防 守 技 术 文 章 、 c t f 安 全 赛 事 技 术 文 章 、 安 全 运 维 基 线 文 章 、 以 及 不 定 期 安 全 赛 事 技 术 文 章 、 安 全 运 维 基 线 文 章 、 以 及 不 定 期 的 安 全 类 书 籍 抽 奖 ～ 的 安 全 类 书 籍 抽 奖 ～ 作 者 F r e e A C h a o ， 转 自 f r e e b u f
回复

举报

高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

Archiver| 手机版| 小黑屋|
Powered by Discuz! X3.4 Copyright © 2001-2020, Tencent Cloud. 商业源码建议获取授权，如侵犯您的权益，请联系客服处理