搜索

[12947] 2018-07-15_收集各类安全设备、Nginx日志实现日志统一管理及告警

文档创建者：s7ckTeam
浏览次数：18
最后更新：2025-01-18
2018-07-15_收集各类安全设备、Nginx日志实现日志统一管理及告警 收 集 各 类 安 全 设 备 、 N g i n x 日 志 实 现 日 志 统 一 管 理 及 告 警 h a c k e r b a b a   F r e e B u f   2 0 1 8 - 0 7 - 1 5 一 、 日 志 收 集 及 告 警 项 目 背 景 一 、 日 志 收 集 及 告 警 项 目 背 景 近 来 安 全 测 试 项 目 较 少 近 来 安 全 测 试 项 目 较 少 , 想 着 把 安 全 设 备 、 想 着 把 安 全 设 备 、 n g i n x 日 志 收 集 起 来 并 告 警 日 志 收 集 起 来 并 告 警 ,   话 不 多 说 话 不 多 说 , 直 接 说 重 点 直 接 说 重 点 , 搭 建 背 景 搭 建 背 景 : 1 .   日 志 源 ： 安 全 设 备 日 志 ( I m p e r v a   W A F 、 绿 盟 W A F 、 p a l o a l t o 防 火 墙 ) 、 n g i n x 日 志 等 ； 2 .   日 志 分 析 开 源 软 件 ： E L K ， 告 警 插 件 ： S e n t i n l   或 e l a s t a l e r t ， 告 警 方 式 ： 钉 钉 和 邮 件 ； 3 .   安 全 设 备 日 志 - > l o g s t a s h - > e s ， n g i n x 日 志 由 于 其 他 部 门 已 有 一 份 （ f l u m e - > k a f k a ） 我 们 通 过 k a f k a - > l o g s t a s h - > e s 再 输 出 一 份 ， 其 中 l o g s t a s h 的 正 则 过 滤 规 则 需 要 配 置 正 确 ， 不 然 比 较 消 耗 性 能 ， 建 议 写 之 前 使 用 g r o k d e b u g 先 测 试 好 再 放 入 配 置 文 件 ； 4 .   搭 建 系 统 : c e n t o s   7   ,   J D K   1 . 8 ,   P y t h o n   2 . 7 5 .   E L K 统 一 版 本 为 5 . 5 . 2 由 于 e s 和 k i b a n a 的 安 装 都 比 较 简 单 ， 就 不 在 下 文 中 说 明 安 装 及 配 置 方 法 了 。 相 关 软 件 的 下 载 链 接 如 下 ： E s : h t t p s : / / a r t i f a c t s . e l a s t i c . c o / d o w n l o a d s / e l a s t i c s e a r c h / e l a s t i c s e a r c h - 5 . 5 . 2 . t a r . g z K i b a n a :   h t t p s : / / a r t i f a c t s . e l a s t i c . c o / d o w n l o a d s / k i b a n a / k i b a n a - 5 . 5 . 2 - l i n u x - x 8 6 _ 6 4 . t a r . g z L o g s t a s h :   h t t p s : / / a r t i f a c t s . e l a s t i c . c o / d o w n l o a d s / l o g s t a s h / l o g s t a s h - 5 . 5 . 2 . t a r . g z 测 试 链 接 G r o k d e b u g ： h t t p : / / g r o k d e b u g . h e r o k u a p p . c o m 二 、 安 全 设 备 日 志 收 集 二 、 安 全 设 备 日 志 收 集 2 . 1   I m p e r v a   W A F 配 置 配 置 策 略 - > 操 作 集 - > 新 增 日 志 告 警 规 则
我 这 边 没 有 用 设 备 自 身 的 一 些 日 志 规 则 ， 而 是 根 据 手 册 自 定 义 了 一 些 需 要 的 日 志 字 段 ， 可 在 自 定 义 策 略 的 消 息 填 入 如 下 字 段 ： 参 数 说 明 ： 告 警 开 始 时 间 、 告 警 I D 、 事 件 I D 、 事 情 数 量 、 告 警 级 别 … .   H T T P 返 回 码 、 触 发 告 警 字 符 串 、 响 应 动 作 、 响 应 时 间 、 响 应 大 小 、 h t t p 包 头 的 值 ， 中 间 省 略 的 部 分 请 自 行 查 看 手 册 。 其 实 I m p e r v a   W A F 的 总 日 志 字 段 数 不 少 于 一 两 百 个 ， 单 从 这 一 点 可 以 看 出 确 实 好 于 国 产 W A F 太 多 。 针 对 I m p e r v a   W A F 的 l o g s t a s h 配 置 如 下 ： 说 明 ： 其 中 g e o i p 为 e l k 自 带 插 件 ， 可 以 解 析 i p 归 属 地 ， 比 如 i p 归 属 的 国 家 及 城 市 ， 在 仪 表 盘 配 置 “ 地 图 炮 ” 装 X 、 查 看 攻 击 源 地 理 位 置 的 时 候 有 点 用 ， 2 . 2   绿 盟 绿 盟 W A F 配 置 配 置 日 志 报 表 - > 日 志 管 理 配 置 - > S y s l o g 配 置 & 日 志 发 生 参 数 S t a r t T i m e = $ ! { A l e r t . c r e a t e T i m e } A l a r m I D = $ ! { A l e r t . d n }   E v e n t I D = $ ! { E v e n t . d n }         A g g r e g a t i o n I n f o = $ ! { A l e r t . a g g r e g a t i o n I n f o . o c c u r r e n c e s } A l e r t _ l e v e l = $ ! { A l e r t . s e v e r i t y }           R u l e N a m e = $ ! { A l e r t . a l e r t M e t a d a t a . a l e r t N a m e }   C a t e g o r y = $ ! { A l e r t . a l e r t T y p e }           A l e r t _ d e s c r i p t i o n = $ ! { A l e r t . d e s c r i p t i o n } E v e n t T y p e = $ ! { E v e n t . e v e n t T y p e }         P o l i c y N a m e = $ ! { R u l e . p a r e n t . d i s p l a y N a m e } S r c I P = $ ! { E v e n t . s o u r c e I n f o . s o u r c e I p }         S r c P o r t = $ ! { E v e n t . s o u r c e I n f o . s o u r c e P o r t } P r o t o = $ ! { E v e n t . s o u r c e I n f o . i p P r o t o c o l }         D s t I P = $ ! { E v e n t . d e s t I n f o . s e r v e r I p } D s t P o r t = $ ! { E v e n t . d e s t I n f o . s e r v e r P o r t }         W e b M e t h o d = $ ! { E v e n t . s t r u c t . h t t p R e q u e s t . u r l . m e t h o d } D o m a i n = $ ! { A l e r t . s e r v e r G r o u p N a m e }         U R L = $ ! { E v e n t . s t r u c t . h t t p R e q u e s t . u r l . p a t h } R e s p o n s e C o d e = $ ! { E v e n t . s t r u c t . h t t p R e s p o n s e . r e s p o n s e C o d e } A l e r t _ k e y = $ ! { E v e n t . s t r u c t . h t t p R e q u e s t . u r l . q u e r y S t r i n g } A c t i o n = $ ! { A l e r t . i m m e d i a t e A c t i o n }         R e s p o n s e T i m e = $ ! { E v e n t . s t r u c t . r e s p o n s e T i m e } R e s p o n s e S i z e = $ ! { E v e n t . s t r u c t . r e s p o n s e S i z e }         H e a d e r s _ v a l u e = $ ! { E v e n t . s t r u c t . h t t p R e q u e s t . h e a d e r s . v a l u e } P a r a m e t e r s _ v a l u e = $ ! { E v e n t . s t r u c t . h t t p R e q u e s t . p a r a m e t e r s . v a l u e } i n p u t {               s y s l o g {               t y p e   = >   " s y s l o g "               p o r t   = >   5 1 4                 }         }         f i l t e r   {         g r o k     {         m a t c h   = > [ " m e s s a g e " , " % { G R E E D Y D A T A : S t a r t T i m e }   A l a r m I D = % { N U M B E R : A l a r m I D }         E v e n t I D = % { N U M B E R : E v e n t I D } A g g r e g a t i o n I n f o = % { N U M B E R : A g g r e g a t i o n I n f o }         A l e r t _ l e v e l = % { D A T A : A l e r t _ l e v e l } R u l e N a m e = % { G R E E D Y D A T A : R u l e N a m e }         C a t e g o r y = % { G R E E D Y D A T A : C a t e g o r y } A l e r t _ d e s c r i p t i o n = % { G R E E D Y D A T A : A l e r t _ d e s c r i p t i o n }         E v e n t T y p e = % { D A T A : E v e n t T y p e } P o l i c y N a m e = % { G R E E D Y D A T A : P o l i c y N a m e }   S r c I P = % { I P V 4 : S r c I P }         S r c P o r t = % { N U M B E R : S r c P o r t } P r o t o = % { D A T A : P r o t o }   D s t I P = % { I P V 4 : D s t I P }         D s t P o r t = % { N U M B E R : D s t P o r t } W e b M e t h o d = % { G R E E D Y D A T A : W e b M e t h o d }         D o m a i n = % { D A T A : D o m a i n } U R L = % { G R E E D Y D A T A : U R L }         R e s p o n s e C o d e = % { G R E E D Y D A T A : R e s p o n s e C o d e } A l e r t _ k e y = % { G R E E D Y D A T A : A l e r t _ k e y }         A c t i o n = % { D A T A : A c t i o n } R e s p o n s e T i m e = % { G R E E D Y D A T A : R e s p o n s e T i m e }         R e s p o n s e S i z e = % { G R E E D Y D A T A : R e s p o n s e S i z e } H e a d e r s _ v a l u e = % { G R E E D Y D A T A : H e a d e r s _ v a l u e } P a r a m e t e r s _ v a l u e = % { G R E E D Y D A T A : P a r a m e t e r s _ v a l u e } " ]             #   实 际 复 制 粘 贴 可 能 会 有 点 格 式 问 题 ， 注 意 参 数 之 间 空 一 个 空 格 即 可             r e m o v e _ f i e l d   = >   [ " m e s s a g e " ]         }         g e o i p   {               s o u r c e   = >   " S r c I P "       # I P 归 属 地 解 析 插 件             }         }         o u t p u t {               e l a s t i c s e a r c h {                   h o s t s   = >   " e s 单 机 或 集 群 地 址 ： 9 2 0 0 "                         i n d e x   = >   " i m p e r v a s y s l o g "               }             }
针 对 绿 盟 W A F 的 l o g s t a s h 配 置 如 下 ： i n p u t 和 o u t p u t 参 照 i m p e r v a   w a f ， 贴 出 最 要 的 g r o k 部 分 ， 如 下 ： 2 . 3   p a l o a l t o 防 火 墙 配 置 防 火 墙 配 置 （ 6 . 1 版 本 ， 其 他 版 本 可 能 会 有 点 差 异 ） 新 建 s y s l o g 服 务 器 - > 日 志 转 发 ， 具 体 看 截 图 g r o k     {                   m a t c h   = >   [ " m e s s a g e " , % { D A T A : s y s l o g _ f l a g }     s i t e _ i d : % { N U M B E R : s i t e _ i d }           p r o t e c t _ i d : % { N U M B E R : p r o t e c t _ i d }     d s t _ i p : % { I P V 4 : d s t _ i p }     d s t _ p o r t : % { N U M B E R : d s t _ p o r t }           s r c _ i p : % { I P V 4 : s r c _ i p } s r c _ p o r t : % { N U M B E R : s r c _ p o r t }   m e t h o d : % { D A T A : m e t h o d }         d o m a i n : % { D A T A : d o m a i n }     u r i : % { D A T A : u r i }     a l e r t l e v e l : % { D A T A : a l e r t _ l e v e l }         e v e n t _ t y p e : % { D A T A : A t t a c k _ t y p e s }   s t a t _ t i m e : % { G R E E D Y D A T A : s t a t _ t i m e }           p o l i c y _ i d : % { N U M B E R : p o l i c y _ i d } r u l e _ i d : % { N U M B E R : r u l e _ i d }     a c t i o n : % { D A T A : a c t i o n }           b l o c k : % { D A T A : b l o c k }   b l o c k _ i n f o : % { D A T A : b l o c k _ i n f o }     h t t p : % { G R E E D Y D A T A : U R L }
 
针 对 P A 的 l o g s t a s h 配 置 如 下 ： i n p u t 和 o u t p u t 参 照 i m p e r v a   w a f ， 贴 出 最 要 的 g r o k 部 分 ， 如 下 ： 贴 两 张 最 终 的 效 果 图 ： 三 、 三 、 N g i n x 日 志 收 集 日 志 收 集 g r o k     {                   m a t c h   = > [ " m e s s a g e " , " % { D A T A : P A _ N a m e } , % { G R E E D Y D A T A : T i m e } , % { N U M B E R : E v e n t i d } , % { D A T A : C a t e g o r y } , % { D A T A : S u b c a t e g o r y } , % { N U M B E R : N U L L } , % { G R E E D Y D A T A : G e n e r a t e _ T i m e } , % { I P V 4 : S o u r c e I P } , % { I P V 4 : D e s t i n a t i o n I P } , % { I P V 4 : N A T _ S o u r c e I P } , % { I P V 4 : N A T _ D e s t i n a t i o n I P } , % { D A T A : R u l e N a m e } , % { D A T A : S o u r c e U s e r } , % { D A T A : D e s t i n a t i o n U s e r } , % { D A T A : A p p l i c a t i o n } , % { D A T A : V M s y s } , % { D A T A : S o u r c e Z o n e } , % { D A T A : D e s t i n a t i o n Z o n e } , % { D A T A : I N _ i n t e r f a c e } , % { D A T A : O U T _ i n t e r f a c e } , % { D A T A : S y s l o g } , % { D A T A : G R E E D Y D A T A : T i m e T w o } , % { N U M B E R : S e s s i o n I D } , % { N U M B E R : R e p e a t } , % { N U M B E R : S o u r c e P o r t } , % { N U M B E R : D e s t i n a t i o n P o r t } , % { N U M B E R : N A T - S o u r c e P o r t } , % { N U M B E R : N A T - D e s t i n a t i o n P o r t } , % { D A T A : F l a g } , % { D A T A : P r o t o } , % { D A T A : A c t i o n } , % { D A T A : N U l l 2 } , % { D A T A : T h r e a t N a m e } , % { D A T A : C a t e g o r y 2 } , % { D A T A : P r i o r i t y } , % { D A T A : D i r e c t i o n } , % { N U M B E R : S e r i a l n u m } , % { G R E E D Y D A T A : N U L L 3 } " ]
由 于 n g i n x 日 志 已 经 被 其 他 大 数 据 部 门 收 集 过 一 遍 了 ， 为 避 免 重 复 读 取 ， 我 们 从 其 他 部 门 的 k a f k a 拉 取 过 来 即 可 ， 这 里 说 一 下 n g i n x 收 集 的 方 式 ， f l u m e - > k a f k a   示 例 配 置 方 式 如 下 ： F l u m e 配 置 如 下 配 置 扫 描 日 志 文 件 配 置 扫 描 日 志 文 件 l o g _ a n a l y s i s _ t e s t . c o n f 配 置 文 件 a 1 . s o u r c e s = s 1   # 可 以 理 解 为 输 入 端 ， 定 义 名 称 为 s 1 a 1 . c h a n n e l s = c 1   # 传 输 频 道 ， 类 似 队 列 ， 定 义 为 c 1 ， 设 置 为 内 存 模 式 a 1 . s i n k s = k 1   # 可 以 理 解 为 输 出 端 ， 定 义 为 s k 1 # s o u r c e 配 置 配 置 a 1 . s o u r c e s . s 1 . t y p e = e x e c a 1 . s o u r c e s . s 1 . c o m m a n d = t a i l   - F / d a t a / l o g / n g i n x / c r f _ c r m . a c c e s s . l o g a 1 . s o u r c e s . s 1 . c h a n n e l s = c 1 # c h a n n e l 配 置 配 置 a 1 . c h a n n e l s . c 1 . t y p e = m e m o r y a 1 . c h a n n e l s . c 1 . c a p a c i t y = 1 0 0 0 a 1 . c h a n n e l s . c 1 . t r a n s a c t i o n C a p a c i t y = 1 0 0 a 1 . s i n k s . k 1 . t y p e = o r g . a p a c h e . f l u m e . s i n k . k a f k a . K a f k a S i n k   设 置 K a f k a 接 收 器 a 1 . s i n k s . k 1 . c h a n n e l = c 1 a 1 . s i n k s . k 1 . t o p i c = c r m _ n g i n x _ l o g _ t o p i c   # 设 置 K a f k a 的 T o p i c a 1 . s i n k s . k 1 . b r o k e r L i s t = x . x . x . x : 9 0 9 2   # 设 置 K a f k a 的 b r o k e r 地 址 和 端 口 号 a 1 . s i n k s . k 1 . r e q u i r e d A c k s = 1 a 1 . s i n k s . k 1 . b a t c h S i z e = 2 0 k a f k a 配 置 配 置 k a f k a 下 载 配 置 z o o k e e p e r ， 根 据 机 器 状 况 更 改 j v m   内 存 设 置 v i m b i n / z o o k e e p e r - s e r v e r - s t a r t . s h 配 置 k a f k a 启 动 z o o k e e p e r w g e t h t t p : / / m i r r o r . b i t . e d u . c n / a p a c h e / k a f k a / 0 . 8 . 2 . 2 / k a f k a _ 2 . 9 . 1 - 0 . 8 . 2 . 2 . t g z   v i m b i n / k a f k a - s e r v e r - s t a r t . s h       根 据 机 器 状 况 更 改 j v m   内 存 设 置
启 动 k a f k a 创 建 应 用 服 务 器 的 创 建 应 用 服 务 器 的 t o p i c 分 区 及 副 本 以 自 己 的 情 况 而 定 查 看 T o p i c 是 否 创 建 成 功 启 动 启 动 k a f k a 生 产 者 生 产 者 启 动 启 动 k a f k a 消 费 者 消 费 者 l o g s t a s h   配 置 文 件 四 、 安 全 告 警 四 、 安 全 告 警 安 全 告 警 可 以 是 S e n t i n l 或   e l a s t a l e r t ， S e n t i n l 是 k i b a n a 插 件 ， 可 以 集 成 到 k i b a n a 内 图 形 化 展 示 ， 但 是 写 规 则 时 需 要 对 J S 较 熟 悉 ， e l a s t a l e r t   是 e s 的 插 件 ， 不 支 持 集 成 到 k i b a n a 界 面 进 行 图 形 化 展 示 。 下 面 分 别 对 这 2 个 插 件 进 行 安 装 及 配 置 说 明 。 4 . 1   S e n t i n l 安 装 如 下 ： 5 . 4 s e n t i n l - v 5 . 4 . 1 . z i p 安 装 后 ， 以 I P 请 求 频 次 告 警 设 置 为 例 ： 每 2 分 钟 去 e s 查 询 一 次 n o h u p b i n / z o o k e e p e r - s e r v e r - s t a r t . s h   c o n f i g / z o o k e e p e r . p r o p e r t i e s   & n o h u p   b i n / k a f k a - s e r v e r - s t a r t . s h c o n f i g / s e r v e r . p r o p e r t i e s   & k a f k a - t o p i c s . s h   - - c r e a t e   – z o o k e e p e r   x . x . x . x : 2 1 8 1 - - r e p l i c a t i o n - f a c t o r   2   - - p a r t i t i o n s   5   - - t o p i c   c r m _ n g i n x _ l o g _ t o p i c . / b i n / k a f k a - t o p i c s . s h   - - l i s t   - - z o o k e e p e r x . x . x . x : 2 1 8 1 b i n / k a f k a - c o n s o l e - p r o d u c e r . s h   - - b r o k e r - l i s t x . x . x . x : 9 0 9 2   - - t o p i c   p a y k a f k a - c o n s o l e - c o n s u m e r . s h   - - z o o k e e p e r x . x . x . x : 2 1 8 1 - - t o p i c   c r m _ n g i n x _ l o g _ t o p i c i n p u t {               k a f k a   {                       c o d e c   = >   " p l a i n "                       g r o u p _ i d   = >   " l o g s t a s h 1 "                       a u t o _ o f f s e t _ r e s e t   = >   " s m a l l e s t "                       r e s e t _ b e g i n n i n g   = >   t r u e                       t o p i c _ i d   = >   " c r m _ n g i n x _ l o g _ t o p i c "                       z k _ c o n n e c t   = >   " x . x . x . x : 2 1 8 1 "   #   z o o k e e p e r 的 地 址               }         g r o k   { 省 略 }         }         o u t p u t {               e l a s t i c s e a r c h {                   h o s t s   = >   " e s 单 机 或 集 群 地 址 ： 9 2 0 0 "                           i n d e x   = >   " i m p e r v a s y s l o g "               } k i b a n a - p l u g i n   i n s t a l l   h t t p s : / / g i t h u b . c o m s i r e n s o l u t i o n s s e n t i n l r e l e a s e s d o w n l o a d t a g -
针 对 需 要 监 控 的 I P 字 段 I n p u t 的 b o d y 内 容 即 e s 查 询 语 法 编 写 过 滤 条 件 如 果 想 对 状 态 码 做 监 控 ， 参 考 如 下 : {             " s c r i p t " :   {                 " s c r i p t " : " p a y l o a d . j s o n = ' 超 过 阀 值 4 0 ' ; v a r   m a t c h = f a l s e ; v a r   t h r e s h o l d = 4 0 ; v a r f i r s t = p a y l o a d . a g g r e g a t i o n s . c o d e . b u c k e t s ; f o r ( v a r   i = 0 ; i < f i r s t . l e n g t h ; i + + ) { v a r i p _ c o u n t   =   p a r s e I n t ( f i r s t [ i ] . d o c _ c o u n t ) ; i f   ( i p _ c o u n t   > =   t h r e s h o l d ) { m a t c h = t r u e ; p a y l o a d . j s o n   + =   ' 【 i p 】 : '   +   f i r s t [ i ] . k e y   +   '     【 c o u n t 】 : '   + f i r s t [ i ] . d o c _ c o u n t   +   ' n ' ; } } ; m a t c h ; "             }         }
A c t i o n 里 面 添 加 钉 钉 群 机 器 人 的 w e b h o o k 钉 钉 报 警 如 下
钉 钉 的 接 口 文 档 链 接 ： h t t p s : / / o p e n - d o c . d i n g t a l k . c o m / d o c s / d o c . h t m ? s p m = a 2 1 9 a . 7 6 2 9 1 4 0 . 0 . 0 . k a r F P e & t r e e I d = 2 5 7 & a r t i c l e I d = 1 0 5 7 3 5 & d o c T y p e = 1 邮 件 告 警 设 置 如 下 ： 4 . 2   e l a s t a l e r t 前 置 条 件 ： J D K   1 . 8 p y t h o n   2 . 7 e a s y _ i n s t a l l   - U   s e t u p t o o l s   （ 最 新 s e t u p t o o l s - 3 9 . 2 . 0 ） y u m   i n s t a l l   g c c y u m   i n s t a l l   p y t h o n - d e v e l y u m   i n s t a l l   l i b f f i - d e v e l 安 装 安 装
回复

举报

高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

Archiver| 手机版| 小黑屋|
Powered by Discuz! X3.4 Copyright © 2001-2020, Tencent Cloud. 商业源码建议获取授权，如侵犯您的权益，请联系客服处理