[12947] 2018-07-15_收集各类安全设备、Nginx日志实现日志统一管理及告警

文档创建者:s7ckTeam
浏览次数:3
最后更新:2025-01-18
2018-07-15_收集各类安全设备、Nginx日志实现日志统一管理及告警 N g i n x h a c k e r b a b a   F r e e B u f   2 0 1 8 - 0 7 - 1 5 , n g i n x ,   , , : 1 .   ( I m p e r v a   W A F 绿 W A F p a l o a l t o ) n g i n x 2 .   E L K S e n t i n l   e l a s t a l e r t 3 .   - > l o g s t a s h - > e s n g i n x f l u m e - > k a f k a k a f k a - > l o g s t a s h - > e s l o g s t a s h 使 g r o k d e b u g 4 .   : c e n t o s   7   ,   J D K   1 . 8 ,   P y t h o n   2 . 7 5 .   E L K 5 . 5 . 2 e s k i b a n a E s : h t t p s : / / a r t i f a c t s . e l a s t i c . c o / d o w n l o a d s / e l a s t i c s e a r c h / e l a s t i c s e a r c h - 5 . 5 . 2 . t a r . g z K i b a n a :   h t t p s : / / a r t i f a c t s . e l a s t i c . c o / d o w n l o a d s / k i b a n a / k i b a n a - 5 . 5 . 2 - l i n u x - x 8 6 _ 6 4 . t a r . g z L o g s t a s h :   h t t p s : / / a r t i f a c t s . e l a s t i c . c o / d o w n l o a d s / l o g s t a s h / l o g s t a s h - 5 . 5 . 2 . t a r . g z G r o k d e b u g h t t p : / / g r o k d e b u g . h e r o k u a p p . c o m 2 . 1   I m p e r v a   W A F - > - >
I D I D .   H T T P h t t p I m p e r v a   W A F W A F I m p e r v a   W A F l o g s t a s h g e o i p e l k i p i p X 2 . 2   绿 绿 W A F - > - > S y s l o g & S t a r t T i m e = $ ! { A l e r t . c r e a t e T i m e } A l a r m I D = $ ! { A l e r t . d n }   E v e n t I D = $ ! { E v e n t . d n }         A g g r e g a t i o n I n f o = $ ! { A l e r t . a g g r e g a t i o n I n f o . o c c u r r e n c e s } A l e r t _ l e v e l = $ ! { A l e r t . s e v e r i t y }           R u l e N a m e = $ ! { A l e r t . a l e r t M e t a d a t a . a l e r t N a m e }   C a t e g o r y = $ ! { A l e r t . a l e r t T y p e }           A l e r t _ d e s c r i p t i o n = $ ! { A l e r t . d e s c r i p t i o n } E v e n t T y p e = $ ! { E v e n t . e v e n t T y p e }         P o l i c y N a m e = $ ! { R u l e . p a r e n t . d i s p l a y N a m e } S r c I P = $ ! { E v e n t . s o u r c e I n f o . s o u r c e I p }         S r c P o r t = $ ! { E v e n t . s o u r c e I n f o . s o u r c e P o r t } P r o t o = $ ! { E v e n t . s o u r c e I n f o . i p P r o t o c o l }         D s t I P = $ ! { E v e n t . d e s t I n f o . s e r v e r I p } D s t P o r t = $ ! { E v e n t . d e s t I n f o . s e r v e r P o r t }         W e b M e t h o d = $ ! { E v e n t . s t r u c t . h t t p R e q u e s t . u r l . m e t h o d } D o m a i n = $ ! { A l e r t . s e r v e r G r o u p N a m e }         U R L = $ ! { E v e n t . s t r u c t . h t t p R e q u e s t . u r l . p a t h } R e s p o n s e C o d e = $ ! { E v e n t . s t r u c t . h t t p R e s p o n s e . r e s p o n s e C o d e } A l e r t _ k e y = $ ! { E v e n t . s t r u c t . h t t p R e q u e s t . u r l . q u e r y S t r i n g } A c t i o n = $ ! { A l e r t . i m m e d i a t e A c t i o n }         R e s p o n s e T i m e = $ ! { E v e n t . s t r u c t . r e s p o n s e T i m e } R e s p o n s e S i z e = $ ! { E v e n t . s t r u c t . r e s p o n s e S i z e }         H e a d e r s _ v a l u e = $ ! { E v e n t . s t r u c t . h t t p R e q u e s t . h e a d e r s . v a l u e } P a r a m e t e r s _ v a l u e = $ ! { E v e n t . s t r u c t . h t t p R e q u e s t . p a r a m e t e r s . v a l u e } i n p u t {               s y s l o g {               t y p e   = >   " s y s l o g "               p o r t   = >   5 1 4                 }         }         f i l t e r   {         g r o k     {         m a t c h   = > [ " m e s s a g e " , " % { G R E E D Y D A T A : S t a r t T i m e }   A l a r m I D = % { N U M B E R : A l a r m I D }         E v e n t I D = % { N U M B E R : E v e n t I D } A g g r e g a t i o n I n f o = % { N U M B E R : A g g r e g a t i o n I n f o }         A l e r t _ l e v e l = % { D A T A : A l e r t _ l e v e l } R u l e N a m e = % { G R E E D Y D A T A : R u l e N a m e }         C a t e g o r y = % { G R E E D Y D A T A : C a t e g o r y } A l e r t _ d e s c r i p t i o n = % { G R E E D Y D A T A : A l e r t _ d e s c r i p t i o n }         E v e n t T y p e = % { D A T A : E v e n t T y p e } P o l i c y N a m e = % { G R E E D Y D A T A : P o l i c y N a m e }   S r c I P = % { I P V 4 : S r c I P }         S r c P o r t = % { N U M B E R : S r c P o r t } P r o t o = % { D A T A : P r o t o }   D s t I P = % { I P V 4 : D s t I P }         D s t P o r t = % { N U M B E R : D s t P o r t } W e b M e t h o d = % { G R E E D Y D A T A : W e b M e t h o d }         D o m a i n = % { D A T A : D o m a i n } U R L = % { G R E E D Y D A T A : U R L }         R e s p o n s e C o d e = % { G R E E D Y D A T A : R e s p o n s e C o d e } A l e r t _ k e y = % { G R E E D Y D A T A : A l e r t _ k e y }         A c t i o n = % { D A T A : A c t i o n } R e s p o n s e T i m e = % { G R E E D Y D A T A : R e s p o n s e T i m e }         R e s p o n s e S i z e = % { G R E E D Y D A T A : R e s p o n s e S i z e } H e a d e r s _ v a l u e = % { G R E E D Y D A T A : H e a d e r s _ v a l u e } P a r a m e t e r s _ v a l u e = % { G R E E D Y D A T A : P a r a m e t e r s _ v a l u e } " ]             #               r e m o v e _ f i e l d   = >   [ " m e s s a g e " ]         }         g e o i p   {               s o u r c e   = >   " S r c I P "       # I P             }         }         o u t p u t {               e l a s t i c s e a r c h {                   h o s t s   = >   " e s 9 2 0 0 "                         i n d e x   = >   " i m p e r v a s y s l o g "               }             }
绿 W A F l o g s t a s h i n p u t o u t p u t i m p e r v a   w a f g r o k 2 . 3   p a l o a l t o 6 . 1 s y s l o g - > g r o k     {                   m a t c h   = >   [ " m e s s a g e " , % { D A T A : s y s l o g _ f l a g }     s i t e _ i d : % { N U M B E R : s i t e _ i d }           p r o t e c t _ i d : % { N U M B E R : p r o t e c t _ i d }     d s t _ i p : % { I P V 4 : d s t _ i p }     d s t _ p o r t : % { N U M B E R : d s t _ p o r t }           s r c _ i p : % { I P V 4 : s r c _ i p } s r c _ p o r t : % { N U M B E R : s r c _ p o r t }   m e t h o d : % { D A T A : m e t h o d }         d o m a i n : % { D A T A : d o m a i n }     u r i : % { D A T A : u r i }     a l e r t l e v e l : % { D A T A : a l e r t _ l e v e l }         e v e n t _ t y p e : % { D A T A : A t t a c k _ t y p e s }   s t a t _ t i m e : % { G R E E D Y D A T A : s t a t _ t i m e }           p o l i c y _ i d : % { N U M B E R : p o l i c y _ i d } r u l e _ i d : % { N U M B E R : r u l e _ i d }     a c t i o n : % { D A T A : a c t i o n }           b l o c k : % { D A T A : b l o c k }   b l o c k _ i n f o : % { D A T A : b l o c k _ i n f o }     h t t p : % { G R E E D Y D A T A : U R L }
 
P A l o g s t a s h i n p u t o u t p u t i m p e r v a   w a f g r o k N g i n x g r o k     {                   m a t c h   = > [ " m e s s a g e " , " % { D A T A : P A _ N a m e } , % { G R E E D Y D A T A : T i m e } , % { N U M B E R : E v e n t i d } , % { D A T A : C a t e g o r y } , % { D A T A : S u b c a t e g o r y } , % { N U M B E R : N U L L } , % { G R E E D Y D A T A : G e n e r a t e _ T i m e } , % { I P V 4 : S o u r c e I P } , % { I P V 4 : D e s t i n a t i o n I P } , % { I P V 4 : N A T _ S o u r c e I P } , % { I P V 4 : N A T _ D e s t i n a t i o n I P } , % { D A T A : R u l e N a m e } , % { D A T A : S o u r c e U s e r } , % { D A T A : D e s t i n a t i o n U s e r } , % { D A T A : A p p l i c a t i o n } , % { D A T A : V M s y s } , % { D A T A : S o u r c e Z o n e } , % { D A T A : D e s t i n a t i o n Z o n e } , % { D A T A : I N _ i n t e r f a c e } , % { D A T A : O U T _ i n t e r f a c e } , % { D A T A : S y s l o g } , % { D A T A : G R E E D Y D A T A : T i m e T w o } , % { N U M B E R : S e s s i o n I D } , % { N U M B E R : R e p e a t } , % { N U M B E R : S o u r c e P o r t } , % { N U M B E R : D e s t i n a t i o n P o r t } , % { N U M B E R : N A T - S o u r c e P o r t } , % { N U M B E R : N A T - D e s t i n a t i o n P o r t } , % { D A T A : F l a g } , % { D A T A : P r o t o } , % { D A T A : A c t i o n } , % { D A T A : N U l l 2 } , % { D A T A : T h r e a t N a m e } , % { D A T A : C a t e g o r y 2 } , % { D A T A : P r i o r i t y } , % { D A T A : D i r e c t i o n } , % { N U M B E R : S e r i a l n u m } , % { G R E E D Y D A T A : N U L L 3 } " ]
n g i n x k a f k a n g i n x f l u m e - > k a f k a   F l u m e l o g _ a n a l y s i s _ t e s t . c o n f a 1 . s o u r c e s = s 1   # s 1 a 1 . c h a n n e l s = c 1   # c 1 a 1 . s i n k s = k 1   # s k 1 # s o u r c e a 1 . s o u r c e s . s 1 . t y p e = e x e c a 1 . s o u r c e s . s 1 . c o m m a n d = t a i l   - F / d a t a / l o g / n g i n x / c r f _ c r m . a c c e s s . l o g a 1 . s o u r c e s . s 1 . c h a n n e l s = c 1 # c h a n n e l a 1 . c h a n n e l s . c 1 . t y p e = m e m o r y a 1 . c h a n n e l s . c 1 . c a p a c i t y = 1 0 0 0 a 1 . c h a n n e l s . c 1 . t r a n s a c t i o n C a p a c i t y = 1 0 0 a 1 . s i n k s . k 1 . t y p e = o r g . a p a c h e . f l u m e . s i n k . k a f k a . K a f k a S i n k   K a f k a a 1 . s i n k s . k 1 . c h a n n e l = c 1 a 1 . s i n k s . k 1 . t o p i c = c r m _ n g i n x _ l o g _ t o p i c   # K a f k a T o p i c a 1 . s i n k s . k 1 . b r o k e r L i s t = x . x . x . x : 9 0 9 2   # K a f k a b r o k e r a 1 . s i n k s . k 1 . r e q u i r e d A c k s = 1 a 1 . s i n k s . k 1 . b a t c h S i z e = 2 0 k a f k a k a f k a z o o k e e p e r j v m   v i m b i n / z o o k e e p e r - s e r v e r - s t a r t . s h k a f k a z o o k e e p e r w g e t h t t p : / / m i r r o r . b i t . e d u . c n / a p a c h e / k a f k a / 0 . 8 . 2 . 2 / k a f k a _ 2 . 9 . 1 - 0 . 8 . 2 . 2 . t g z   v i m b i n / k a f k a - s e r v e r - s t a r t . s h       j v m  
k a f k a t o p i c T o p i c k a f k a k a f k a l o g s t a s h   S e n t i n l   e l a s t a l e r t S e n t i n l k i b a n a k i b a n a J S e l a s t a l e r t   e s k i b a n a 2 4 . 1   S e n t i n l 5 . 4 s e n t i n l - v 5 . 4 . 1 . z i p I P 2 e s n o h u p b i n / z o o k e e p e r - s e r v e r - s t a r t . s h   c o n f i g / z o o k e e p e r . p r o p e r t i e s   & n o h u p   b i n / k a f k a - s e r v e r - s t a r t . s h c o n f i g / s e r v e r . p r o p e r t i e s   & k a f k a - t o p i c s . s h   - - c r e a t e   z o o k e e p e r   x . x . x . x : 2 1 8 1 - - r e p l i c a t i o n - f a c t o r   2   - - p a r t i t i o n s   5   - - t o p i c   c r m _ n g i n x _ l o g _ t o p i c . / b i n / k a f k a - t o p i c s . s h   - - l i s t   - - z o o k e e p e r x . x . x . x : 2 1 8 1 b i n / k a f k a - c o n s o l e - p r o d u c e r . s h   - - b r o k e r - l i s t x . x . x . x : 9 0 9 2   - - t o p i c   p a y k a f k a - c o n s o l e - c o n s u m e r . s h   - - z o o k e e p e r x . x . x . x : 2 1 8 1 - - t o p i c   c r m _ n g i n x _ l o g _ t o p i c i n p u t {               k a f k a   {                       c o d e c   = >   " p l a i n "                       g r o u p _ i d   = >   " l o g s t a s h 1 "                       a u t o _ o f f s e t _ r e s e t   = >   " s m a l l e s t "                       r e s e t _ b e g i n n i n g   = >   t r u e                       t o p i c _ i d   = >   " c r m _ n g i n x _ l o g _ t o p i c "                       z k _ c o n n e c t   = >   " x . x . x . x : 2 1 8 1 "   #   z o o k e e p e r               }         g r o k   { }         }         o u t p u t {               e l a s t i c s e a r c h {                   h o s t s   = >   " e s 9 2 0 0 "                           i n d e x   = >   " i m p e r v a s y s l o g "               } k i b a n a - p l u g i n   i n s t a l l   h t t p s : / / g i t h u b . c o m s i r e n s o l u t i o n s s e n t i n l r e l e a s e s d o w n l o a d t a g -
I P I n p u t b o d y e s : {             " s c r i p t " :   {                 " s c r i p t " : " p a y l o a d . j s o n = ' 4 0 ' ; v a r   m a t c h = f a l s e ; v a r   t h r e s h o l d = 4 0 ; v a r f i r s t = p a y l o a d . a g g r e g a t i o n s . c o d e . b u c k e t s ; f o r ( v a r   i = 0 ; i < f i r s t . l e n g t h ; i + + ) { v a r i p _ c o u n t   =   p a r s e I n t ( f i r s t [ i ] . d o c _ c o u n t ) ; i f   ( i p _ c o u n t   > =   t h r e s h o l d ) { m a t c h = t r u e ; p a y l o a d . j s o n   + =   ' i p : '   +   f i r s t [ i ] . k e y   +   '     c o u n t : '   + f i r s t [ i ] . d o c _ c o u n t   +   ' n ' ; } } ; m a t c h ; "             }         }
A c t i o n w e b h o o k
h t t p s : / / o p e n - d o c . d i n g t a l k . c o m / d o c s / d o c . h t m ? s p m = a 2 1 9 a . 7 6 2 9 1 4 0 . 0 . 0 . k a r F P e & t r e e I d = 2 5 7 & a r t i c l e I d = 1 0 5 7 3 5 & d o c T y p e = 1 4 . 2   e l a s t a l e r t J D K   1 . 8 p y t h o n   2 . 7 e a s y _ i n s t a l l   - U   s e t u p t o o l s   s e t u p t o o l s - 3 9 . 2 . 0 y u m   i n s t a l l   g c c y u m   i n s t a l l   p y t h o n - d e v e l y u m   i n s t a l l   l i b f f i - d e v e l
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则