搜索

[12259] 2018-01-20_ElastAlert监控日志告警Web攻击行为

文档创建者：s7ckTeam
浏览次数：3
最后更新：2025-01-18
2018-01-20_ElastAlert监控日志告警Web攻击行为 E l a s t A l e r t 监 控 日 志 告 警 W e b 攻 击 行 为 原 创   s h y s t a r t r e e   F r e e B u f   2 0 1 8 - 0 1 - 2 0 * 本 文 作 者 ： s h y s t a r t r e e ， 本 文 属   F r e e B u f   原 创 奖 励 计 划 ， 未 经 许 可 禁 止 转 载 。 由 于 公 司 需 要 监 控 由 于 公 司 需 要 监 控 w e b 攻 击 行 为 ， 而 因 某 些 原 因 搭 不 了 攻 击 行 为 ， 而 因 某 些 原 因 搭 不 了 w a f ， 才 不 得 不 用 ， 才 不 得 不 用 E l a s t A l e r t 进 行 告 警 ， 此 为 前 提 。 进 行 告 警 ， 此 为 前 提 。 一 、 一 、 E L K 安 装 安 装 E l a s t i c s e a r c h   是 一 个 分 布 式 、 可 扩 展 、 实 时 的 搜 索 与 数 据 分 析 引 擎 。   它 能 从 项 目 一 开 始 就 赋 予 你 的 数 据 以 搜 索 、 分 析 和 探 索 的 能 力 。 L o g s t a s h 是 一 款 轻 量 级 的 日 志 搜 集 处 理 框 架 ， 可 以 方 便 的 把 分 散 的 、 多 样 化 的 日 志 搜 集 起 来 ， 并 进 行 自 定 义 的 处 理 ， 然 后 传 输 到 指 定 的 位 置 ， K i b a n a 是 一 个 开 源 的 分 析 与 可 视 化 平 台 ， 设 计 出 来 用 于 和 E l a s t i c s e a r c h 一 起 使 用 的 。 你 可 以 用 k i b a n a 搜 索 、 查 看 、 交 互 存 放 在 E l a s t i c s e a r c h 索 引 里 的 数 据 ， 使 用 各 种 不 同 的 图 表 、 表 格 、 地 图 等 k i b a n a 能 够 很 轻 易 地 展 示 高 级 数 据 分 析 与 可 视 化 。 E L K 这 一 套 软 件 可 以 当 作 一 个 M V C 模 型 ， l o g s t a s h 是 c o n t r o l l e r 层 ， E l a s t i c s e a r c h 是 一 个 m o d e l 层 ， k i b a n a 是 v i e w 层 。 首 先 将 数 据 传 给 l o g s t a s h ， 它 将 数 据 进 行 过 滤 和 格 式 化 （ 转 成 J S O N 格 式 ） ， 然 后 传 给 E l a s t i c s e a r c h 进 行 存 储 、 建 搜 索 的 索 引 ， k i b a n a 提 供 前 端 的 页 面 再 进 行 搜 索 和 图 表 可 视 化 ， 它 是 调 用 E l a s t i c s e a r c h 的 接 口 返 回 的 数 据 进 行 可 视 化 。 l o g s t a s h 和 E l a s t i c s e a r c h 是 用 J a v a 写 的 ， k i b a n a 使 用 n o d e . j s 框 架 。 安 装 方 法 网 上 有 好 多 ， 此 处 就 不 再 阐 述 。 在 试 用 了 几 乎 所 有 的 安 装 方 法 后 ， 介 绍 下 本 人 觉 得 比 较 快 捷 有 效 的 安 装 方 法 ： 1 . 1   下 载 安 装 匹 配 版 本 的 下 载 安 装 匹 配 版 本 的 e l k e l a s t a l e r t 目 前 还 不 支 持 e l k 6 . 0 以 上 版 本 ， 本 人 就 是 因 为 版 本 问 题 而 折 腾 了 好 久 ， 所 以 在 安 装 e l k 的 时 候 需 要 特 别 注 意 版 本 问 题 。 在 尝 试 了 众 多 安 装 方 法 后 ， 还 是 发 现 在 官 方 网 站 下 载 d e b 包 直 接 安 装 最 为 有 效 便 捷 。   （ 系 统 若 为 c e n t o s ， 下 载 对 应 的 r p m 包 ） 搜 索 版 本 下 载 理 论 上 , E l a s t i c s e a r c h 及 K i b a n a 版 本 为 5 . x 都 可 以 ， 而 L o g s t a s h 与 e l a s t a l e r t 没 啥 联 系 ， 所 以 L o g s t a s h （ 大 于 或 等 于 E l a s t i c s e a r c h 及 K i b a n a 的 5 . x 版 本 ） 能 向 E l a s t i c s e a r c h 传 递 日 志 信 息 即 可 。 下 载 完 e l k 的 d e b 包 后 ， 使 用 命 令 很 快 就 能 顺 利 安 装 。 1 . 2   e l k 配 置 配 置 我 的 服 务 器 概 况 ： D i s t r i b u t o r   I D :       U b u n t u D e s c r i p t i o n :     U b u n t u   1 6 . 0 4 . 1   L T S R e l e a s e :     1 6 . 0 4 C o d e n a m e :   x e n i a l E l a s t i c s e a r c h ： 5 . 5 . 2 K i b a n a ： 5 . 5 . 2 L o g s t a s h ： 6 . 0 . 0 f i l e b e a t ： 6 . 0 . 0   （ 轻 量 级 的 l o g s t a s h ， 这 个 下 载 t a r 包 ） d p k g   - i
同 样 ， 此 处 也 只 介 绍 本 人 的 简 单 配 置 。 我 这 里 是 只 让 L o g s t a s h 对 外 开 放 负 责 收 集 日 志 ， 而 E l a s t i c s e a r c h 及 K i b a n a 仅 在 内 网 访 问 ， 故 E l a s t i c s e a r c h 及 K i b a n a 并 未 开 启 账 户 认 证 登 陆 ， 有 需 要 开 启 或 其 他 需 求 的 读 者 们 请 自 行 搜 索 。 我 这 里 需 要 用 到 自 定 义 的 配 置 文 件 ， 故 配 置 文 件 是 自 行 创 建 的 ， 放 在 / u s r / s h a r e / l o g s t a s h / b i n 中 ， 取 名 为 f i l e b e a t _ l o g . c o n f   ： 1 . 3   启 动 方 法 启 动 方 法 e l a s t i c s e a r c h & k i b a n a 启 动 启 动 扫 描 新 的 单 元 & 重 新 载 入 s y s t e m d ： 加 入 开 机 自 启 动 : / e t c / e l a s t i c s e a r c h / e l a s t i c s e a r c h . y m l : #   S e t   t h e   b i n d   a d d r e s s   t o   a   s p e c i f i c   I P   ( I P v 4   o r   I P v 6 ) : # n e t w o r k . h o s t :   1 2 7 . 0 . 0 . 1 # #   S e t   a   c u s t o m   p o r t   f o r   H T T P : # h t t p . p o r t :   9 2 0 0 / e t c / k i b a n a / k i b a n a . y m l :   K i b a n a   i s   s e r v e d   b y   a   b a c k   e n d   s e r v e r .   T h i s   s e t t i n g   s p e c i f i e s   t h e   p o r t   t o   u s e .     s e r v e r . p o r t :   5 6 0 1     #   S p e c i f i e s   t h e   a d d r e s s   t o   w h i c h   t h e   K i b a n a   s e r v e r   w i l l   b i n d .   I P   a d d r e s s e s   a n d   h o s t   n a m e s   a r e   b o t h   v a l i d   v a l u e s .     #   T h e   d e f a u l t   i s   ' l o c a l h o s t ' ,   w h i c h   u s u a l l y   m e a n s   r e m o t e   m a c h i n e s   w i l l   n o t   b e   a b l e   t o   c o n n e c t .     #   T o   a l l o w   c o n n e c t i o n s   f r o m   r e m o t e   u s e r s ,   s e t   t h i s   p a r a m e t e r   t o   a   n o n - l o o p b a c k   a d d r e s s .     s e r v e r . h o s t :   " l o c a l h o s t "     #   T h e   U R L   o f   t h e   E l a s t i c s e a r c h   i n s t a n c e   t o   u s e   f o r   a l l   y o u r   q u e r i e s .     e l a s t i c s e a r c h . u r l :   " h t t p : / / l o c a l h o s t : 9 2 0 0 "     i n p u t   {     b e a t s   {     p o r t   = >   5 0 4 4     c l i e n t _ i n a c t i v i t y _ t i m e o u t   = >   9 0     c o d e c   = >   j s o n             }     }     f i l t e r   {         d a t e   {             m a t c h   = >   [   " t i m e s t a m p " ,   " d d / M M M / y y y y : H H : m m : s s   Z "   ]             t a r g e t   = >   [ " d a t e t i m e " ]         }         g e o i p   {             s o u r c e   = >   " r e m o t e _ a d d r "         }         m u t a t e   {     r e m o v e _ f i e l d   = >   [ " t a g s " ,   " b e a t " ]         }     }     o u t p u t   {     e l a s t i c s e a r c h   {     h o s t s   = >   " l o c a l h o s t : 9 2 0 0 "     i n d e x   = >   " l o g s t a s h - % { + Y Y Y Y . M M . d d } "     }     s t d o u t   {     c o d e c   = >   r u b y d e b u g     } s y s t e m c t l   d a e m o n - r e l o a d s y s t e m c t l   e n a b l e   e l a s t i c s e a r c h . s e r v i c e s y s t e m c t l   e n a b l e   k i b a n a . s e r v i c e
启 动 ： 查 看 状 态 ： l o g s t a s h 启 动 启 动 进 入 / u s r / s h a r e / l o g s t a s h / b i n ： 二 、 使 用 二 、 使 用 f i l e b e a t 进 行 分 布 式 收 集 进 行 分 布 式 收 集 一 开 始 直 接 使 用 l o g s t a s h 进 行 日 志 收 集 ， 发 现 资 源 消 耗 实 在 太 大 ， 无 奈 寻 找 解 决 方 法 ， 发 现 f i l e b e a t 是 一 个 轻 量 级 的 日 志 传 输 工 具 ， 故 使 用 f i l e b e a t 作 为 日 志 收 集 ， 而 l o g s t a s h 作 为 中 心 过 滤 器 向 e s 传 递 日 志 。 所 以 整 体 的 架 构 如 ： A 、 B 、 C 、 D … （ 这 些 服 务 器 是 准 备 监 控 被 攻 击 行 为 ， 装 上 f i l e b e a t ） 主 服 务 器 （ 装 上 e l k 和 e l a s t a l e r t ， 负 责 收 集 过 滤 分 析 f i l e b e a t 传 递 的 日 志 和 告 警 ） 下 面 以 t o m c a t 为 例 子 ， 分 享 我 的 配 置 文 件 （ n g i n x 的 话 ， 修 改 的 路 径 ） ： 直 接 解 压 下 载 的 t a r 包 ， 进 入 目 录 修 改 配 置 文 件 。 然 后 启 动 f i l e b e a t ： 三 、 日 志 格 式 转 三 、 日 志 格 式 转 j s o n s y s t e m c t l   s t a r t   e l a s t i c s e a r c h s y s t e m c t l   s t a r t   k i b a n a s y s t e m c t l   s t a t u s   e l a s t i c s e a r c h s y s t e m c t l   s t a t u s   k i b a n a n o h u p   . / l o g s t a s h   - f   f i l e b e a t _ l o g . c o n f >   / d e v / n u l l   2 > & 1   & f i l e b e a t . y m l p a t h s     f i l e b e a t . p r o s p e c t o r s :     #   E a c h   -   i s   a   p r o s p e c t o r .   M o s t   o p t i o n s   c a n   b e   s e t   a t   t h e   p r o s p e c t o r   l e v e l ,   s o     #   y o u   c a n   u s e   d i f f e r e n t   p r o s p e c t o r s   f o r   v a r i o u s   c o n f i g u r a t i o n s .     #   B e l o w   a r e   t h e   p r o s p e c t o r   s p e c i f i c   c o n f i g u r a t i o n s .     -   t y p e :   l o g         #   C h a n g e   t o   t r u e   t o   e n a b l e   t h i s   p r o s p e c t o r   c o n f i g u r a t i o n .         e n a b l e d :   t r u e         #   P a t h s   t h a t   s h o u l d   b e   c r a w l e d   a n d   f e t c h e d .   G l o b   b a s e d   p a t h s .         p a t h s :             -   / h o m e / q y / a p a c h e - t o m c a t - 9 . 0 . 1 / l o g s / l o c a l h o s t _ a c c e s s _ l o g . * . t x t             # -   c : p r o g r a m d a t a e l a s t i c s e a r c h l o g s *         #   E x c l u d e   l i n e s .   A   l i s t   o f   r e g u l a r   e x p r e s s i o n s   t o   m a t c h .   I t   d r o p s   t h e   l i n e s   t h a t   a r e         #   m a t c h i n g   a n y   r e g u l a r   e x p r e s s i o n   f r o m   t h e   l i s t .         # e x c l u d e _ l i n e s :   [ ' ^ D B G ' ]         d o c u m e n t _ t y p e :   t o m c a t - l o g         s c a n _ f r e q u e n c y :   1 5 s         i g n o r e _ o l d e r :   2 0 m         c l o s e _ i n a c t i v e :   1 2 m         c l e a n _ i n a c t i v e :   3 0 m         c l o s e _ r e m o v e d :   t r u e         c l e a n _ r e m o v e d :   t r u e         . . . .         # - - - - - - - - - - - - - - - - - - - - - - - - - - - - -   L o g s t a s h   o u t p u t   - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -     o u t p u t . l o g s t a s h :         #   T h e   L o g s t a s h   h o s t s         h o s t s :   [ " 1 8 8 . 8 8 . 8 8 . 8 8 : 5 0 4 4 " ] n o h u p   . / f i l e b e a t   - e   - c   f i l e b e a t . y m l   > / d e v / n u l l   2 > & 1   &
为 方 便 k i b a n a 分 析 和 e l a s t a l e r t 的 取 值 ， 日 志 的 格 式 要 为 j s o n 格 式 ， 上 述 的 l o g s t a s h 配 置 文 件 已 适 配 j s o n 格 式 。 公 司 的 应 用 服 务 器 中 均 为 n g i n x 和 t o m c a t ， 故 本 文 只 介 绍 t o m c a t 及 n g i n x 的 j s o n 格 式 配 置 方 法 ， 其 他 服 务 器 配 置 方 法 请 自 行 搜 索 。 3 . 1   t o m c a t 的 的 j s o n 格 式 配 置 格 式 配 置 打 开 , 在 最 后 的 位 置 修 改 l o g 的 输 出 配 置 为 ： 然 后 重 启 t o m c a t ， 即 生 效 。 3 . 2   n g i n x 的 的 j s o n 格 式 配 置 格 式 配 置 最 后 即 可 四 、 使 用 四 、 使 用 e l a s t a l e r t 进 行 告 警 进 行 告 警 在 经 过 上 述 的 安 装 及 配 置 后 ， 终 于 轮 到 我 们 的 主 角 — E l a s t A l e r t 出 来 了 ， 其 他 的 告 警 工 具 还 有 、   ， 请 读 者 们 自 行 确 定 需 要 使 用 哪 个 。 E l a s t A l e r t 使 用 p y t h o n 编 写 ， 具 有 容 易 上 手 、 文 档 全 等 特 点 ， 虽 然 这 个 工 具 拥 有 如 此 多 的 优 点 ， 在 搭 建 过 程 还 是 遇 到 了 很 多 很 多 的 未 知 错 误 ， 主 要 原 因 是 网 上 的 资 料 大 多 是 针 对 e s 5 . x 以 前 的 版 本 而 没 什 么 现 成 的 资 料 可 供 参 考 。 4 . 1   安 装 安 装 e l a s t a l e r t 具 体 的 功 能 本 文 就 不 一 一 介 绍 了 ， 请 自 行 前 往 官 方 文 档 了 解 c o n f i g / s e r v e r . x m l         < V a l v e   c l a s s N a m e = " o r g . a p a c h e . c a t a l i n a . v a l v e s . A c c e s s L o g V a l v e "   d i r e c t o r y = " l o g s "                                   p r e f i x = " l o c a l h o s t _ a c c e s s _ l o g "   s u f f i x = " . t x t "   p a t t e r n = " { & q u o t ; t i m e & q u o t ; : & q u o t ; % t & q u o t ; , & q u o t ; r e m o t e _ a d d r & q u o t ; : & q u o t ; % h & q u o t ; , & q u o t ; r e m o t e _ u s e r & q u o t ; : & q u o t ; % l & q u o t ; , & q u o t ; r e q u e s t & q u o t ; : & q u o t ; % r & q u o t ; , & q u o t ; s t a t u s & q u o t ; : & q u o t ; % s & q u o t ; , & q u o t ; b o d y _ b y t e s _ s e n t & q u o t ; : & q u o t ; % b & q u o t ; , & q u o t ; h t t p _ r e f e r e r & q u o t ; : & q u o t ; % { R e f e r e r } i & q u o t ; , & q u o t ; h t t p _ u s e r _ a g e n t & q u o t ; : & q u o t ; % { U s e r - A g e n t } i & q u o t ; , & q u o t ; h t t p _ x _ f o r w a r d e d _ f o r & q u o t ; : & q u o t ;   % { X - F o r w a r d e d - F o r } i & q u o t ; , & q u o t ; r e q u e s t _ t i m e & q u o t ; : & q u o t ; % T & q u o t ; , & q u o t ; h o s t & q u o t ; : & q u o t ; % v & q u o t ; , & q u o t ; p o r t & q u o t ; : & q u o t ; % p & q u o t ; } " / > 进 入 ` / e t c / n g i n x ` 打 开 ` n g i n x . c o n f ` ， 加 入 如 下 配 置 ：     h t t p   {                     # #                     #   B a s i c   S e t t i n g s                     # #                     s e n d f i l e   o n ;                     t c p _ n o p u s h   o n ;                     t c p _ n o d e l a y   o n ;                     k e e p a l i v e _ t i m e o u t   6 5 ;                     t y p e s _ h a s h _ m a x _ s i z e   2 0 4 8 ;                     #   s e r v e r _ t o k e n s   o f f ;                     l o g _ f o r m a t   l o g s t a s h _ j s o n   ' { " t i m e " :   " $ t i m e _ l o c a l " ,   '                   ' " r e m o t e _ a d d r " :   " $ r e m o t e _ a d d r " ,   '                   ' " r e m o t e _ u s e r " :   " $ r e m o t e _ u s e r " ,   '                   ' " r e q u e s t " :   " $ r e q u e s t " ,   '                   ' " s t a t u s " :   " $ s t a t u s " ,   '                   ' " b o d y _ b y t e s _ s e n t " :   " $ b o d y _ b y t e s _ s e n t " ,   '                   ' " h t t p _ r e f e r e r " :   " $ h t t p _ r e f e r e r " ,   '                   ' " h t t p _ u s e r _ a g e n t " :   " $ h t t p _ u s e r _ a g e n t " ,   '                   ' " h t t p _ x _ f o r w a r d e d _ f o r " :   " $ h t t p _ x _ f o r w a r d e d _ f o r " ,   '                   ' " r e q u e s t _ t i m e " :   " $ r e q u e s t _ t i m e " ,   '                   ' " r e q u e s t _ l e n g t h " :   " $ r e q u e s t _ l e n g t h " ,   '                   ' " h o s t " :   " $ h t t p _ h o s t " } ' ;               } n g i n x   - s   r e l o a d 4 1 1   A l e r t   M a n a g e m e n t E l a s t i c s e a r c h   w a t c h     g i t   c l o n e   h t t p s : / / g i t h u b . c o m / Y e l p / e l a s t a l e r t . g i t       c d   e l a s t a l e r t     p y t h o n   s e t u p . p y   i n s t a l l                         / / 可 能 需 要 s u d o     P i p   i n s t a l l   - r   r e q u i r e m e n t s . t x t         / / 可 能 需 要 s u d o     c p   c o n f i g . y a m l . e x a m p l e   c o n f i g . y a m l
4 . 2   创 建 索 引 创 建 索 引 安 装 完 成 后 会 系 统 中 会 自 带 三 个 命 令 ： 、   、 使 用 ， 根 据 提 示 设 置 e s 后 按 回 车 默 认 即 可 。 配 置 完 索 引 及 配 置 文 件 后 ， 可 以 使 用 进 行 测 试 。 这 里 有 个 b u g ， 如 果 出 现 之 类 的 错 误 ， 在 确 认 没 有 其 他 的 问 题 时 ， 可 以 先 删 除 索 引 , 再 使 用 重 新 生 成 索 引 。 4 . 3   配 置 配 置 c o n f i g . y a m l 以 上 各 字 段 的 解 释 ： R u l e s _ f o l d e r ： 用 来 加 载 下 一 阶 段 r u l e 的 设 置 ， 默 认 是 e x a m p l e _ r u l e s R u n _ e v e r y ： 用 来 设 置 定 时 向 e l a s t i c s e a r c h 发 送 请 求 B u f f e r _ t i m e ： 用 来 设 置 请 求 里 时 间 字 段 的 范 围 ， 默 认 是 4 5 分 钟 E s _ h o s t ： e l a s t i c s e a r c h 的 h o s t 地 址 e l a s t a l e r t - c r e a t e - i n d e x e l a s t a l e r t - r u l e - f r o m - k i b a n a e l a s t a l e r t - t e s t - r u l e e l a s t a l e r t - c r e a t e - i n d e x e l a s t a l e r t - t e s t - r u l e T r a n s p o r t E r r o r ( 4 0 0 ,   u ' s e a r c h _ p h a s e _ e x e c u t i o n _ e x c e p t i o n ' ,   u ' N o   m a p p i n g   f o u n d   f o r   [ a l e r t _ t i m e ]   i n   o r d e r   t o   s o r t   o n ' ) c u r l   - X D E L E T E   [ h t t p : / / l o c a l h o s t : 9 2 0 0 / ] ( h t t p : / / l o c a l h o s t : 9 2 0 0 / ) * e l a s t a l e r t - c r e a t e - i n d e x     r u l e s _ f o l d e r :   e x a m p l e _ r u l e s     #   H o w   o f t e n   E l a s t A l e r t   w i l l   q u e r y   E l a s t i c s e a r c h     #   T h e   u n i t   c a n   b e   a n y t h i n g   f r o m   w e e k s   t o   s e c o n d s     r u n _ e v e r y :         s e c o n d s :   3       # 每 三 秒 向 e s 请 求 数 据     #   E l a s t A l e r t   w i l l   b u f f e r   r e s u l t s   f r o m   t h e   m o s t   r e c e n t     #   p e r i o d   o f   t i m e ,   i n   c a s e   s o m e   l o g   s o u r c e s   a r e   n o t   i n   r e a l   t i m e     b u f f e r _ t i m e :         m i n u t e s :   1 5             # 日 志 会 延 迟 进 入 e s ， 这 里 是 配 置 q u e r y 的 向 前 的 时 间 范 围 ， 这 是 1 5 分 钟 ， 即 查 询   t i m e [ n o w - 1 5 m ,   n o w ]     #   T h e   E l a s t i c s e a r c h   h o s t n a m e   f o r   m e t a d a t a   w r i t e b a c k     #   N o t e   t h a t   e v e r y   r u l e   c a n   h a v e   i t s   o w n   E l a s t i c s e a r c h   h o s t     e s _ h o s t :   1 8 8 . 8 8 . 8 8 . 8 8     #   T h e   E l a s t i c s e a r c h   p o r t     e s _ p o r t :   9 2 0 0     #   O p t i o n a l   U R L   p r e f i x   f o r   E l a s t i c s e a r c h     # e s _ u r l _ p r e f i x :   e l a s t i c s e a r c h     #   C o n n e c t   w i t h   T L S   t o   E l a s t i c s e a r c h     # u s e _ s s l :   T r u e     #   V e r i f y   T L S   c e r t i f i c a t e s     # v e r i f y _ c e r t s :   T r u e     #   G E T   r e q u e s t   w i t h   b o d y   i s   t h e   d e f a u l t   o p t i o n   f o r   E l a s t i c s e a r c h .     #   I f   i t   f a i l s   f o r   s o m e   r e a s o n ,   y o u   c a n   p a s s   ' G E T ' ,   ' P O S T '   o r   ' s o u r c e ' .     #   S e e   h t t p : / / e l a s t i c s e a r c h - p y . r e a d t h e d o c s . i o / e n / m a s t e r / c o n n e c t i o n . h t m l ? h i g h l i g h t = s e n d _ g e t _ b o d y _ a s # t r a n s p o r t     #   f o r   d e t a i l s     # e s _ s e n d _ g e t _ b o d y _ a s :   G E T     #   O p t i o n   b a s i c - a u t h   u s e r n a m e   a n d   p a s s w o r d   f o r   E l a s t i c s e a r c h     # e s _ u s e r n a m e :   s o m e u s e r n a m e     # e s _ p a s s w o r d :   s o m e p a s s w o r d     #   T h e   i n d e x   o n   e s _ h o s t   w h i c h   i s   u s e d   f o r   m e t a d a t a   s t o r a g e     #   T h i s   c a n   b e   a   u n m a p p e d   i n d e x ,   b u t   i t   i s   r e c o m m e n d e d   t h a t   y o u   r u n     #   e l a s t a l e r t - c r e a t e - i n d e x   t o   s e t   a   m a p p i n g     w r i t e b a c k _ i n d e x :   e l a s t a l e r t _ s t a t u s     #   I f   a n   a l e r t   f a i l s   f o r   s o m e   r e a s o n ,   E l a s t A l e r t   w i l l   r e t r y     #   s e n d i n g   t h e   a l e r t   u n t i l   t h i s   t i m e   p e r i o d   h a s   e l a p s e d     a l e r t _ t i m e _ l i m i t :         d a y s :   1
E s _ p o r t ： e l a s t i c s e a r c h   对 应 的 端 口 号 U s e _ s s l ： 可 选 的 ， 选 择 是 否 用 S S L 连 接 e s ， t r u e 或 者 f a l s e V e r i f y _ c e r t s ： 可 选 的 ， 是 否 验 证 T L S 证 书 ， 设 置 为 t r u e 或 者 f a l s e ， 默 认 为 -   t r u e E s _ u s e r n a m e ： e s 认 证 的 u s e r n a m e E s _ p a s s w o r d ： e s 认 证 的 p a s s w o r d E s _ u r l _ p r e f i x ： 可 选 的 ， e s 的 u r l 前 缀 （ 我 的 理 解 是 h t t p s 或 者 h t t p ） E s _ s e n d _ g e t _ b o d y _ a s ： 可 选 的 ， 查 询 e s 的 方 式 ， 默 认 的 是 G E T W r i t e b a c k _ i n d e x ： e l a s t a l e r t 产 生 的 日 志 在 e l a s t i c s e a r c h 中 的 创 建 的 索 引 A l e r t _ t i m e _ l i m i t ： 失 败 重 试 的 时 间 限 制 4 . 4   告 警 配 置 介 绍 告 警 配 置 介 绍 在 目 录 中 新 建 y a m l 配 置 文 件   , 下 面 分 开 介 绍 这 个 配 置 文 件 的 内 容 （ 下 个 小 节 将 分 享 我 的 配 置 文 件 ， 此 小 节 仅 解 释 其 中 的 必 要 设 置 项 ） ： 1 、 告 警 规 则 、 告 警 规 则 E l a s t A l e r t 支 持 1 1 种 告 警 规 则 ， 本 文 不 一 一 介 绍 了 ， 为 响 应 w e b 攻 击 行 为 ， 本 文 选 用 的 告 警 规 则 是 。 上 述 配 置 文 件 的 意 图 即 是 ： 在 一 分 钟 内 将 匹 配 q u e r y 里 面 的 s q l 注 入 规 则 ， 若 匹 配 次 数 达 到 1 0 次 ， 即 进 行 报 警 。 2 、 使 用 邮 箱 进 行 告 警 、 使 用 邮 箱 进 行 告 警 E l a s t A l e r t 提 供 了   1 0   多 种 通 知 的 类 型 ， 本 文 选 用 的 是 邮 箱 告 警 ， 还 有 微 信 告 警 、 钉 钉 告 警 ， 若 有 需 要 ， 请 自 行 配 置 。 e x a m p l e _ r u l e s w e b a t t a c k _ f r e q u e n c y . y a m l f r e q u e n c y n a m e :   w e b   a t t a c k #   ( R e q u i r e d ) #   T y p e   o f   a l e r t . #   t h e   f r e q u e n c y   r u l e   t y p e   a l e r t s   w h e n   n u m _ e v e n t s   e v e n t s   o c c u r   w i t h   t i m e f r a m e   t i m e t y p e :   f r e q u e n c y #   ( R e q u i r e d ,   f r e q u e n c y   s p e c i f i c ) #   A l e r t   w h e n   t h i s   m a n y   d o c u m e n t s   m a t c h i n g   t h e   q u e r y   o c c u r   w i t h i n   a   t i m e f r a m e n u m _ e v e n t s :   1 0 #   ( R e q u i r e d ,   f r e q u e n c y   s p e c i f i c ) #   n u m _ e v e n t s   m u s t   o c c u r   w i t h i n   t h i s   a m o u n t   o f   t i m e   t o   t r i g g e r   a n   a l e r t t i m e f r a m e :     m i n u t e s :   1 #   ( R e q u i r e d ) #   I n d e x   t o   s e a r c h ,   w i l d c a r d   s u p p o r t e d i n d e x :   l o g s t a s h - *             # 对 应 l o g s t a s h 的 配 置 文 件 中 o u t p u t 的 e l a s t i c s e a r c h   i n d e x 前 缀 f i l t e r : -   q u e r y _ s t r i n g : #   s q l   i n s e r t     x s s   d e t e c t                 q u e r y :   " r e q u e s t :   s e l e c t . + ( f r o m | l i m i t )   O R   r e q u e s t :   u n i o n ( . * ? ) s e l e c t   O R   r e q u e s t :   i n t o . + ( d u m p | o u t ) f i l e   "
的 配 置 内 容 会 在 下 个 小 节 给 出 ， 在 这 个 配 置 中 ， 我 自 定 义 了   a l e r t   的 内 容 ， 更 为 精 确 地 突 出 了 攻 击 者 i p 、 受 攻 击 的 服 务 器 、 攻 击 事 件 等 信 息 。 3 、 减 少 重 复 告 警 的 频 率 、 减 少 重 复 告 警 的 频 率 在 实 际 的 使 用 中 ， 若 使 用 上 述 的 配 置 ， 受 到 攻 击 的 时 候 邮 箱 将 不 断 地 收 到 邮 件 ， 而 这 些 邮 件 都 对 应 着 同 一 个 攻 击 实 例 ， 根 本 没 必 要 重 复 收 取 ， 于 是 ， 我 使 用 了 如 下 的 配 置 ： 在 本 人 实 际 测 试 的 攻 击 场 景 中 ， 发 现 使 用 了 后 ， 会 错 过 很 多 告 警 （ 这 些 告 警 并 不 是 同 一 个 攻 击 实 例 ） ， 暂 时 不 确 定 原 因 ， 还 请 读 者 们 自 行 确 定 是 否 开 启 该 设 置 。 4 . 5 及 及 配 置 文 件 内 容 配 置 文 件 内 容 上 述 的 4 . 4 小 节 中 对 每 个 配 置 都 作 了 简 单 的 介 绍 ， 这 里 就 直 接 放 出 w e b 攻 击 预 警 的 配 置 文 件 供 各 位 读 者 参 考 。 s m t p _ h o s t :   s m t p . q i y e . 1 6 3 . c o m s m t p _ p o r t :   2 5 s m t p _ a u t h _ f i l e :   / U s e r s / q y / D o w n l o a d s / w o r k / e l a s t a l e r t / e x a m p l e _ r u l e s / s m t p _ a u t h _ f i l e . y a m l # 回 复 给 那 个 邮 箱 e m a i l _ r e p l y _ t o :   x x x @ 1 6 3 . c o m # 从 哪 个 邮 箱 发 送 f r o m _ a d d r :   x x x @ 1 6 3 . c o m #   ( R e q u i r e d ) #   T h e   a l e r t   i s   u s e   w h e n   a   m a t c h   i s   f o u n d a l e r t : -   " e m a i l " #   ( r e q u i r e d ,   e m a i l   s p e c i f i c ) #   a   l i s t   o f   e m a i l   a d d r e s s e s   t o   s e n d   a l e r t s   t o e m a i l : -   " s h y s t a r t r e e @ 1 6 3 . c o m " a l e r t _ s u b j e c t :   " w e b   a t t a c k   m a y   b e   b y   { }   a t   @ { } " a l e r t _ s u b j e c t _ a r g s :     -   r e m o t e _ a d d r     -   t i m e a l e r t _ t e x t _ t y p e :   a l e r t _ t e x t _ o n l y a l e r t _ t e x t :   |     你 好 ， 服 务 器 ( { } ) 可 能 正 在 受 到 w e b 攻 击 ， 请 采 取 手 段 阻 止 ！ ！ ！ ！     # # #   截 止 发 邮 件 前 匹 配 到 的 请 求 数 ： { }     >   发 生 时 间 :   { }     >   t i m e s t a m p : { }     >   a t t a c k e r ' s   i p :   { }     >   r e q u e s t :   { }     >   s t a t u s : { }     >   U A 头 : { }     > > >   参 考 来 源 ： { } a l e r t _ t e x t _ a r g s :     -   h o s t     -   n u m _ h i t s     -   t i m e     -   " @ t i m e s t a m p "     -   r e m o t e _ a d d r     -   r e q u e s t     -   s t a t u s     -   h t t p _ u s e r _ a g e n t     -   s o u r c e s m t p _ a u t h _ f i l e . y a m l       #   用 来 区 分 报 警 ， 跟   r e a l e r t   配 合 使 用 ， 在 这 里 意 味 着 ，       #   5   分 钟 内 如 果 有 重 复 报 警 ， 那 么 当   n a m e   不 同 时 ， 会 当 做 不 同 的 报 警 处 理 ， 可 以 是 数 组       q u e r y _ k e y :           -   n a m e       #   5   分 钟 内 相 同 的 报 警 不 会 重 复 发 送       r e a l e r t :           m i n u t e s :   5       #   指 数 级 扩 大   r e a l e r t   时 间 ， 中 间 如 果 有 报 警 ，       #   则 按 照   5   - >   1 0   - >   2 0   - >   4 0   - >   6 0   不 断 增 大 报 警 时 间 到 制 定 的 最 大 时 间 ，       #   如 果 之 后 报 警 减 少 ， 则 会 慢 慢 恢 复 原 始   r e a l e r t   时 间       e x p o n e n t i a l _ r e a l e r t :           h o u r s :   1 e x p o n e n t i a l _ r e a l e r t w e b a t t a c k _ f r e q u e n c y . y a m l s m t p _ a u t h _ f i l e . y a m l
w e b a t t a c k _ f r e q u e n c y . y a m l : #   A l e r t   w h e n   t h e   r a t e   o f   e v e n t s   e x c e e d s   a   t h r e s h o l d #   ( O p t i o n a l ) #   E l a s t i c s e a r c h   h o s t # e s _ h o s t :   1 8 8 . 8 8 . 8 8 . 8 8 #   ( O p t i o n a l ) #   E l a s t i c s e a r c h   p o r t # e s _ p o r t :   9 2 0 0 #   ( O p t i o n a L )   C o n n e c t   w i t h   S S L   t o   E l a s t i c s e a r c h # u s e _ s s l :   T r u e #   ( O p t i o n a l )   b a s i c - a u t h   u s e r n a m e   a n d   p a s s w o r d   f o r   E l a s t i c s e a r c h # e s _ u s e r n a m e :   s o m e u s e r n a m e # e s _ p a s s w o r d :   s o m e p a s s w o r d #   ( R e q u i r e d ) #   R u l e   n a m e ,   m u s t   b e   u n i q u e n a m e :   w e b   a t t a c k r e a l e r t :     m i n u t e s :   5 #   ( R e q u i r e d ) #   T y p e   o f   a l e r t . #   t h e   f r e q u e n c y   r u l e   t y p e   a l e r t s   w h e n   n u m _ e v e n t s   e v e n t s   o c c u r   w i t h   t i m e f r a m e   t i m e t y p e :   f r e q u e n c y #   ( R e q u i r e d ) #   I n d e x   t o   s e a r c h ,   w i l d c a r d   s u p p o r t e d i n d e x :   l o g s t a s h - * #   ( R e q u i r e d ,   f r e q u e n c y   s p e c i f i c ) #   A l e r t   w h e n   t h i s   m a n y   d o c u m e n t s   m a t c h i n g   t h e   q u e r y   o c c u r   w i t h i n   a   t i m e f r a m e n u m _ e v e n t s :   1 0 #   ( R e q u i r e d ,   f r e q u e n c y   s p e c i f i c ) #   n u m _ e v e n t s   m u s t   o c c u r   w i t h i n   t h i s   a m o u n t   o f   t i m e   t o   t r i g g e r   a n   a l e r t t i m e f r a m e :     # h o u r s :   4     m i n u t e s :   1 #   ( R e q u i r e d ) #   A   l i s t   o f   E l a s t i c s e a r c h   f i l t e r s   u s e d   f o r   f i n d   e v e n t s #   T h e s e   f i l t e r s   a r e   j o i n e d   w i t h   A N D   a n d   n e s t e d   i n   a   f i l t e r e d   q u e r y #   F o r   m o r e   i n f o :   h t t p : / / w w w . e l a s t i c s e a r c h . o r g / g u i d e / e n / e l a s t i c s e a r c h / r e f e r e n c e / c u r r e n t / q u e r y - d s l . h t m l # f i l t e r : # -   t e r m : #         s o m e _ f i e l d :   " s o m e _ v a l u e " f i l t e r : -   q u e r y _ s t r i n g : #   s q l   i n s e r t     x s s   d e t e c t                 q u e r y :   " r e q u e s t :   s e l e c t . + ( f r o m | l i m i t )   O R   r e q u e s t :   u n i o n ( . * ? ) s e l e c t   O R   r e q u e s t :   i n t o . + ( d u m p | o u t ) f i l e   O R                 r e q u e s t :   ( b a s e 6 4 _ d e c o d e | s l e e p | b e n c h m a r k | a n d . + 1 = 1 | a n d . + 1 = 2 | o r % 2 0 | e x e c | i n f o r m a t i o n _ s c h e m a | w h e r e % 2 0 | u n i o n % 2 0 | % 2 c t a b l e _ n a m e % 2 0 | c m d s h e l l | t a b l e _ s c h e m a )   O R                 r e q u e s t :   ( i f r a m e | s c r i p t | b o d y | i m g | l a y e r | d i v | m e t a | s t y l e | b a s e | o b j e c t | i n p u t | o n m o u s e o v e r | o n e r r o r | o n l o a d )   O R                 r e q u e s t :   . + e t c . + p a s s w d   O R   h t t p _ u s e r _ a g e n t ： ( H T T r a c k | h a r v e s t | a u d i t | d i r b u s t e r | p a n g o l i n | n m a p | s q l n | - s c a n | h y d r a | P a r s e r | l i b w w w | B B B i k e | s q l m a p | w 3 a f | o w a s p | N i k t o | f i m a p | h a v i j | P y c U R L | z m e u | B a b y K r o k o d i l | n e t s p a r k e r | h t t p e r f | b e n c h )   O R                 s t a t u s :   ( 4 0 0 | 4 0 4 | 5 0 0 | 5 0 1 )                 N O T   ( r e q u e s t : _ h e a l t h . h t m l   O R   r e m o t e _ a d d r : 2 2 2 . 2 2 2 . 2 2 2 . 2 2 2     )                 " s m t p _ h o s t :   s m t p . q i y e . 1 6 3 . c o m s m t p _ p o r t :   2 5 s m t p _ a u t h _ f i l e :   / U s e r s / q y / D o w n l o a d s / w o r k / e l a s t a l e r t / e x a m p l e _ r u l e s / s m t p _ a u t h _ f i l e . y a m l # 回 复 给 那 个 邮 箱 e m a i l _ r e p l y _ t o :   x x x @ 1 6 3 . c o m # 从 哪 个 邮 箱 发 送 f r o m _ a d d r :   x x x @ 1 6 3 . c o m #   ( R e q u i r e d ) #   T h e   a l e r t   i s   u s e   w h e n   a   m a t c h   i s   f o u n d a l e r t : -   " e m a i l " #   ( r e q u i r e d ,   e m a i l   s p e c i f i c ) #   a   l i s t   o f   e m a i l   a d d r e s s e s   t o   s e n d   a l e r t s   t o e m a i l : -   " s h y s t a r t r e e @ 1 6 3 . c o m "
4 . 6   运 行 运 行 e l a s t a l e r t 在 成 功 配 置 完 E l a s t A l e r t 后 将 生 成 三 个 配 置 文 件 ： 启 动 e l a s t a l e r t 服 务 ， 监 听 e l a s t i c s e a r c h ： 为 实 现 守 护 进 程 的 作 用 ， 可 以 配 合 进 行 使 用 ， 本 文 不 再 阐 述 。 4 . 7   运 行 效 果 ： 运 行 效 果 ： 当 匹 配 到 自 定 义 攻 击 规 则 的 时 候 ， E l a s t A l e r t 将 会 以 邮 件 方 式 发 送 告 警 信 息 ： 五 、 总 结 五 、 总 结 E l a s t A l e r t 除 了 本 文 介 绍 的 告 警 w e b 攻 击 行 为 外 ， 还 能 进 行 异 常 告 警 等 。 使 用 了 f r e q u e n c y 的 规 则 后 ， 基 本 能 达 到 识 别 w e b 攻 击 的 目 的 。 在 实 际 的 使 用 中 ， e l a s t a l e r t 能 稳 定 运 行 ， 且 能 根 据 自 定 义 配 置 文 件 精 确 告 警 ， 缺 点 是 告 警 的 格 式 不 够 美 观 和 需 要 频 繁 地 修 改 配 置 文 件 。 -   " s h y s t a r t r e e @ 1 6 3 . c o m " a l e r t _ s u b j e c t :   " w e b   a t t a c k   m a y   b e   b y   { }   a t   @ { } " a l e r t _ s u b j e c t _ a r g s :     -   r e m o t e _ a d d r     -   t i m e a l e r t _ t e x t _ t y p e :   a l e r t _ t e x t _ o n l y a l e r t _ t e x t :   |     你 好 ， 服 务 器 ( { } ) 可 能 正 在 受 到 w e b 攻 击 ， 请 采 取 手 段 阻 止 ！ ！ ！ ！     # # #   截 止 发 邮 件 前 匹 配 到 的 请 求 数 ： { }     >   发 生 时 间 :   { }     >   t i m e s t a m p : { }     >   a t t a c k e r ' s   i p :   { }     >   r e q u e s t :   { }     >   s t a t u s : { }     >   U A 头 : { }     > > >   参 考 来 源 ： { } a l e r t _ t e x t _ a r g s :     -   h o s t     -   n u m _ h i t s     -   t i m e     -   " @ t i m e s t a m p "     -   r e m o t e _ a d d r     -   r e q u e s t     -   s t a t u s     -   h t t p _ u s e r _ a g e n t     -   s o u r c e s m t p _ a u t h _ f i l e . y a m l : u s e r :   x x x @ 1 6 3 . c o m p a s s w o r d :   p a s s w o r d c o n f i g . y a m l 、 w e b a t t a c k _ f r e q u e n c y . y a m l 、 s m t p _ a u t h _ f i l e . y a m l n o h u p   p y t h o n   - m   e l a s t a l e r t . e l a s t a l e r t   - - v e r b o s e   - - r u l e   w e b a t t a c k _ f r e q u e n c y . y a m l   > / d e v / n u l l   2 > & 1   & s u p e r v i s o r w e b   a t t a c k   m a y   b e   b y   1 0 4 . 3 8 . 1 3 . 2 1   a t   @ [ 1 3 / J a n / 2 0 1 8 : 1 6 : 0 6 : 5 8   + 0 8 0 0 ] x x x   发 给   s h y s t a r t r e e       你 好 ， 服 务 器 ( 1 9 9 . 2 2 2 . 3 6 . 3 1 ) 可 能 正 在 受 到 w e b 攻 击 ， 请 采 取 手 段 阻 止 ！ ！ ！ ！ # # #   截 止 发 邮 件 前 匹 配 到 的 请 求 数 ： 2 0 >   发 生 时 间 :   [ 1 3 / J a n / 2 0 1 8 : 1 6 : 0 6 : 5 8   + 0 8 0 0 ] >   t i m e s t a m p : 2 0 1 8 - 0 1 - 1 3 T 0 8 : 0 7 : 0 4 . 9 3 0 Z >   a t t a c k e r ' s   i p :   1 8 4 . 2 3 3 . 9 . 1 2 1 >   r e q u e s t :   G E T   / d b a d m i n / s c r i p t s / s e t u p . p h p   H T T P / 1 . 0 >   s t a t u s : 2 0 0 >   U A 头 : Z m E u > > >   参 考 来 源 ： / l o g / l o c a l h o s t _ a c c e s s _ l o g . 2 0 1 8 - 0 1 - 1 3 . t x t
参 考 链 接 ： 参 考 链 接 ： E l a s t A l e r t ： 『 H i ， 咱 服 务 挂 了 』 : h t t p s : / / x i z h i b e i . g i t h u b . i o / 2 0 1 7 / 1 1 / 1 9 / a l e r t i n g - w i t h - e l a s t a l e r t / [ E l a s t A l e r t ] 介 绍 和 安 装 ： h t t p s : / / s e g m e n t f a u l t . c o m / a / 1 1 9 0 0 0 0 0 0 8 2 2 7 4 8 6 被 e l a s t a l e r t 虐 了 ： h t t p : / / b l o g . c s d n . n e t / v b a s p d e l p h i / a r t i c l e / d e t a i l s / 5 4 2 9 1 0 6 6 * 本 文 作 者 ： 本 文 作 者 ： s h y s t a r t r e e ， 本 文 属 ， 本 文 属   F r e e B u f   原 创 奖 励 计 划 ， 未 经 许 可 禁 止 转 载 原 创 奖 励 计 划 ， 未 经 许 可 禁 止 转 载 阅 读 原 文
回复

举报

高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

使用Markdown编辑器编辑 使用富文本编辑器编辑

Archiver| 手机版| 小黑屋|
Powered by Discuz! X3.4 Copyright © 2001-2020, Tencent Cloud. 商业源码建议获取授权，如侵犯您的权益，请联系客服处理