搜索

[16325] 2021-01-16_使用elk搭建密码top统计库

文档创建者：s7ckTeam
浏览次数：3
最后更新：2025-01-18
2021-01-16_使用elk搭建密码top统计库 使 用 e l k 搭 建 密 码 t o p 统 计 库 k 3 v i   F r e e B u f   2 0 2 1 - 0 1 - 1 6 e l k 本 身 是 非 常 强 大 的 日 志 处 理 系 统 ， 分 别 由 e l a s t i c s e a r c h 、 、 l o g s t a s h 、 、 k i b a n a 构 成 ， 功 能 分 别 是 数 据 库 、 数 据 处 理 、 前 端 展 示 。 利 用 这 些 搭 建 一 套 用 于 密 码 t o p N 统 计 的 系 统 。 当 然 要 完 成 这 种 统 计 需 要 强 大 的 处 理 性 能 。 搭 建 基 础 环 境 搭 建 基 础 环 境 基 础 环 境 基 础 环 境 操 作 系 统 ： u b u n t u   2 0 . 4   6 4 位 内 存 ： 1 6 G 硬 盘 ： 2 T 数 据 盘 ， 1 2 8 G   s s d 系 统 盘 E l a s t i c S e a r c h ： 7 . 1 0 . 1 K i b a n a ： 7 . 1 0 . 1 L o g s t a s h ： 7 . 1 0 . 1 1 、 、 e l a s t i c s e a r c h 解 压 文 件 ， t a r   - z x v f   e l a s t i c s e a r c h * . t a r . g z ， 切 换 目 录 到 e l a s t i c s e a r c h 中 ， 之 后 所 有 关 于 e l a s t i c s e a r c h 的 设 置 基 本 发 生 在 此 目 录 中 修 改 配 置 文 件 ， c o n f / e l a s t i c s e a r c h . y m l 建 议 修 改 如 下   配 置 — — — — — 路 径 — — — — — 根 据 实 际 情 况 做 修 改 # 数 据 存 储 路 径 # p a t h . d a t a :   / p a t h / t o / d a t a # 日 志 文 件 路 径 # p a t h . l o g s :   / p a t h / t o / l o g s — — — — — 内 存 — — — — — # 在 启 动 过 程 中 是 否 为 内 存 加 锁 : b o o t s t r a p . m e m o r y _ l o c k :   t r u e 请 保 证     环 境 变 量 的 设 置 大 约 为 系 统 可 用 内 存 的 一 半 — — — — — 网 络 — — — — — - # 绑 定 I P 地 址 ， 单 机 搭 建 的 情 况 建 议 改 成 1 2 7 . 0 . 0 . 1 ， n e t w o r k . h o s t ： 1 2 7 . 0 . 0 . 1 h t t p . p o r t : 9 2 0 0 启 动 e l a s t i c s e a r c h 通 过 命 令 . / b i n / e l a s t i c s e a r c h   直 接 启 动 ， 以 前 台 的 形 式 运 行 。 通 过 命 令 c u r l   1 2 7 . 0 . 0 . 1 : 9 2 0 0 查 看 是 否 启 动 成 功 。 E S _ H E A P _ S I Z E
但 是 可 以 在 使 用 过 程 中 会 报 错 ， 就 是 内 存 不 足 。 此 时 需 要 修 改 j v m 的 大 小 。 这 个 大 小 建 议 改 成 实 际 内 存 的 一 半 。 比 我 的 电 脑 实 际 内 存 为 1 6 G ， 这 里 我 用 的 就 是 8 g 。 文 件 位 置 ： . / c o n f i g / j v m . o p t i o n s - X m s 8 g - X m x 8 g 之 后 使 用 命 令 n o h u p   . / b i n / e l a s t i c s e a r c h   & 以 后 台 的 方 式 运 行 E S 2 、 、 K i b a n a 下 载 k i b a n a 解 压 文 件 ， t a r   - z x v f   k i b a n a * . t a r . g z ， 切 换 目 录 到 k i b a n a 中 ， 之 后 所 有 关 于 k i b a n a 的 设 置 基 本 发 生 在 此 目 录 中 。 k i b a n a 配 置 文 件 位 置 . / c o n f i g / k i b a n a . y m l 监 听 端 口 s e r v e r . p o r t :   5 6 0 1   # 默 认 配 置 # I P 配 置 s e r v e r . h o s t :   0 . 0 . 0 . 0   # 建 议 改 成 全 部 网 卡 # e l a s t i c s e a r c h   地 址 e l a s t i c s e a r c h . h o s t s : [ “ h t t p : / / l o c a l h o s t : 9 2 0 0 “ ]   # 根 据 实 际 情 况 配 置 ， 我 上 面 配 置 的 是 l o c a l h o s t 也 就 是 1 2 7 . 0 . 0 . 1 之 后 通 过 命 令 n o h u p   . / b i n / k i b a n a   & 在 后 台 运 行 k a b a n a ， 通 过 h o s t : 5 6 0 1 在 浏 览 器 访 问 k i b a n a
3 、 、 l o g s t a s h 添 加 数 据 实 际 上 比 较 好 用 的 方 式 是 使 用 l o g s t a s h 进 行 数 据 导 入 ， 这 种 方 式 可 以 根 据 自 己 的 实 际 情 况 ， 编 写 数 据 格 式 ， 定 制 化 高 ， 但 是 有 一 定 的 难 度 。 实 际 上 l o g s t a s h 也 是 整 个 部 分 中 最 重 要 的 地 方 ， 就 是 数 据 导 入 ， 通 过 l o g s t a s h 可 以 将 各 种 类 型 的 数 据 格 式 后 后 导 入 到 E S   中 存 储 。 3 . 1   基 础 知 识 基 础 知 识 下 载 l o g s t a s h 解 压 文 件 ， t a r   - z x v f   l o g s t a s h * . t a r . g z ， 切 换 目 录 到 l o g s t a s h 中 ， 之 后 所 有 关 于 l o g s t a s h 的 设 置 基 本 发 生 在 此 目 录 中 。 开 始 进 行 数 据   导 入 前 ， 我 们 先 理 解 一 个 东 西 ， l o g s t a s h 实 际 上 是 用 来 收 集 日 志 并 进 行 格 式 化 处 理 的 一 个 工 具 ， 集 i n p u t 、 f i l t e r 和 o u t p u t 等 插 件 i n p u t 可 以 接 受 来 自 b e a t （ e l k 中 一 个 轻 量 级 的 客 户 端 ， 有 多 种 b e a t ， 有 兴 趣 的 朋 友 可 以 自 行 了 解 ） 、 日 志 文 件 、 s y s l o g 等 方 式 收 集 的 日 志 。 具 体 的 可 以 参 考 官 方 手 册 h t t p s : / / w w w . e l a s t i c . c o / g u i d e / e n / l o g s t a s h / c u r r e n t / i n p u t - p l u g i n s . h t m l 。 我 们 这 里 使 用 的 是 f i l e 插 件 。 f i l t e r 可 以 使 用 g r o k 、 j s o n 、 x m l 等 方 式 格 式 化 数 据 ， 根 据 实 际 情 况 选 择 某 种 方 式 具 体 的 可 以 参 考 官 方 手 册 h t t p s : / / w w w . e l a s t i c . c o / g u i d e / e n / l o g s t a s h / c u r r e n t / f i l t e r - p l u g i n s . h t m l 。 我 们 这 里 使 用 的 主 要 是 g r o k ， 可 以 根 据 文 件 情 况 编 写 不 同 的 正 则 表 达 式 来 处 理 文 件 。 o u t p u t 实 际 上 是 结 果 的 输 出 ， 也 支 持 多 种 插 件 如 s y s l o g 、 c s v 、 f i l e 等 ， 具 体 参 考 官 方 手 册 h t t p s : / / w w w . e l a s t i c . c o / g u i d e / e n / l o g s t a s h / c u r r e n t / o u t p u t - p l u g i n s . h t m l   ， 我 们 这 里 使 用 的 e l a s t i c s e a r c h ， 将 结 果 输 出 到 e s 中 。 3 . 2   简 单 的 配 置 简 单 的 配 置 示 例 文 件 w e a k p a s s . t x t a d m i n — — 1 2 3 4 5 6 a d m i n — — a d m i n a d m i n — — 1 a d m i n — — 1 2 3 4 5 t e s t — — 1 2 3 t e s t — — t e s t t e s t — — 1 2 3 4 … … c o n f i g   目 录 下 有 个 名 为 l o s t a s h - s a m p l e . c o n f 的 示 例 文 件 #   S a m p l e   L o g s t a s h   c o n f i g u r a t i o n   f o r   c r e a t i n g   a   s i m p l e #   B e a t s   - >   L o g s t a s h   - >   E l a s t i c s e a r c h   p i p e l i n e . # 数 据 源 也 就 是 输 入 配 置 i n p u t   { # 这 里 使 用 的 是 b e a t s 插 件     b e a t s   {         p o r t   = >   5 0 4 4     } } # 数 据 输 出 使 用 的 是 e l a s t i c s e a r c h 插 件
我 们 根 据 上 面 的 示 例 文 件 配 置 一 个 w e a k p a s s . c o n f 文 件 使 用 命 令   . / b i n / l o g s t a s h   - f   c o n f i g / w e a k p a s s . c o n f 来 使 用 我 们 写 的 配 置 文 件 导 入 数 据 。 # 数 据 输 出 使 用 的 是 e l a s t i c s e a r c h 插 件 o u t p u t   {     e l a s t i c s e a r c h   {         h o s t s   = >   [ " h t t p : / / l o c a l h o s t : 9 2 0 0 " ]         i n d e x   = >   " % { [ @ m e t a d a t a ] [ b e a t ] } - % { [ @ m e t a d a t a ] [ v e r s i o n ] } - % { + Y Y Y Y . M M . d d } "         # u s e r   = >   " e l a s t i c "         # p a s s w o r d   = >   " c h a n g e m e "     } } i n p u t {         f i l e   {               # 要 导 入 的 示 例 文 件         p a t h   = >   " p a t h / w e a k p a s s . t x t "         # 开 始 位 置         s t a r t _ p o s i t i o n   = >   " b e g i n n i n g "         } } f i l t e r {         g r o k {                 m a t c h   = >   {                 # 格 式 化 数 据                 " m e s s a g e " = > " ( ? < n a m e > . * ? ) - - - - ( ? < p w d > . * ) "                 }         } } o u t p u t {         # 使 用 d e b u g 将 结 果 输 出 到 屏 幕 中         s t d o u t   {                         c o d e c   = >   r u b y d e b u g         } }
如 果 运 行 命 令 之 后 没 有 数 据 输 出 ， 建 议 删 除 . / d a t a 的 所 有 文 件 ， 一 定 要 看 清 楚 目 录 。 3 . 3   垃 圾 数 据 剔 除 垃 圾 数 据 剔 除 为 了 减 少 数 据 的 冗 余 度 及 硬 盘 空 间 的 大 小 ， 所 以 我 们 要 根 据 情 况 删 除 一 些 无 用 字 段 ， 如 p a t h 、 m e s s a g e 、 h o s t 等 。 我 们 在 g o r k 中 加 入 配 置 r e m o v e _ f i e l d = > [ “ p a t h ” , ” m e s s a g e ” , ” h o s t ” ]
通 过 这 样 的 配 置 ， 我 们 的 数 据 量 就 减 少 了 ， 其 实 时 间 戳 也 是 可 以 删 除 了 ， 而 且 并 没 有 存 在 的 意 义 ， 每 条 记 录 都 带 一 个 时 间 戳 ， 实 在 是 占 用 硬 盘   空 间 。 3 . 4   数 据 导 入 数 据 导 入 E S 因 为 我 们 是 在 测 试 ， 所 有 使 用 的 文 件 一 直 是 w e a k p a s s . t x t ， l o g s t a s h 存 在 一 个 问 题 ， 处 理 过 一 次 的 数 据 ， 不 会 重 复 处 理 （ 描 述 不 一 定 正 确 ） 。 所 有 建 议 清 空 d a t a 目 录 。 再 进 行 下 面 的 操 作 。 修 改 配 置 文 件 如 下 i n p u t {                 f i l e   {                         # 要 导 入 的 示 例 文 件                                 p a t h   = >   " / m e d i a / k 2 / 5 f c d a 6 c 4 - e 0 0 9 - 4 1 d d - a 3 1 4 - c 5 4 c 3 c 5 5 1 2 6 b / e l k / w e a k p a s s 1 . t x t "                                 s t a r t _ p o s i t i o n   = >   " b e g i n n i n g "                 } } f i l t e r {                 g r o k {                                       m a t c h   = >   {                                                 # 格 式 化 数 据                                                 " m e s s a g e " = > " ( ? < n a m e > . * ? ) - - - - ( ? < p w d > . * ) "                                 }
3 . 5   使 用 使 用 k i n a b a 之 后 我 们 就 可 以 在 k i b a n a 中 的 索 引 管 理 中 看 到 我 们 的 索 引 这 是 我 们 就 可 以 根 据 所 以 创 建 索 引 模 式 了                                 }                                 r e m o v e _ f i e l d = > [ " p a t h " , " m e s s a g e " , " h o s t " , " @ t i m e s t a m p " ]                                 # 设 置 标 签 ， 当 我 们 数 据 量 比 较 多 的 时 候 可 以 区 分 数 据                                 a d d _ t a g   = >   " w e a k p a s s "                 } } o u t p u t {                 # 使 用 d e b u g 将 结 果 输 出 到 屏 幕 中                 # s t d o u t {   c o d e c   = >   r u b y d e b u g }                 e l a s t i c s e a r c h {                                 a c t i o n   = >   " i n d e x "                                 i n d e x   = >   " w e a k p a s s " # 索 引 名 称                                 h o s t s   = >   [ " 1 2 7 . 0 . 0 . 1 : 9 2 0 0 " ]   # E S 地 址                 }                               }
创 建 完 成 后 就 可 以 在 d i s c o v e r 中 检 索 数 据 了 比 如 我 们 输 入 1 ， 就 可 以 检 索 到 所 有 跟 1 相 关 的 数 据 ，
我 们 也 可 以 检 索 用 户 名 为 a d m i n 的 数 据 ， 这 个 就 之 会 出 来 用 户 名 为 a d m i n 的 用 户 了 统 计 密 码 排 行 统 计 密 码 排 行 使 用 k i b a n a 的 d a s h b o a r d 可 以 统 计 密 码 排 行 创 建 D a t a   T a b l e , 选 择 源 为 我 们 上 面 创 建 的 ， 之 后 进 行 如 下 的 配 置
这 样 我 们 就 得 到 了 上 面 排 名 了 。 因 为 数 据 比 较 少 ， 所 以 统 计 速 度 快 ， 这 里 就 做 了 演 示 ， 没 有 进 行 更 多 的 数 据 导 入 了 。 优 化 优 化 优 化 存 储 优 化 存 储 由 于 l o g s t a s h 在 导 入 数 据 中 会 加 入 一 些 无 用 的 字 段 ， 这 些 字 段 会 在 每 一 条 记 录 中 都 出 现 ， 所 以 可 以 删 除 来 减 少 服 务 器 的 存 储 空 间 。 p a t h   原 始 路 径 m e s s a g e   完 整 记 录 h o s t   主 机 名 @ t i m e s t a m p   时 间 戳 i n p u t { } f i l t e r {                 g r o k {                                 m a t c h   = >   {                                                 # 格 式 化 数 据                                                 " m e s s a g e " = > " . * "                                 }                                 r e m o v e _ f i e l d = > [ " p a t h " , " m e s s a g e " , " h o s t " , " @ t i m e s t a m p " ]                                 # 设 置 标 签
回复

举报

高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

使用Markdown编辑器编辑 使用富文本编辑器编辑

Archiver| 手机版| 小黑屋|
Powered by Discuz! X3.4 Copyright © 2001-2020, Tencent Cloud. 商业源码建议获取授权，如侵犯您的权益，请联系客服处理