设为首页收藏本站
切换到窄版

 找回密码
 立即注册
搜索
热搜: 活动 交友 discuz
Nmaps Club»论坛 › Pentests Wiki › Wiki › 数据库 › [11727] 2017-08-30_老树新芽：Windump与大数据工具结合 ...
返回列表 发新帖
查看: 26|回复: 0

[11727] 2017-08-30_老树新芽：Windump与大数据工具结合做流量统计分析

[复制链接]
s7ckTeam

6万

主题

-6万

回帖

-54

积分

管理员

积分
-54
发表于 2025-1-18 04:23:24 | 显示全部楼层 |阅读模式
2017-08-30_老树新芽：Windump与大数据工具结合做流量统计分析 老 树 新 芽 ： W i n d u m p 与 大 数 据 工 具 结 合 做 流 量 统 计 分 析 原 创   糖 果 L 5 Q   F r e e B u f   2 0 1 7 - 0 8 - 3 0 * 本 文 原 创 作 者 ： 糖 果 L 5 Q ， 属 于 F r e e B u f 原 创 奖 励 计 划 ， 禁 止 转 载 。 1 . 背 景 与 需 求 介 绍 背 景 与 需 求 介 绍 抓 取 流 量 最 流 行 的 工 具 就 是 抓 取 流 量 最 流 行 的 工 具 就 是 W i r e s h a r k ， 在 ， 在 W i n d o w s 上 上 W i r e s h a r k 的 的 G U I 界 面 很 酷 ， 但 对 于 在 界 面 很 酷 ， 但 对 于 在 l i n u x 和 和 m a c 用 惯 了 用 惯 了 t c p d u m p 用 户 来 说 ， 用 命 令 行 的 用 户 来 说 ， 用 命 令 行 的 t c p d u m p 更 直 接 便 捷 ， 更 直 接 便 捷 ， W i n d o w s 上 有 没 有 类 似 上 有 没 有 类 似 t c p d u m p 的 抓 包 工 具 呢 ？ 答 案 是 有 的 抓 包 工 具 呢 ？ 答 案 是 有 的 ， 就 是 的 ， 就 是 w i n d u m p ， 底 层 是 基 于 ， 底 层 是 基 于 w i n p c a p 库 的 命 令 行 工 具 。 库 的 命 令 行 工 具 。 大 体 的 背 景 是 这 样 的 ， 有 W i n d o w s 服 务 器 运 行 了 一 个 较 定 制 化 的 闭 源 的 认 证 服 务 ， 因 为 这 是 一 个 历 史 遗 留 下 来 的 服 务 ， 并 没 完 备 的 日 志 输 出 机 制 ， 无 法 从 现 有 的 日 志 统 计 出 用 户 流 量 数 据 ， 在 服 务 压 力 大 到 什 么 程 度 会 出 现 问 题 ， 从 现 掌 握 的 数 据 中 无 法 更 好 的 识 别 异 常 ， 统 计 出 流 量 分 布 ， 估 算 出 预 警 的 峰 值 ， 也 无 法 可 视 化 当 前 服 务 的 状 态 ， 随 着 外 部 的 关 联 服 务 的 增 加 ， 服 务 的 压 力 不 段 加 大 。 根 据 目 前 的 现 状 整 理 出 以 下 需 求 ： 1 . 1 可 在 不 入 侵 代 码 的 前 题 下 ， 量 化 监 听 流 量 。 1 . 2 可 将 流 量 日 志 数 据 传 到 大 数 据 平 台 ， 进 行 非 实 时 的 统 计 ， 找 出 预 警 的 阀 值 。 1 . 3 . 用 基 于 w i n p c a p 自 主 开 发 的 监 听 工 具 代 替 w i n d u m p ， 做 实 时 的 数 据 分 析 ， 阀 值 预 警 、 可 视 化 负 载 状 态 。 本 文 侧 重 点 是 用 w i n d u m p 和 大 数 据 g r a y l o g 配 合 ， 做 到 前 2 点 ， 第 3 点 后 继 做 介 绍 。 所 以 ， 下 面 开 始 我 们 要 接 触 几 个 软 件 ， 但 不 会 触 及 到 太 多 代 码 问 题 ， 软 件 分 别 w i n d u m p , s i d e r c a r , n x l o g , 而 g r a y l o g 的 安 装 使 用 不 做 具 体 介 绍 。 w i n d u m p 相 当 于 l i n u x 和 m a c 上 的 t c p d u m p ， 有 些 场 景 在 w i n d o w s 平 台 上 使 用 w i n d u m p 要 比 w i r e s h a r k 方 便 一 些 , w i r e s h a r k 是 G U I 形 式 的 ， 还 支 持 l u a 插 件 ， 有 机 会 我 们 介 绍 w i r e s h a r k 的 l u a 插 件 ， w i n d u m p 是 一 个 分 析 t c p / u d p / i c m p 等 协 议 数 据 的 一 个 好 工 具 ， 简 单 介 绍 一 下 使 用 ， 后 期 我 们 就 是 使 用 w i n d u m p . e x e 这 个 命 令 行 工 具 ， 分 析 我 们 应 用 服 务 器 ， 分 析 我 们 的 服 务 器 承 受 压 力 的 极 限 ， 通 过 压 力 测 试 脚 本 ， 分 析 出 阀 值 。 2 . W i n d u m p 下 载 与 使 用 ： 下 载 与 使 用 ： 我 们 需 要 先 面 简 单 的 介 绍 一 下 w i n d u m p 是 如 何 使 用 的 。 2 . 1 .   w i n d u m p . e x e   - D 显 示 出 所 以 的 网 卡 设 备 。 - D 可 以 列 出 本 机 所 有 的 网 卡 设 备 ， 包 括 V P N 或 是 虚 拟 机 建 立 的 虚 拟 网 卡 。 2 . 2   w i n d u m p . e x e   - i   1 监 听 指 定 网 卡 。 - i   后 面 紧 跟 数 字 序 号 ， 表 示 本 地 网 卡 对 应 的 序 号 ， 用   - D 显 示 出 来 的 序 号 。   - i   的 后 面 跟 的 数 字 ， 就 是 本 机 网 卡 的 序 号 名 。 2 . 3   w i n d u m p . e x e   - i   1   u d p 监 听 指 定 协 议 数 据 。 u d p 的 字 样 是 我 们 指 定 监 控 u d p 协 议 的 流 量
  2 . 4 .   w i n d u m p . e x e   - i   1   u d p   p o r t   9 9 9 9 监 听 指 定 端 口 数 据 。 指 定 端 口 后 就 只 监 听 流 过 这 个 端 口 的 流 量 数 据 。 2 . 5 .   w i n d u m p . e x e   - i   1   u d p   p o r t   1 2 3 4   a n d   h o s t 1 9 2 . 1 6 8 . 0 . 3 监 听 指 定 主 机 的 数 据 。 指 定 I P 只 监 听 本 机 上 和 这 个 I P 有 关 的 数 据 包 。 2 . 6 . w i n d u m p . e x e   - w   c a p . l o g   - i   1   u d p   p o r t   1 2 3 4   a n d   h o s t   1 9 2 . 1 6 8 . 0 . 3 写 流 量 记 录 到 文 件 中 。 我 们 把 监 听 的 数 据 包 存 起 来 ， 便 于 以 后 分 析 。 2 . 7 .   w i n d u m p . e x e   - f   c a p . l o g 读 取 文 本 件 的 流 量 信 息 。 - w 存 起 来 的 数 据 不 是 明 文 的 ， 需 要 用 - f 显 示 出 正 常 的 A C S I I 码 ， 让 人 能 看 懂 。 下 载 和 官 方 文 档 ： h t t p s : / / w w w . w i n p c a p . o r g / w i n d u m p / d o c s / m a n u a l . h t m 3 . S i d e r c a r 与 与 N x l o g 大 数 据 工 具 部 署 大 数 据 工 具 部 署 3 . 1 . 去 去 g i t h u b 上 下 载 上 下 载 s i d e c a r . c o l l e c t o r _ s i d e c a r _ i n s t a l l e r . e x e 3 . 2 . 配 置 配 置 s i d e c a r 的 配 置 文 件 。 的 配 置 文 件 。
3 . 3 安 装 后 ， 设 置 服 务 并 启 动 。 安 装 后 ， 设 置 服 务 并 启 动 。 3 . 4 . 安 装 安 装 n x l o g 。 。 3 . 5 . 配 置 配 置 n x l o g . c o n f 文 件 。 文 件 。 n x l o g 的 配 置 文 件 存 在 一 种 配 对 关 系 ， 定 义 I n p u t 节 、 O u t p u t 节 、 R o u t e 节 ， 下 面 的 配 置 文 件 只 定 义 了 一 个 I n p u t , O u t p u t 的 路 由 对 应 关 系 ， n x l o g 是 模 块 化 的 设 计 ， 我 们 在 i n 这 个 I n p u t 节 中 ， 用 了 i m _ f i l e 这 个 模 块 ， 告 诉 n x l o g 去 那 里 读 取 本 地 日 志 文 件 ， 我 们 这 定 义 日 志 文 件 放 到 c : r l o g 下 的 所 有 . l o g 文 件 。
名 o u t 的 O u t p u t 节 定 义 的 是 输 出 才 用 什 么 协 议 ， 并 解 析 成 什 么 形 式 ， 使 用 o m _ u d p 模 块 ， 将 本 的 日 志 文 件 以 u d p 传 输 协 议 ， 输 出 成 s y s l o g 形 式 ， 到 指 定 的 服 务 器 , s y s l o g 服 务 器 或 是 g r a y l o g 的 数 据 接 收 端 口 。 3 . 6   n x l o g 服 务 使 用 服 务 使 用 3 . 6 . 1 安 装 服 务       n x l o g   - i 3 . 6 . 2 停 止 服 务 n x l o g   - s 3 . 6 . 3 启 动 监 听 n x l o g   - f 看 一 下 默 认 的 位 置 n x l o g 的 启 动 l o g 。 文 件 位 置 ： C : P r o g r a m   F i l e s   ( x 8 6 ) n x l o g d a t a 正 常 启 动 n x l o g 会 显 示 下 面 的 字 样 ： 2 0 1 7 - 0 8 - 1 6   1 7 : 0 2 : 1 5   I N F O   n x l o g - c e - 2 . 9 . 1 7 1 6 s t a r t e d
如 果 出 现 这 样 的 字 段 就 O K 了 ， 如 有 其 它 警 告 和 提 示 ， 可 能 是 配 置 文 件 写 错 了 。 4 . 监 控 与 流 量 分 析 监 控 与 流 量 分 析 安 装 这 些 工 具 后 ， 我 们 就 可 以 来 监 控 流 量 了 ， 并 在 g r a y l o g 端 做 简 单 的 可 视 化 分 析 。 4 . 1 . 运 行 运 行 w i n d u m p ， 监 听 指 定 ， 监 听 指 定 I P 的 测 试 流 量 。 的 测 试 流 量 。 w i n d u m p . e x e   - i   1   u d p   p o r t   9 9 9 9   a n d   1 9 2 . 1 6 8 . 0 . 3 我 们 的 测 试 脚 本 运 行 的 I P 是 ： 1 9 2 . 1 6 8 . 0 . 3 , 所 以 我 们 要 监 控 所 有 和 这 个 I P 有 关 的 ， 本 地 9 9 9 9 通 过 的 流 量 数 据 ， 我 们 要 分 析 出 源 I P 的 总 占 比 ， 这 个 用 例 I P 基 本 就 是 只 有 一 个 I P 的 流 量 监 控 过 了 ， 如 果 把 I P 地 址 去 掉 ， 监 控 的 就 是 本 机 所 有 均 衡 负 载 过 的 r a d i u s 流 量 ， 我 们 可 以 从 中 分 析 出 日 常 业 务 中 ， 那 些 应 用 的 服 务 的 请 求 压 力 大 ， 那 些 应 用 的 请 求 总 是 被 r a d i u s 服 务 r e j e c t ， 是 否 存 在 异 常 的 请 求 流 量 ，   一 般 r e q u e s t 和 a c c e p t 的 量 ， 达 到 多 少 时 ， 服 务 的 压 力 就 过 大 了 ， 需 要 报 警 邮 件 。
4 . 2 . 将 将 w i n d u m p 输 出 的 日 志 文 件 ， 重 定 向 到 指 定 文 件 目 录 。 输 出 的 日 志 文 件 ， 重 定 向 到 指 定 文 件 目 录 。 w i n d u m p . e x e       - i   1   u d p   p o r t   9 9 9 9   a n d 1 9 2 . 1 6 8 . 0 . 3   >   c : r l o g c a p . l o g 我 们 直 接 将 日 志 文 件 通 过 管 道 生 成 到 指 定 目 录 。 4 . 3 . 启 运 压 力 测 试 脚 本 ， 查 看 日 志 生 成 结 果 。 启 运 压 力 测 试 脚 本 ， 查 看 日 志 生 成 结 果 。 生 成 的 流 量 日 志 被 生 成 到 了 指 定 位 置 ， 并 传 到 了 g r a y l o g 的 E S 集 群 ， 或 是 s y s l o g 服 务 器 上 。 4 . 4 . 停 止 监 控 后 ， 查 看 停 止 监 控 后 ， 查 看 g r a y l o g 日 志 结 果 ， 做 分 析 。 日 志 结 果 ， 做 分 析 。
我 们 可 以 在 G r a y l o g 看 到 ， 那 台 老 的 w i n d o w s   s e r v e r 的 流 量 监 控 数 据 ， 被 发 现 大 数 据 E S 集 群 中 ， 之 后 我 们 就 要 对 字 段 I P 进 行 分 词 ， 也 可 能 将 大 数 据 统 计 的 流 量 状 态 通 过 R E S T   A P I 给 前 段 ， 投 到 大 屏 幕 上 。 5 . 定 制 化 流 量 收 集 代 理 定 制 化 流 量 收 集 代 理 我 们 知 道 很 多 的 抓 包 工 具 底 层 用 的 都 是 l i b p c a p ， 在 m a c 、 w i n d o w s 、 l i n u x 上 都 有 支 持 ， 如 果 我 们 需 要 在 流 量 的 收 集 端 ， 定 制 过 滤 流 量 ， 只 过 滤 需 要 特 定 的 流 量 ， 或 是 将 流 量 通 过 s y s l o g 直 接 中 继 到 其 它 的 s y s l o g 服 务 器 ， 这 样 意 味 着 可 以 不 用 部 署 n x l o g 代 理 。 下 面 是 一 个 C 语 言 写 的 例 子 ， C 的 版 本 要 比 P y t h o n 效 率 过 高 ， 并 且 可 以 在 C 语 言 中 嵌 入 L u a ， 用 l u a 来 处 理 流 量 中 过 滤 规 则 和 发 s y s l o g 更 便 利 ， 下 面 抛 砖 引 玉 给 出 一 个 C 语 言 实 现 的 l i b p c a p 的 演 示 代 码 ， 截 取 本 地 际 8 0 的 端 口 数 据 ， 以 下 ： 安 装 环 境 依 赖 ： 源 代 码 ：
编 译 ：
g c c   t e s t . c   - l p c a p   - o   t e s t 以 上 程 序 的 功 能 等 同 于 ： t c p d u m p   - i   e t h 1   d s t   p o r t   8 0         - l   - s   0   - w -     |   s t r i n g s 如 果 我 们 在 主 事 件 循 环 中 加 入 L u a 的 调 用 即 可 过 滤 处 理 流 理 包 ， 鉴 于 篇 幅 之 后 介 绍 。 6 . 结 语 结 语 本 文 图 片 去 掉 了 一 些 真 实 的 测 试 I P 信 息 。 关 于 G r a y l o g 分 词 与 数 据 可 视 统 计 与 a l e r t 报 警 ， 基 于 W i n d p c a p 库 的 监 听 代 码 使 用 后 在 后 期 给 出 。 一 般 情 况 下 ， 我 们 都 是 直 接 查 看 某 台 机 器 的 流 量 都 是 使 用 I D S 相 关 设 备 ， 或 是 设 备 直 接 读 出 的 S y s l o g ， 因 为 某 些 设 备 和 系 统 的 特 殊 环 境 ， 要 想 监 控 其 流 量 直 能 采 取 直 接 深 入 的 办 法 ， 比 如 些 文 提 到 的 情 况 ， 这 样 我 们 就 可 以 很 灵 活 的 将 老 的 设 备 监 控 起 来 ， 将 其 服 务 状 态 数 据 接 入 到 大 数 据 平 台 集 中 管 理 起 来 ， 让 老 的 设 备 软 件 ， 老 树 开 新 芽 。 * 本 文 原 创 作 者 ： 糖 果 L 5 Q ， 属 于 F r e e B u f 原 创 奖 励 计 划 ， 禁 止 转 载 。 阅 读 原 文
回复

举报

返回列表 发新帖
高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

使用Markdown编辑器编辑 使用富文本编辑器编辑

Archiver|手机版|小黑屋|Nmaps Club

GMT+8, 2025-3-13 15:21 , Processed in 0.828709 second(s), 29 queries .

Powered by Discuz! X3.5

© 2001-2025 Discuz! Team.

快速回复 返回顶部 返回列表