搜索

[11773] 2017-09-12_基于Lua插件化的Pcap流量监听代理

文档创建者：s7ckTeam
浏览次数：4
最后更新：2025-01-18
2017-09-12_基于Lua插件化的Pcap流量监听代理 基 于 L u a 插 件 化 的 P c a p 流 量 监 听 代 理 原 创   糖 果 L 5 Q   F r e e B u f   2 0 1 7 - 0 9 - 1 2 * 本 文 原 创 作 者 ： 糖 果 L 5 Q ， 本 文 属 于 F r e e B u f 原 创 奖 励 计 划 ， 禁 止 转 载 1 . 前 言 前 言 我 们 在 实 际 工 作 中 ， 遇 到 了 一 个 这 样 的 用 例 ， 在 每 天 例 行 扫 描 活 动 中 ， 发 现 有 些 应 用 系 统 不 定 期 的 被 扫 挂 ， 因 我 们 在 实 际 工 作 中 ， 遇 到 了 一 个 这 样 的 用 例 ， 在 每 天 例 行 扫 描 活 动 中 ， 发 现 有 些 应 用 系 统 不 定 期 的 被 扫 挂 ， 因 为 我 们 不 是 服 务 的 制 造 者 ， 没 有 办 法 在 不 同 的 系 统 里 打 印 日 志 ， 所 以 我 们 就 想 用 一 个 工 具 来 获 取 特 定 服 务 的 输 为 我 们 不 是 服 务 的 制 造 者 ， 没 有 办 法 在 不 同 的 系 统 里 打 印 日 志 ， 所 以 我 们 就 想 用 一 个 工 具 来 获 取 特 定 服 务 的 输 入 数 据 流 。 我 们 如 果 不 在 入 数 据 流 。 我 们 如 果 不 在 I D S 上 看 应 用 的 服 务 ， 可 以 直 接 针 对 服 务 所 在 服 务 位 置 ， 针 对 应 用 端 口 进 行 ， 有 针 对 上 看 应 用 的 服 务 ， 可 以 直 接 针 对 服 务 所 在 服 务 位 置 ， 针 对 应 用 端 口 进 行 ， 有 针 对 性 的 监 听 分 析 。 性 的 监 听 分 析 。 T s h a r k 和 t c p d u m p 、 w i n d u m p 这 些 监 听 工 具 提 供 了 比 较 丰 富 的 命 令 行 参 数 来 监 听 流 量 数 据 。 w i r e s h a r k 、 b u r p s u i t e 这 些 工 具 也 提 供 相 应 的 l u a 、 p y t h o n 脚 本 的 机 制 用 于 去 处 理 监 听 的 流 量 数 据 。 但 有 些 场 景 我 们 不 会 使 用 体 积 这 么 大 的 工 具 ， 命 令 行 方 式 的 监 听 工 具 又 不 能 加 入 更 多 数 据 处 理 逻 辑 ， 细 化 对 数 据 的 操 作 。 实 际 上 我 们 可 以 自 制 一 个 小 型 的 工 具 ， 做 流 量 监 听 ， 是 除 了 命 令 联 合 s h e l l 脚 本 ， 、 w i r e s h a r k 、 s u r i c a t a 等 插 件 开 发 的 另 一 种 形 式 。 现 在 很 多 的 监 听 工 具 都 是 基 于 p c a p 的 ， 我 们 基 于 p c a p 底 层 开 发 一 个 监 听 工 具 。 p c a p 支 持 C 、 p y t h o n 两 种 开 发 方 式 ， 基 于 C 和 p c a p 库 的 开 发 效 率 比 p y t o n 的 性 能 高 ， 这 样 在 高 性 能 的 场 景 p y t h o n 就 不 太 适 合 ， 但 是 从 开 发 效 率 角 度 看 ， 用 p y t h o n 开 发 比 C 又 要 快 很 多 ， 毕 竟 用 C 开 发 工 具 ， 需 要 进 行 边 编 译 ， 一 是 有 技 术 门 槛 ， 另 外 的 确 维 护 相 对 比 较 麻 烦 。 鉴 于 以 上 的 原 因 ， 既 要 性 能 相 对 够 高 一 些 ， 又 能 便 于 维 护 ， 在 命 令 行 这 个 粒 度 上 ， 又 可 以 嵌 入 自 己 数 据 处 理 逻 辑 ， 定 制 化 自 己 的 运 行 时 序 ， 因 些 ， 我 们 选 择 了 C 和 L U A 配 合 的 这 种 方 式 。 实 施 方 面 ， 就 是 用 C 来 处 理 p c a p 的 主 件 循 环 ， 接 受 p c a p 监 听 的 b u f f e r 数 据 。 然 后 ， 将 监 听 的 数 据 通 过 C 与 L U A 之 间 的 通 信 ， 将 数 据 推 送 给 L U A 。 数 据 交 给 L U A 之 后 ， 如 何 管 理 数 据 的 复 杂 性 就 靠 L U A 的 设 计 方 式 来 解 决 ， 因 为 流 量 数 据 是 文 本 流 式 的 ， 程 序 原 型 就 想 到 了 p i p e l i n e 管 道 的 方 式 进 行 组 织 管 理 。 有 了 管 道 的 方 式 ， 我 们 就 可 以 在 一 个 监 听 数 据 流 上 ， 叠 加 各 种 插 件 进 地 监 听 数 据 的 处 理 ， 可 以 把 复 杂 的 业 务 ， 拆 解 成 若 干 个 小 的 插 件 处 理 单 元 ， 写 作 完 成 任 务 。 演 示 原 型 代 码 的 C 部 分 是 很 少 的 ， 主 要 的 任 务 是 获 取 b u f f e r 的 数 据 ， 推 送 l u a ， 代 码 如 下 ： 2 . P C a p 的 的 C 语 言 实 现 语 言 实 现
C 部 分 将 监 听 的 流 量 b u f f e r 的 数 据 ， 以 数 组 的 形 式 给 l u a ， 在 l u a 中 a r r a y 其 实 就 是 一 个 t a b l e ， 我 们 在 l u a 部 分 重 组 了 一 下 数 组 数 据 ， 生 成 了 一 个 字 符 串 ， 代 码 如 下 :
编 译 C 程 序 就 靠 下 面 的 命 令 行 ， 后 期 我 们 也 可 以 生 成 一 个 m a k e f i l e 简 化 编 译 流 程 。 为 了 方 便   ， 我 们 写 了 一 个 M a k e f i l e ： 3 . L u a 与 管 道 插 件 设 计 与 管 道 插 件 设 计 为 什 么 要 使 用 管 道 插 件 的 方 式 拆 分 和 组 织 模 块 ？ 以 什 么 形 式 传 送 数 据 变 成 了 一 个 手 艺 , 解 耦 最 直 接 的 方 法 是 分 层 ， 先 把 数 据 与 为 业 分 开 ， 再 把 业 务 代 码 和 共 通 代 码 分 开 。 数 据 层 对 我 们 系 统 来 说 就 是 规 则 ， 系 统 使 用 的 共 通 代 码 都 封 装 到 了 框 架 层 ， 而 系 统 功 能 业 务 共 通 的 部 分 ， 以 插 件 为 机 能 单 位 分 开 并 建 立 联 系 。 数 据 是 面 象 用 户 的 ， 框 架 是 面 向 插 件 开 发 者 的 ，   插 件 的 实 现 就 是 机 能 担 当 要 做 的 事 情 ， 不 同 的 插 件 组 合 相 对 便 捷 的 生 成 新 机 能 ， 也 是 插 件 便 利 的 益 处 与 存 在 的 意 义 。 因 为 管 道 中 的 插 件 是 会 被 顺 序 调 用 的 ， 因 此 插 件 模 板 中 的 i n i t 和 a c t i o n 函 数 也 会 被 正 常 的 回 调 ， 而 这 些 回 调 函 数 在 被 调 用 时 ， 管 道 系 统 会 把 流 数 据 p u s h 给 单 元 插 件 ， 而 接 到 数 据 流 的 插 件 在 接 到 回 调 p u s h 过 来 的 数 据 后 ， 进 行 相 应 的 判 断 筛 选 ， 将 编 辑 后 的 数 据 通 过 s i n k 插 槽 p u s h 给 后 面 的 插 件 ， 直 到 管 道 尾 端 的 插 件 报 警 或 是 记 日 志 ， 一 次 管 道 启 动 运 行 的 时 序 就 结 束 了 。 这 是 一 个 稍 微 图 型 化 的 p i p e l i n e 示 意 图 ： 我 们 用 代 码 说 明 管 道 的 实 现 更 直 观 ， 代 码 如 下 ：
字 符 型 式 的 管 道 图 示 ： 我 们 通 过 L U A 特 有 的 类 组 织 方 式 构 建 了 一 个 顺 序 的 管 道 数 据 结 构 ， 管 道 中 的 插 件 是 按 声 明 的 先 后 顺 序 来 执 行 的 。 p i p e l i n e 管 道 程 序 的 主 要 逻 辑 就 是 管 理 回 调 函 数 的 调 用 ， 代 码 如 下 ： 插 件 抽 像 出 了 几 个 特 的 函 数 给 开 发 用 户 ， 时 序 是 事 先 设 计 好 的 ， 最 主 要 的 数 据 和 回 调 也 明 确 了 ， 主 要 是 P i p e l i n e . r u n 统 一 回 调 了 几 个 模 板 的 函 数 ， i n i t 、 p u s h 、 m a t c h 函 数 ， 这 样 顶 层 的 设 计 几 乎 是 固 定 的 ， 之 后 所 有 的 业 务 逻 辑 都 在 模 板 了 ， 按 这 个 时 序 执 行 ， 而 插 件 之 间 的 数 据 传 递 依 靠 的 就 s r c 和 s i n k 这 个 插 件 。 基 于 管 道 插 件 的 设 计 特 点 就 是 之 前 的 插 件 会 把 源 头 的 数 据 推 送 给 后 面 的 插 件 ， 如 果 管 道 中 的 数 据 在 之 前 被 编 辑 过 ， 会 体 现 在 后 面 的 插 件 接 受 数 据 后 看 见 变 化 ， 具 体 的 实 现 ， 代 码 如 下 ：
s o u r c e _ p l u g i n 是 一 个 典 型 的 插 件 模 板 ， 所 有 被 p i p e l i n e 回 调 函 数 都 一 目 了 然 ， 但 对 于 插 件 的 使 用 来 说 ， 可 以 完 全 不 用 关 心 内 部 细 节 ， 只 关 心 一 个 函 数 就 行 了 ， 就 a c t i o n ( s e l f ,   s t r e a m ) 这 个 函 数 ， 能 提 供 的 所 有 数 据 都 已 经 被 保 存 到 s t r e a m 这 个 数 据 结 构 里 了 ， 对 监 听 的 所 有 后 期 处 理 都 从 这 里 开 始 。 如 果 创 建 一 个 新 插 件 呢 ？ 就 是 复 制 源 文 件 改 一 个 名 就 行 了 ， 创 建 了 一 个 f i l t e r _ p l u g i n 的 插 件 ， 代 码 如 下 ：
生 成 了 这 个 文 件 ， 我 们 在 管 理 里 加 入 这 个 插 件 就 O K 了 ， 代 码 ： 管 道 图 示 ： 我 们 在 这 个 管 道 图 示 的 后 面 ， 看 到 多 了 一 个 s y s l o g - p l u g i n 的 插 件 ， 这 个 插 件 追 加 的 功 能 就 是 将 前 面 插 件 处 理 的 流 数 据 ， 通 过 s y s l o g 协 议 ， 将 数 所 存 到 远 端 的 s y s l o g 服 务 器 上 ， 集 中 到 大 数 据 日 志 中 心 进 行 分 析 展 示 ， 这 样 这 个 程 序 就 是 一 个 简 单 的 监 控 代 理 的 模 型 。 下 面 我 们 将 程 序 过 行 起 来 ， 看 一 下 执 行 的 效 果 。
4 . 应 用 实 例 应 用 实 例 当 你 取 得 了 流 量 数 据 后 ， 理 论 上 我 们 想 干 什 么 ， 由 我 们 的 想 象 力 决 定 ， 在 实 际 的 应 用 场 景 中 ， 我 们 像 不 深 入 一 个 应 用 的 部 分 ， 就 想 得 到 这 个 应 用 的 输 入 数 据 ， 比 如 这 个 应 用 是 一 个 H T T P   S E V E R ， O p e n r e t y 服 务 ， 我 们 能 不 能 通 过 启 动 这 个 监 听 程 序 ， 来 取 得 对 某 个 n g i n x 服 务 的 用 户 请 求 的 a g e n t 数 据 呢 ， 其 实 这 个 演 示 程 序 可 以 做 到 ， 我 们 构 造 一 个 简 单 的 请 求 。 然 后 我 们 ， 启 动 这 个 脚 本 程 序 ： 我 们 只 是 在   f l t e r - p l u g i n 这 个 l u a 插 件 中 ， 对 a c t i o n ( ) 回 调 函 数 ， 添 加 了 一 个 简 单 的 处 理 ， 就 捕 获 到 了 U s e r - A g e n t 的 信 息 含 有 ” p c a p ” 的 数 据 。 5 . 总 结 总 结 实 际 上 我 们 通 过 把 流 量 数 据 转 发 给 L u a ， 让 L u a 处 理 更 高 级 的 数 据 检 索 需 求 ， 在 实 际 的 工 作 中 ， 有 些 应 用 的 访 问 者 会 给 出 非 正 常 的 垃 圾 信 息 。 如 果 某 些 应 用 输 入 脏 数 据 ， 直 接 会 造 成 程 序 崩 溃 ， 程 序 又 不 输 出 日 志 ， 这 种 机 制 的 流 量 监 听 就 会 有 应 用 场 景 了 ， 比 方 说 ， 我 们 进 行 大 量 的 扫 描 行 为 了 ， 会 发 出 一 些 某 些 程 序 之 前 预 料 之 外 的 数 据 ， 为 了 还 原 是 具 体 那 条 扫 描 把 程 序 弄 挂 了 ， 我 们 就 可 以 灵 活 的 写 一 个 l u a 插 件 ， 捕 获 脏 数 据 。 这 程 序 只 是 一 个 抛 砖 引 玉 ， 我 们 直 接 通 过 C 加 L u a 的 方 式 ， 灵 感 来 自 至 N g i n x   +   l u a   ,     就 是 现 在 流 行 的 o p e n r e s t y 服 务
器 ， 又 可 以 用 到 C 的 高 性 能 ， 又 使 用 L u a 提 高 了 后 续 处 理 的 灵 活 性 。 如 果 要 处 理 更 大 流 量 的 单 机 流 量 监 听 ， 应 该 后 续 加 入 环 形 b u f f e r   缓 存 数 据 ， 如 果 直 接 将 日 志 数 据 s y s l o g 到 远 端 口 的 s y s l o g 服 务 上 ， 我 们 就 可 以 使 l u a 开 发 一 个 插 件 ， 做 s y s l o g 转 发 就 好 ， 这 就 是 当 时 考 虑 使 用 l u a 管 道 设 计 做 这 个 实 验 工 具 的 目 地 。 现 在 我 们 做 的 工 作 就 类 似 是 ， 让 t c p d u m p 支 持 l u a 插 件 扩 展 。 文 中 提 到 的 代 码 ， 放 到 了 G i t h u b 上 ： h t t p s : / / g i t h u b . c o m / s h e n g n o a h / r i f f * 本 文 原 创 作 者 ： 糖 果 L 5 Q ， 本 文 属 于 F r e e B u f 原 创 奖 励 计 划 ， 禁 止 转 载 阅 读 原 文
回复

举报

高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

使用Markdown编辑器编辑 使用富文本编辑器编辑

Archiver| 手机版| 小黑屋|
Powered by Discuz! X3.4 Copyright © 2001-2020, Tencent Cloud. 商业源码建议获取授权，如侵犯您的权益，请联系客服处理