搜索

[14007] 2019-04-19_ZMap扫描机制剖析

文档创建者：s7ckTeam
浏览次数：6
最后更新：2025-01-18
2019-04-19_ZMap扫描机制剖析 Z M a p 扫 描 机 制 剖 析 原 创   M u r k f o x   F r e e B u f   2 0 1 9 - 0 4 - 1 9 前 言 前 言 随 着 企 业 内 网 的 网 络 资 产 不 断 增 加 ， 对 实 时 监 控 网 络 资 产 变 化 的 要 求 不 断 提 升 。 以 随 着 企 业 内 网 的 网 络 资 产 不 断 增 加 ， 对 实 时 监 控 网 络 资 产 变 化 的 要 求 不 断 提 升 。 以   N m a p   为 代 表 的 一 代 端 口 扫 为 代 表 的 一 代 端 口 扫 描 器 的 在 扫 描 速 率 上 已 经 无 法 满 足 日 常 需 要 。 随 之 以 描 器 的 在 扫 描 速 率 上 已 经 无 法 满 足 日 常 需 要 。 随 之 以   Z m a p   为 代 表 的 全 网 级 快 速 端 口 扫 描 器 被 大 家 所 熟 知 并 加 为 代 表 的 全 网 级 快 速 端 口 扫 描 器 被 大 家 所 熟 知 并 加 以 应 用 。 本 文 主 要 通 过 分 析 以 应 用 。 本 文 主 要 通 过 分 析   Z M a p   的 工 作 机 制 以 及 发 包 机 制 来 探 讨 如 何 构 造 全 网 级 快 速 端 口 扫 描 器 。 的 工 作 机 制 以 及 发 包 机 制 来 探 讨 如 何 构 造 全 网 级 快 速 端 口 扫 描 器 。 Z m a p 介 绍 介 绍 首 先 我 们 看 一 下   Z m a p   的 系 统 结 构 图 ： Z M a p   将 各 个 功 能 模 块 化 ， 这 增 加 了   Z M a p   的 灵 活 性 ， 并 可 以 轻 松 的 集 成 其 他 的 工 具 ， 以 便 构 造 自 己 的 网 络 资 产 探 测 系 统 。 如 图 所 示 ， 扫 描 器 的 核 心 部 分 由 命 令 、 配 置 文 件 解 析 模 块 、 目 标   I P   列 表 生 成 模 块 、 程 序 监 控 模 块 以 及 数 据 包 发 送 接 收 模 块 共 同 组 成 。 Z M a p 针 对 于 不 同 的 通 信 协 议 ， 采 用 不 同 的 探 针 模 块 去 验 证 ， 目 标 设 备 的 存 活 。 我 们 也 扩 展 探 针 模 块 可 以 针 对 不 同 类 型 的 探 针 进 行 定 制 ， 同 时 负 责 生 成 探 测 包 并 解 释 传 入 的 包 是 否 是 有 效 响 应 。 模 块 化 输 出 处 理 程 序 允 许 将 扫 描 结 果 通 过 管 道 传 输 到 另 一 个 进 程 ， 或 直 接 添 加 到 数 据 库 ， 或 传 递 给 用 户 代 码 以 进 行 进 一 步 操 作 ， 例 如   Z g r a b 。 在   Z M a p   的 设 计 理 念 中 ， 最 重 要 的 一 点 是 做 到 了 发 送 和 接 收 数 据 包 的 线 程 独 立 化 。 这 尽 可 能 的 减 少 了 带 宽 的 共 享 损 耗 ， 同 时 提 高 了 线 程 的 效 率 。 通 过 上 述 分 析 得 知 ， 通 过 上 述 分 析 得 知 ， Z M a p   框 架 设 计 中 ， 异 步 处 理 以 及 功 能 模 块 化 ， 大 大 的 提 高 了 程 序 的 运 行 速 度 以 及 灵 活 框 架 设 计 中 ， 异 步 处 理 以 及 功 能 模 块 化 ， 大 大 的 提 高 了 程 序 的 运 行 速 度 以 及 灵 活 性 。 但 这 并 不 是 性 。 但 这 并 不 是   Z M a p   可 以 进 行 全 网 级 设 备 发 现 的 核 心 功 能 （ 但 这 是 基 础 ） 。 下 面 我 通 过 翻 译 可 以 进 行 全 网 级 设 备 发 现 的 核 心 功 能 （ 但 这 是 基 础 ） 。 下 面 我 通 过 翻 译   Z M a p   的 论 文 ， 的 论 文 ， 给 大 家 阐 述 给 大 家 阐 述   Z M a p   等 全 网 级 端 口 扫 描 器 ， 在 扫 描 机 制 上 所 作 出 的 改 变 和 突 破 。 等 全 网 级 端 口 扫 描 器 ， 在 扫 描 机 制 上 所 作 出 的 改 变 和 突 破 。 Z m a p 扫 描 机 制 解 析 扫 描 机 制 解 析 地 址 生 成 分 片 地 址 生 成 分 片 Z M a p   使 用 整 数 模   n   乘 法 群 算 法 建 立 覆 盖   I P v 4   地 址 空 间 的 全 排 列 。
I P v 4   地 址 为   1 2 8   b i t   换 算 成 十 进 制 即   1 ~ 2 ^ 3 2   整 数   所 以   Z M a p   通 过 选 择   p   为   2 ^ 3 2   +   1 5 ， 再 从 需 要 遍 历 的 数 列 中 选 择 一 个 原 始 根   g   ， 通 过 将 待 排 序 的 数 字   n   于   g   相 乘 之 后 再 与 p 相 除 。 （ 原 理 如 图 所 示 ） 通 过 建 立 十 进 制   1 ^ 3 2   整 数 的 全 排 列 ， 再 将 每 个 整 数 转 换 成 1 2 8   b i t   的   I P v 4   地 址 ， 就 可 以 得 到 覆 盖   I P v 4   地 址 空 间 的 排 列 。 为 了 使 每 次 扫 描 任 务 ， 生 成 的 地 址 空 间 均 是 不 同 的 序 列 ，   Z M a p   要 为 每 次 扫 描 先 生 成 一 个 新 的 随 机 的 原 始 根   g 。 虽 然 此 过 程 在 扫 描 开 始 时 增 加 了 复 杂 性 ， 但 它 只 增 加 了 少 量 的 一 次 性 的 开 销 。 一 旦 生 成 了 原 始 根   g ， Z M a p   就 可 以 轻 松 完 成 地 址 空 间 序 列 的 为 随 机 排 序 。 黑 白 名 单 黑 白 名 单 Z M a p   目 标 地 址 约 束 用 于 限 制 扫 描 到 网 络 的 特 定 区 域 （ 白 名 单 ） 或 排 除 特 定 地 址 范 围 （ 黑 名 单 ） ， 例 如 I A N A 保 留 分 配 。 黑 名 单 还 可 用 于 满 足 希 望 被 排 除 在 接 收 探 测 流 量 之 外 的 网 络 运 营 商 的 请 求 。 良 好 的 互 联 网 公 民 身 份 要 求   Z M a p   用 户 支 持 这 些 请 求 ， 但 是 后 来 人 们 可 能 会 延 长 时 间 ， 而 用 户 的 黑 名 单 可 能 包 含 数 百 个 被 排 除 的 前 提 条 件 。 即 使 有 复 杂 的 地 址 约 束 ， Z M a p   也 能 够 有 效 地 确 定 任 何 给 定 的 I P 地 址 是 否 应 该 是 扫 描 的 一 部 分 。 -   为 了 支 持   1 0   G i g E   l i n e p e e d   ， 我 们 实 现 了 基 于 三 维 和 数 组 的 数 据 结 构 ， 可 以 有 效 地 操 作 和 查 询 允 许 的 地 址 。 N I C 零 拷 贝 零 拷 贝 尽 管 Z M a p 可 以 直 接 生 成 原 始 以 太 网 套 接 字 （ 减 少 了 一 系 列 的 数 据 包 校 验 过 程 如 a r p   缓 存 查 询 和   N e t f i l t e r   检 验 ， 并 且 不 会 保 留 T C P   会 话 状 态 ） ， 但 是 发 送 探 测 数 据 包 本 身 就 是 一 项 昂 贵 的 操 作 ， 因 为 它 涉 及 到 一 个 操 作 系 统 ， 需 要 将 扫 描 数 据 包 通 过 用 户 空 间 传 到 内 核 空 间 ， 再 将 扫 描 数 据 包 通 过 内 核 空 间 传 输 到 N I C   。 测 试 过 多 种 传 统 的 减 少 开 支 的 方 案 后 ， 这 些 内 核 操 作 的 高 成 本 也 使   Z M a p   无 法 达 到   2 G b p s   以 上 的 发 包 速 度 。 为 了 减 少 这 样 的 限 制 ， 加 快 数 据 包 的 发 送 速 度 ，   Z M a p   使 用   P F _ R I N G ™ Z C   接 口 实 现   Z M a p   的 数 据 包 发 送 功 能 。 P F _ R I N G ™ Z C   允 许 用 户 空 间 代 码 绕 过 内 核 并 对 N I C 进 行 直 接 的 “ 零 拷 贝 ” 访 问 ， 从 而 可 以 在 没 有 任 何 上 下 文 切 换 或 浪 费 内 存 带 宽 的 情 况 下 发 送 数 据 包 。 但 由 于   P F _ R I N G ™ Z C   的 发 包 速 度 极 快 ， 若 数 据 包 创 建 与 发 送 的 线 程 相 关 联 ， 则 数 据 包 创 建 的 速 度 无 法 达 到 发 包 速 度 ， 但 同 时 开 启 多 个   P F _ R I N G ™ Z C   的 工 作 线 程 又 会 降 低 Z M a p 的 工 作 效 率 。 因 此   Z M a p   又 在   P F _ R I N G   的 基 础 上 将 数 据 包 创 建 与 发 送 解 耦 ， 创 建 了 新 的 发 包 机 制 。 并 使 Z M a p 能 够 将 I P 段 分 片 的 并 行 化 优 势 与   P F _ R I N G ™ Z C   的 速 度 相 结 合 ， 使   Z M a p   拥 有 了 支 持   1 0   G   N I C   的 功 能 。 在 Z M a p 的 原 始 版 本 中 ， 创 建 的 每 个 发 包 线 程 都 会 通 过 特 定 于 该 线 程 的 数 据 包 生 成 线 程 ， 生 成 并 发 送 数 据 包 。 但   Z M a p   在 接 下 来 的 版 本 修 改 了 线 程 职 责 ， 使 每 个 数 据 包 生 成 线 程 迭 代 一 个   I P   地 址 列 表 的 分 片 并 生 成 数 据 包 对 其 进 行 排 队 。 在 紧 密 循 环 中 ， 每 个 数 据 包 生 成 循 环 计 算 分 片 中 的 下 一 个 索 引 ， 使 用 地 址 约 束 树 找 到 相 应 的 允 许   I P   地 址 ， 并 在   P F _ R I N G ™ Z C   驱 动 程 序 的 内 存 中 创 建 一 个 数 据 包 。 数 据 包 将 添 加 到 数 据 包 队 列 中 。 发 送 线 程 在 数 据 包 可 用 时 ， 从 每 个 数 据 包 队 列 中 读 取 数 据 ， 并 使 用   P F _ R I N G ™ Z C   通 过 线 路 发 送 它 们 。 让 我 们 简 单 来 看 一 下   Z M a p   中   有 关 于   P F _ R I N G ™ Z C   的 应 用 . / s r c / s e n d - p r f i n g . h i n t   s e n d _ p a c k e t ( s o c k _ t   s o c k ,   v o i d   * b u f ,   i n t   l e n ,   u i n t 3 2 _ t   i d x )
在 发 包 的 过 程 中 ， Z M a p   首 先 调 用   m e m c p y （ ） 复 制 由   p f r i n g _ z c _ p k t _ b u f f _ d a t a （ ） 获 得 的 指 向 实 际 数 据 包 数 据 的 指 针 。 再 调 用   p f r i n g _ z c _ s e n d _ p k t   （ ） 将 数 据 包 送 入 发 送 队 列 ， 并 将 指 针 指 向 待 发 送 的 缓 冲 区 句 柄 ， 只 有 发 送 了 数 据 包 ， 才 可 以 重 用 缓 冲 区 句 柄 。 为 了 确 定 最 佳 数 据 包 生 成 线 程 数 ， Z M a p   执 行 了 一 系 列 测 试 ， 使 用   1 - 6   个 数 据 包 创 建 线 程 扫 描   5 0   秒 ， 并 测 量 发 送 速 率 。 找 到 最 佳 线 程 数 ， 即 对 为 每 个 物 理 核 分 配 一 个 数 据 包 生 成 线 程 。 当 然 还 要 提 到 的 一 点 就 是 ， Z M a p   发 送 的 请 求 是 无 状 态 请 求 ， 发 送 之 后 就 忽 略 了 ， 它 不 需 要 记 录 未 回 应 请 求 的 名 单 ， 而 是 在 发 送 的 数 据 包 中 编 码 身 份 信 息 去 识 别 回 应 ， 从 而 降 低 开 销 。 ( 大 家 就 比 较 了 解 ， 我 就 不 一 一 赘 述 了 ) 我 们 发 现 ， Z M a p   在 实 现 超 高 速 率 发 包 时 ， 使 用 了 一 个 新 的 数 据 包 处 理 框 架   P F _ R I N G ™ Z C   这 一 数 据 包 处 理 框 架 ， 实 现 了   数 据 包 生 成 后 直 接 传 入   N I C   的 功 能 （ Z e r o   C o p y ） 。 这 大 大 减 少 了 对 计 算 资 源 的 消 耗 ， 同 时 大 大 提 升 了 网 卡 的 工 作 效 率 。 接 下 来 ， 我 将 通 过 简 单 地 翻 译   P F _ R I N G ™ Z C   官 方 文 档 来 给 大 家 介 绍 一 下   P F _ R I N G ™ Z C P F _ R I N G ™ Z C 介 绍 介 绍 P F _ R I N G ™ Z C （ 零 拷 贝 ） 是 一 种 灵 活 的 数 据 包 处 理 框 架 ， 允 许 您 以 任 何 数 据 包 大 小 实 现 1 / 1 0   G b i t   线 速 数 据 包 处 理 （ R X   和   T X   ） 。 它 实 现 零 拷 贝 操 作 ， 包 括 进 程 间 和   V M   间 （ K V M ） 通 信 的 模 式 。 它 可 以 被 视 为   D N A   /   L i b Z e r o   的 继 承 者 ， 它 基 于 过 去 几 年 的 经 验 教 训 提 供 单 一 且 一 致 的   A P I   。 它 具 有 灵 活 的 A P I ， 可 实 现 可 从 线 程 、 应 用 程 序 和 虚 拟 机 ， 使 用 的 简 单 构 建 模 块 （ 队 列 ， 工 作 线 程 和 池 ） 创 建 复 杂 的 应 用 程 序 。 例 如 通 过 六 行 代 码 创 建 一 个 简 单 的 设 备 应 用 ： P F _ R I N G ™ Z C   附 带 新 一 代   P F _ R I N G ™   感 知 驱 动 程 序 ， 可 在 内 核 或 旁 路 模 式 下 使 用 。 安 装 后 ， 驱 动 程 序 作 为 标 准 L i n u x   驱 动 程 序 运 行 ， 您 可 以 在 其 中 进 行 正 常 的 网 络 连 接 （ 例 如   p i n g   或   S S H   ） 。 当 从   P F _ R I N G ™   使 用 时 ， 它 们 比 其 他 的 驱 动 更 快 ， 因 为 它 们 直 接 与 它 相 互 作 用 。 如 果 您 使 用 零 拷 贝 中 的   P F _ R I N G ™   感 知 驱 动 程 序 打 开 设 备 （ 例 如 p f c o u n t   - i   z c ： e t h 1 ） ， 则 设 备 将 无 法 用 于 标 准 网 络 ， 因 为 它 通 过 内 核 旁 路 以 零 拷 贝 方 式 访 问 ， 就 像 之 前 的   D N A   一 样 。 关 闭 访 问 设 备 的 应 用 程 序 后 ， 可 以 再 次 进 行 标 准 网 络 活 动 。 有 兴 趣 想 深 入 了 解 的 童 鞋 ， 可 以 度 娘 一 下 以 及 查 阅 下 文 的 参 考 链 接 。 总 结 总 结 {         s o c k . p f . b u f f e r s [ i d x ] - > l e n   =   l e n ;         m e m c p y ( p f r i n g _ z c _ p k t _ b u f f _ d a t a ( s o c k . p f . b u f f e r s [ i d x ] ,   s o c k . p f . q u e u e ) ,                       b u f ,   l e n ) ;         i n t   r e t ;         d o   {                 r e t   =                         p f r i n g _ z c _ s e n d _ p k t ( s o c k . p f . q u e u e ,   & s o c k . p f . b u f f e r s [ i d x ] ,   0 ) ;         }   w h i l e   ( r e t   <   0 ) ;         r e t u r n   r e t ; } z c   =   p f r i n g _ z c _ c r e a t e _ c l u s t e r ( I D ,   M T U ,   M A X _ B U F F E R S ,   N U L L ) ; f o r   ( i   =   0 ;   i   <   n u m _ d e v i c e s ;   i + + )     i n z q [ i ]   =   p f r i n g _ z c _ o p e n _ d e v i c e ( z c ,   d e v i c e s [ i ] ,   r x _ o n l y ) ; f o r   ( i   =   0 ;   i   <   n u m _ s l a v e s ;   i + + )     o u t z q [ i ]   =   p f r i n g _ z c _ c r e a t e _ q u e u e ( z c ,   Q U E U E _ L E N ) ;   z w   =   p f r i n g _ z c _ r u n _ b a l a n c e r ( i n z q ,   o u t z q ,   n u m _ d e v i c e s ,   n u m _ s l a v e s , N U L L ,   N U L L ,   ! w a i t _ f o r _ p a c k e t ,   c o r e _ i d )
本 文 通 过 对   Z M a p   工 作 机 制 进 行 初 步 的 剖 析 ， 并 未 深 入 每 个 函 数 进 行 讲 解 ， 心 力 、 能 力 有 限 ， 望 各 位 海 涵 。 综 上 所 述 ， 若 想 自 己 打 造 一 个 全 网 级 端 口 扫 描 器 ， 其 实 还 是 有 （ n a n ） 些 （ y u ） 许 （ s h a n g ） 难 （ q i n g ） 度 （ t i a n ） 的 。 但 好 在 ， Z M a p 、 M a s s c a n   均 为 开 源 程 序 ， 并 提 供 了 一 系 列 的   A P I   供 大 家 进 行 扩 展 ， 这 大 大 的 降 低 了 我 们 对 扫 描 器 的 改 造 成 本 。 P F _ R I N G ™ Z C   同 样 也 是 开 源 的 ， 想 深 入 了 解 学 习 的 同 学 ， 也 可 以 根 据 参 考 文 档 进 行 深 入 的 研 究 和 探 讨 。 （ 附 上 本 人 整 理 的 参 考 链 接 ） Z M a p   a t   G i t H u b ： h t t p s : / / g i t h u b . c o m / z m a p / z m a p / Z M a p :   F a s t   I n t e r n e t - W i d e   S c a n n i n g   a n d   i t s   S e c u r i t y   A p p l i c a t i o n s ： h t t p s : / / z m a p . i o / p a p e r . p d f / M a s s c a n   a t   G i t H u b ： h t t p s : / / g i t h u b . c o m / r o b e r t d a v i d g r a h a m / m a s s c a n / P R _ R I N G   a t   G i t H u b ： h t t p s : / / g i t h u b . c o m / n t o p / P F _ R I N G / P F _ R I N G ™ Z C ： h t t p s : / / w w w . n t o p . o r g / p r o d u c t s / p a c k e t - c a p t u r e / p f _ r i n g / p f _ r i n g - z c - z e r o - c o p y / / p f r i n g _ z c . h   F i l e   R e f e r e n c e ： h t t p : / / w w w . n t o p . o r g / g u i d e s / p f _ r i n g _ a p i / p f r i n g _ _ z c _ 8 h . h t m l * 本 文 作 者 ： 本 文 作 者 ： M u r k f o x ， 本 文 属 ， 本 文 属   F r e e B u f   原 创 奖 励 计 划 ， 未 经 许 可 禁 止 转 载 。 原 创 奖 励 计 划 ， 未 经 许 可 禁 止 转 载 。 推 荐 阅 读 推 荐 阅 读
阅 读 原 文
回复

举报

高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

使用Markdown编辑器编辑 使用富文本编辑器编辑

Archiver| 手机版| 小黑屋|
Powered by Discuz! X3.4 Copyright © 2001-2020, Tencent Cloud. 商业源码建议获取授权，如侵犯您的权益，请联系客服处理