搜索

[13928] 2019-03-30_Bash实现快速端口识别与服务监控

文档创建者：s7ckTeam
浏览次数：2
最后更新：2025-01-18
2019-03-30_Bash实现快速端口识别与服务监控 B a s h 实 现 快 速 端 口 识 别 与 服 务 监 控 x y l 8 7 0 6 1 2   F r e e B u f   2 0 1 9 - 0 3 - 3 0 一 、 背 景 一 、 背 景 关 于 端 口 识 别 与 服 务 监 控 问 题 ， 早 有 大 牛 提 供 过 关 于 端 口 识 别 与 服 务 监 控 问 题 ， 早 有 大 牛 提 供 过 m a s s c a n 扫 端 口 扫 端 口 + n m a p 扫 服 务 思 路 。 但 在 亲 自 实 践 过 程 中 ， 发 现 扫 服 务 思 路 。 但 在 亲 自 实 践 过 程 中 ， 发 现 最 致 命 的 问 题 是 最 致 命 的 问 题 是 n m a p 扫 描 速 度 太 慢 ， 导 致 无 法 接 受 这 个 扫 描 时 长 ， 尤 其 是 存 在 大 量 扫 描 速 度 太 慢 ， 导 致 无 法 接 受 这 个 扫 描 时 长 ， 尤 其 是 存 在 大 量 i p 的 情 况 下 。 于 是 考 虑 的 情 况 下 。 于 是 考 虑 n m a p 参 数 调 优 、 多 进 程 扫 描 等 方 式 ， 但 效 果 甚 微 ， 最 后 与 几 位 未 曾 相 识 的 大 牛 们 在 群 里 讨 论 过 之 后 ， 最 终 得 到 一 个 参 数 调 优 、 多 进 程 扫 描 等 方 式 ， 但 效 果 甚 微 ， 最 后 与 几 位 未 曾 相 识 的 大 牛 们 在 群 里 讨 论 过 之 后 ， 最 终 得 到 一 个 比 较 满 意 的 结 果 ， 下 面 就 详 细 得 分 享 下 这 个 项 目 。 比 较 满 意 的 结 果 ， 下 面 就 详 细 得 分 享 下 这 个 项 目 。 二 、 思 路 二 、 思 路 总 体 思 路 依 然 m a s s c a n 扫 端 口 + n m a p 扫 服 务 ， 众 所 周 知 ， m a s s c a n 扫 端 口 的 速 度 是 相 当 得 快 ， 所 以 关 于 端 口 扫 描 速 度 这 块 不 需 要 考 虑 ， 只 需 对 输 出 结 果 进 行 整 理 即 可 。 最 主 要 的 是 要 考 虑 如 何 在 有 限 得 资 源 下 来 提 升 n m a p 扫 服 务 的 速 度 ， 整 个 项 目 实 现 过 程 磕 磕 绊 绊 ， 最 终 总 结 出 以 下 三 个 重 难 点 ： 1 . 进 行 n m a p 参 数 调 优 ， 减 少 不 必 要 的 等 待 时 长 ； 2 . 在 存 在 大 量 i p 与 开 放 端 口 的 情 况 下 ， 尽 可 能 减 少 n m a p 初 始 化 次 数 ， 以 便 能 有 效 得 节 约 系 统 资 源 ； 3 . 实 现 n m a p 并 发 扫 描 ， 提 升 扫 描 效 率 。 其 中 重 中 之 重 是 第 3 点 ， 一 开 始 是 考 虑 通 过 f o r 循 环 来 实 现 多 进 程 后 台 并 发 执 行 ， 但 结 果 是 扫 描 速 度 提 升 效 果 不 显 著 ， 而 且 系 统 性 能 也 被 消 耗 得 厉 害 。 后 来 与 借 鉴 了 几 位 大 佬 的 意 见 之 后 ， 开 始 考 虑 用 队 列 来 实 现 并 发 。 三 、 具 体 实 现 三 、 具 体 实 现 啰 嗦 了 这 么 多 ， 下 面 就 来 看 一 下 具 体 实 现 ， 本 人 非 程 序 猿 ， 撸 个 脚 本 都 感 觉 是 十 分 崩 溃 的 ， 真 是 羡 慕 各 位 又 会 写 程 序 又 懂 安 全 人 又 风 趣 的 g g 们 。 1 . m a s s c a n 开 放 端 口 扫 描 开 放 端 口 扫 描 主 要 分 为 两 个 模 块 ： 开 放 端 口 扫 描 + 扫 描 结 果 处 理 a . 开 放 端 口 扫 描 开 放 端 口 扫 描 这 里 主 要 提 下 — r a t e 参 数 ， — r a t e 参 数 是 指 发 包 速 率 ， 需 要 根 据 你 的 实 际 带 宽 来 配 置 ， 高 了 容 易 误 报 ， 低 了 影 响 扫 描 速 率 。 b . 扫 描 结 果 处 理 扫 描 结 果 处 理 扫 描 结 果 处 理 是 为 下 一 步 使 用 n m a p 进 行 服 务 探 测 做 准 备 的 。 服 务 探 测 有 两 种 方 式 可 选 择 ， “ 单 i p 单 端 口 并 发 扫 描 ” 或 者 “ 单 i p 多 端 口 并 发 扫 描 ” 。 上 一 小 节 思 路 重 难 点 的 第 2 点 已 经 提 过 ， “ 在 存 在 大 量 i p 与 开 放 端 口 的 情 况 下 ， 尽 可 能 减 少 n m a p 初 始 化 次 数 ， 以 便 能 有 效 得 节 约 系 统 资 源 ” ， 所 以 最 终 选 择 了 “ 单 i p 多 端 口 并 发 扫 描 ” 方 式 。 相 应 得 ， m a s s c a n 端 口 扫 描 结 果 也 要 按 此 方 式 进 行 处 理 。 下 面 上 代 码 ， 一 系 列 s e d / a w k … … m a s s c a n   - p   1 - 6 5 5 3 5   - - r a t e   1 0 0 0 0 0   - - o p e n - o n l y   - i L   / d a t a / p o r t s c a n / i p l i s t / a l l i p . t x t   - - e x c l u d e f i l e   / d a t a / p o r t s c a n / i p l i s t / i p . e x c l u d e
2 . 服 务 版 本 探 测 服 务 版 本 探 测 这 里 主 要 考 虑 两 个 方 面 ， n m a p 参 数 调 优 和 队 列 控 制 并 发 扫 描 。 a . n m a p 参 数 调 优 参 数 调 优 - T 4 ： 将 扫 描 延 迟 降 低 到 1 0 m s ； - s V ： 对 服 务 的 版 本 信 息 进 行 探 测 ， 加 上 这 个 参 数 后 更 耗 时 ， 但 是 探 测 结 果 可 以 细 致 到 版 本 号 ， 主 要 还 是 看 各 位 需 求 。 b . 队 列 控 制 并 发 扫 描 队 列 控 制 并 发 扫 描 队 列 控 制 可 以 使 系 统 达 到 较 好 的 利 用 率 ， 线 程 数 可 以 自 己 根 据 需 要 进 行 调 整 ， 我 目 前 使 用 一 台 8 核 2 4 G 的 虚 拟 机 跑 1 w + 个 i p , 4 0 w + 个 端 口 ， 1 2 个 小 时 内 完 成 所 有 的 端 口 与 应 用 识 别 。 上 代 码 ： 四 、 结 语 四 、 结 语 接 下 来 考 虑 使 用 扫 描 结 果 进 行 高 危 端 口 监 控 和 服 务 识 别 了 ， 我 是 结 合 s p l u n k 来 做 分 析 的 ， 各 位 是 愿 意 接 入 数 据 分 析 平 台 还 是 直 接 撸 脚 本 就 看 手 上 的 资 源 和 自 己 的 兴 趣 了 。 另 外 ， 有 兴 趣 的 小 伙 伴 还 可 以 试 着 用 p y t h o n 来 实 现 。 * 本 文 原 创 作 者 ： x y l 8 7 0 6 1 2 ， 本 文 属 于 F r e e B u f 原 创 奖 励 计 划 ， 未 经 许 可 禁 止 转 载 阅 读 原 文 # 扫 描 完 后 只 保 留 存 活 i p 与 端 口 信 息 ， 并 写 在   p o r t . l i s t 文 件 中 m a s s c a n   - p   1 - 6 5 5 3 5   - - r a t e   1 0 0 0 0 0   - - o p e n - o n l y   - i L   / d a t a / p o r t s c a n / i p l i s t / a l l i p . t x t   - - e x c l u d e f i l e   / d a t a / p o r t s c a n / i p l i s t / i p . e x c l u d e       |   s e d     ' s / / t c p / / g '   | a w k   - F   "   "   { ' p r i n t   $ 6 , $ 4 ' } > / d a t a / p o r t s c a n / p o r t r e s u l t / p o r t . l i s t   # 对 p o r t . l i s t 中 结 果 去 重 后 保 存 在 p o r t . l i s t . t m p 文 件 中 s o r t   / d a t a / p o r t s c a n / p o r t r e s u l t / p o r t . l i s t   |   u n i q   >   / d a t a / p o r t s c a n / p o r t r e s u l t / p o r t . l i s t . t m p # 将 p o r t . l i s t . t m p 文 件 中 结 果 按 “ i p   端 口 1 ， 端 口 2 ， 端 口 3 ， … … ” 方 式 处 理 后 保 存 在 p o r t . l i s t . n m a p 中 a w k   ' { a [ $ 1 ] = $ 2 " , " a [ $ 1 ] } E N D { f o r ( i   i n   a ) { p r i n t   i , a [ i ] } } '   / d a t a / p o r t s c a n / p o r t r e s u l t / p o r t . l i s t . t m p   |   s e d   " s / , $ / / g "   >   / d a t a / p o r t s c a n / p o r t r e s u l t / p o r t . l i s t . n m a p n m a p   - T 4   - P n   - s V   - n   - p   $ p o r t   $ i p # 创 建 有 名 管 道 [   - e   / t m p / f d 1   ]   | |   m k f i f o   / t m p / f d 1     # 创 建 文 件 描 述 符 ， 以 可 读 （ < ） 可 写 （ > ） 的 方 式 关 联 管 道 文 件 ， 这 时 候 文 件 描 述 符 3 就 有 了 有 名 管 道 文 件 的 所 有 特 性 e x e c   3 < > / t m p / f d 1                                       # 关 联 后 的 文 件 描 述 符 拥 有 管 道 文 件 的 所 有 特 性 , 所 以 这 时 候 管 道 文 件 可 以 删 除 ， 我 们 留 下 文 件 描 述 符 来 用 就 可 以 了 r m   - r f   / t m p / f d 1 # 并 发 执 行 的 进 程 数 量 t h r e a d = 3 0                     f o r   ( ( i = 1 ; i < = $ t h r e a d ; i + + ) ) d o   # & 3 代 表 引 用 文 件 描 述 符 3 ， 这 条 命 令 代 表 往 管 道 里 面 放 入 了 一 个 " 令 牌 "                         e c h o   > & 3                                           d o n e # 总 的 i p 数 目 i p n u m = ` w c   - l   / d a t a / p o r t s c a n / i p l i s t / p o r t . l i s t . n m a p   |   a w k   { ' p r i n t   $ 1 ' } ` f o r   ( ( i = 1 ; i < = $ i p n u m ; i + + ) ) d o   # 代 表 从 管 道 中 读 取 一 个 令 牌         r e a d   - u 3                                                           {                 # 提 取 i p 地 址 和 端 口 号                 i p = ` s e d   - n     " " $ i " p "   / d a t a / p o r t s c a n / p o r t r e s u l t / p o r t . l i s t . n m a p |   a w k   { ' p r i n t   $ 1 ' } `                 p o r t = ` s e d   - n     " " $ i " p "   / d a t a / p o r t s c a n / p o r t r e s u l t / p o r t . l i s t . n m a p |   a w k   { ' p r i n t   $ 2 ' } `                 # 当 开 放 端 口 数 量 超 过 5 0 0 时 ， 直 接 扫 全 量 端 口 ， 这 样 反 而 速 度 会 更 快                   i f   [ [   ` e c h o   $ p o r t   |   a w k   - F   " , "   { ' p r i n t   N F ' } `   - g t   5 0 0   ] ]   ;   t h e n                                 p o r t = " 1 - 6 5 5 3 5 "                 f i                 # 扫 描 完 成 后 立 即 将 结 果 按 “ i p 地 址   n m a p   端 口 号   开 放 状 态   开 放 服 务   版 本 号 ” 方 式 进 行 处 理                   / u s r / b i n / n m a p   - T 4   - P n   - s V   - n   - p   $ p o r t   $ i p   |   g r e p   - v   " N m a p "   | g r e p   - v   " S U B M I T   I N D I V I D U A L L Y " | g r e p   - v   " M A C   A d d r e s s " |   g r e p   - v   " H o s t   i s   u p "   |   g r e p   - v   " S e r v i c e   I n f o " |   g r e p   - v   - E   " S F : "   |   g r e p   - v   " S F - " | g r e p   - v   " p l e a s e         s u b m i t "   |   g r e p   - v   - E   " P O R T s + S T A T E "   | g r e p   - v   " S e r v i c e   d e t e c t i o n " | s e d   ' / ^ s * $ / d '   |   s e d   ' s / ^ / ' " $ i p " '   n m a p   / g ' | s e d   ' s / / t c p / / g '   |   s e d   ' s / s + /   / g '   > > / v a r / l o g / n m a p   2 > >   / d a t a / p o r t s c a n / s e r v i c e s c a n . l o g                 # 命 令 执 行 到 最 后 ， 把 令 牌 放 回 管 道                 e c h o   > & 3                                       }   2 > >   / d a t a / p o r t s c a n / s e r v i c e s c a n . l o g   & d o n e w a i t   e x e c   3 < & -                                               # 关 闭 文 件 描 述 符 的 读 e x e c   3 > & -                                               # 关 闭 文 件 描 述 符 的 写
回复

举报

高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

使用Markdown编辑器编辑 使用富文本编辑器编辑

Archiver| 手机版| 小黑屋|
Powered by Discuz! X3.4 Copyright © 2001-2020, Tencent Cloud. 商业源码建议获取授权，如侵犯您的权益，请联系客服处理