搜索

[13218] 2018-09-23_Sublist3r子域名枚举神器源码阅读

文档创建者：s7ckTeam
浏览次数：3
最后更新：2025-01-18
2018-09-23_Sublist3r子域名枚举神器源码阅读 S u b l i s t 3 r 子 域 名 枚 举 神 器 源 码 阅 读 m s c b   F r e e B u f   2 0 1 8 - 0 9 - 2 3 * 本 文 作 者 ： m s c b ， 本 文 属   F r e e B u f   原 创 奖 励 计 划 ， 未 经 许 可 禁 止 转 载 。 前 言 前 言 S u b l i s t 3 r 是 一 款 简 单 易 用 的 子 域 名 枚 举 利 器 。 但 是 今 天 我 不 打 算 讲 解 它 的 使 用 教 程 ， 而 是 深 入 一 层 ， 从 它 的 代 是 一 款 简 单 易 用 的 子 域 名 枚 举 利 器 。 但 是 今 天 我 不 打 算 讲 解 它 的 使 用 教 程 ， 而 是 深 入 一 层 ， 从 它 的 代 码 中 窥 探 原 理 。 也 许 有 人 可 能 很 不 理 解 ， 为 什 么 不 好 好 的 使 用 工 具 而 偏 偏 去 深 究 它 的 代 码 实 现 细 节 。 码 中 窥 探 原 理 。 也 许 有 人 可 能 很 不 理 解 ， 为 什 么 不 好 好 的 使 用 工 具 而 偏 偏 去 深 究 它 的 代 码 实 现 细 节 。 从 我 个 人 角 度 来 说 ， 我 觉 得 : 第 一 个 层 面 ， 一 位 优 秀 的 安 全 从 业 者 ， 至 少 在 读 第 一 个 层 面 ， 一 位 优 秀 的 安 全 从 业 者 ， 至 少 在 读 / 写 代 码 层 面 不 能 成 为 短 柄 。 如 果 一 味 的 只 使 用 工 具 ， 不 了 解 原 写 代 码 层 面 不 能 成 为 短 柄 。 如 果 一 味 的 只 使 用 工 具 ， 不 了 解 原 理 ， 那 很 容 易 成 为 大 家 口 中 的 理 ， 那 很 容 易 成 为 大 家 口 中 的 “ 脚 本 小 子 （ 脚 本 小 子 （ s c r i p t   k i d d i e ） ） ” 。 。 第 二 个 层 面 ， 这 是 我 个 人 推 崇 的 的 学 习 方 法 ， 从 自 己 的 学 习 道 路 中 ， 我 喜 欢 遵 循 第 二 个 层 面 ， 这 是 我 个 人 推 崇 的 的 学 习 方 法 ， 从 自 己 的 学 习 道 路 中 ， 我 喜 欢 遵 循 3 个 个 W 的 学 习 原 则 ， 即 （ 的 学 习 原 则 ， 即 （ W h a t - > W h y - > W h a t ） ： ） ： 第 一 个 W h a t 表 示 在 初 学 阶 段 ， 需 要 学 会 哪 些 东 西 哪 些 东 西 能 干 些 什 么 干 些 什 么 ， 比 如 知 道 了 S u b l i s t 3 r 工 具 可 以 用 来 枚 举 子 域 名 。 第 二 个 W h y 则 表 示 在 中 级 阶 段 ， 去 了 解 这 个 东 西 的 实 现 原 理 ， 以 及 为 什 么 要 这 么 实 现 ， 比 如 通 过 工 具 的 代 码 学 会 它 的 底 层 细 节 ， 与 此 同 时 还 能 丰 富 知 识 体 系 。 第 三 个 W h a t 表 示 在 高 级 阶 段 ， 知 道 要 干 什 么 事 情 干 什 么 事 情 需 要 什 么 工 具 什 么 工 具 ， 不 在 细 究 技 术 细 节 ， 而 是 通 过 前 期 的 学 习 ， 形 成 自 己 的 知 识 网 络 ， 能 精 准 的 根 据 当 前 情 况 定 位 到 具 体 的 工 具 。 S u b l i s t 3 r 工 具 介 绍 工 具 介 绍
从 S u b l i s t 3 r 的 G i t H u b 主 页 （ h t t p s : / / g i t h u b . c o m / a b o u l 3 l a / S u b l i s t 3 r ） 上 ， 我 们 可 以 了 解 到 这 是 一 款 基 于 p y t h o n 开 发 使 用 O S I N T 技 术 的 子 域 名 枚 举 工 具 。 帮 助 渗 透 测 试 者 和 b u g 捕 获 者 收 集 目 标 域 名 的 子 域 名 。 什 么 是 什 么 是 O S I N T O S I N T 是 英 文 名 “ O p e n - s o u r c e   i n t e l l i g e n c e ” 的 缩 写 ， 中 文 名 称 叫 “ 公 开 来 源 情 报 ” 。 从 公 众 可 见 的 信 息 中 ， 查 找 所 需 目 标 的 信 息 。 说 的 通 俗 易 懂 一 点 ， 就 是 我 想 知 道 某 某 东 西 的 详 细 信 息 ， 我 在 公 开 的 信 息 里 查 找 、 检 索 ， 找 到 有 关 这 个 东 西 的 任 何 内 容 都 提 取 出 来 ， 最 后 将 这 些 内 容 汇 总 ， 得 到 较 为 详 细 的 信 息 。 再 说 的 通 俗 易 懂 一 点 就 是 ： 查 资 料 。 再 再 通 俗 一 点 就 是 ： 找 百 度 。 最 终 目 标 信 息 的 准 确 度 、 详 细 程 度 均 依 赖 于 查 找 源 。 所 以 S u b l i s t 3 r 的 原 理 就 是 这 样 ， 但 是 S u b l i s t 3 r 的 查 找 源 很 多 ， 不 仅 仅 是 在 个 别 搜 索 引 擎 上 查 找 。 搜 索 源 包 括 有 百 度 、 Y a h o o 、 G o o g l e 、 B i n g 、 A s k 、 N e t c r a f t 等 等 除 此 之 外 使 用 通 过 查 找 S S L 证 书 、 D N S 、 暴 力 枚 举 等 这 些 手 段 去 查 找 子 域 名 。 简 单 使 用 简 单 使 用 可 以 通 过 安 装 S u b l i s t 3 r 。 然 后 使 用 安 装 依 赖 库 。 最 后 通 过 一 个 简 单 的 命 令 查 找 子 域 名 ， 这 里 以 f r e e b u f 为 例 子 。 网 站 内 容 越 多 查 询 时 间 越 慢 ， 可 以 加 一 个 来 实 时 显 示 找 到 的 子 域 名 。 代 码 细 节 代 码 细 节 代 码 目 录 代 码 目 录 在 L i n u x 终 端 下 ， 使 用 能 打 印 当 前 目 录 等 结 构 树 ： 入 口 函 数 入 口 函 数 s u b l i s t 3 r 的 的 主 要 代 码 实 现 在 s u b l i s t 3 r . p y 文 件 中 。 可 以 使 用 你 喜 欢 的 代 码 编 辑 器 ， 打 开 这 个 文 件 。 为 了 便 于 阅 读 ， 我 们 把 所 有 的 代 码 块 （ d e f 、 c l a s s ） 合 上 。 你 大 概 会 看 到 如 下 的 场 景 ： g i t   c l o n e   [ h t t p s : / / g i t h u b . c o m / a b o u l 3 l a / S u b l i s t 3 r . g i t ] ( h t t p s : / / g i t h u b . c o m / a b o u l 3 l a / S u b l i s t 3 r . g i t ) s u d o   p i p   i n s t a l l   - r   r e q u i r e m e n t s . t x t p y t h o n 3   s u b l i s t 3 r . p y   - d   f r e e b u f . c o m - v t r e e
如 果 不 是 使 用 包 引 用 ， 而 是 直 接 在 控 制 台 打 开 ， 会 执 行 下 的 内 容 。 这 里 我 们 可 以 大 概 的 了 解 到 这 里 的 功 能 ， 主 要 是 用 于 处 理 用 户 在 控 制 台 输 入 的 参 数 ， 并 将 其 作 为 参 数 去 调 用 m a i n 函 数 。 我 们 可 以 简 单 的 了 解 一 下 这 些 参 数 ， 是 用 户 输 入 的 主 域 名 ， 比 如 f r e e b u f . c o m ； 是 用 于 指 定 查 找 结 束 后 子 域 名 数 据 的 保 存 目 ； 就 是 我 们 前 面 说 的 - v 参 数 ， 通 过 这 个 参 数 来 控 制 是 否 实 时 输 出 信 息 ； 是 查 找 引 擎 （ 搜 索 源 ） ， 如 果 为 空 则 表 示 查 找 全 部 的 引 擎 ， 如 果 用 户 指 定 了 某 个 引 擎 （ 比 如 b a i d u ） ， 则 只 使 用 指 定 的 引 擎 （ 比 如 b a i d u ） 进 行 查 找 。 m a i n 函 数 函 数 一 下 是 m a i n 这 个 函 数 的 代 码 ， 我 省 略 了 很 多 的 细 节 和 错 误 处 理 部 分 的 代 码 。 i f   n a m e   = =   " m a i n " : d o m a i n s a v e f i l e v e r b o s e e n g i n e s
首 先 ， 代 码 开 头 根 据 本 地 的 操 作 系 统 类 型 去 声 明 变 量 ， 这 个 用 于 保 存 找 到 的 子 域 名 。 接 着 你 可 以 看 到 ， 这 个 用 于 验 证 域 名 是 否 合 法 。 字 典 变 量 内 即 为 今 天 的 重 头 戏 — — 查 找 引 擎 。 冒 号 前 面 的 字 符 串 比 如 ‘ b a i d u ’ 表 示 引 擎 的 名 字 ， 冒 号 后 面 的 B a i d u E n u m 表 示 对 应 的 类 。 s u b d o m a i n s _ q u e u e d o m a i n _ c h e c k s u p p o r t e d _ e n g i n e s c l a s s   B a i d u E n u m ( e n u m r a t o r B a s e T h r e a d e d )
每 一 个 引 擎 就 是 一 个 写 好 的 类 ， 我 们 把 类 作 为 数 据 保 存 到 列 表 里 面 。 最 终 我 们 通 过 f o r 循 环 来 依 次 调 用 每 一 个 类 。 而 这 每 一 个 类 都 对 应 了 该 网 站 的 子 域 名 查 询 规 则 。 就 像 B a i d u E n u m 这 个 类 ， 它 里 面 就 写 好 了 如 何 在 百 度 上 查 找 关 键 词 ， 以 及 如 何 筛 选 数 据 等 等 内 容 。 类 类 B a i d u E n u m 因 为 文 章 篇 幅 有 限 ， 我 们 就 不 一 个 一 个 类 讲 过 去 ， 就 从 这 个 类 为 例 子 ， 其 他 的 类 处 理 方 法 也 差 不 多 。 这 个 类 继 承 与 类 ， 而 类 又 继 承 于 类 以 及 类 。 这 2 个 类 是 所 有 引 擎 的 基 类 。 它 们 把 引 擎 的 基 本 功 能 提 取 出 来 ， 比 如 网 络 请 求 、 h t t p 头 数 据 等 等 。 如 果 不 是 很 了 解 这 个 概 念 可 以 去 查 找 一 下 面 向 对 象 编 程 中 的 继 承 概 念 。 我 们 来 看 看 B a i d u E n u m 的 构 造 函 数 ： 重 点 在 于 ， u r l 中 的 以 及 就 是 需 要 最 终 替 换 的 目 标 ， q u e r y 表 示 查 询 参 数 ， p a g e _ n o 表 示 页 数 ， 也 许 很 多 人 会 以 为 这 个 页 数 是 我 们 通 俗 意 义 上 的 1 表 示 第 一 页 ， 2 表 示 第 二 页 。 但 如 果 你 去 仔 细 看 代 码 ， 你 会 发 现 在 默 认 情 况 下 这 个 p a g e _ n o 是 每 一 次 加 1 0 。 这 是 因 为 百 度 和 谷 歌 对 于 p a g e _ n o 的 处 理 并 不 是 以 页 数 为 基 础 ， 而 是 以 搜 索 条 数 为 基 础 。 每 一 页 显 示 1 0 条 搜 索 内 容 ， 那 么 下 一 页 就 是 源 基 础 上 加 上 1 0 。 这 样 说 可 能 会 有 点 抽 象 ， 说 的 简 单 点 ， p a g e _ n o 为 0 的 时 候 ， 搜 索 引 擎 默 认 显 示 的 是 1 - 1 0 条 记 录 ， 当 p a g e _ n o 为 1 0 的 时 候 ， 搜 索 引 擎 显 示 的 是 第 1 1 - 2 0 条 记 录 ， 以 此 类 推 。 这 2 个 参 数 会 在 后 续 代 码 中 构 造 出 来 并 替 换 。 比 如 在 后 续 的 代 码 中 它 则 会 根 据 查 找 出 来 的 子 域 名 实 时 替 换 。 要 理 解 这 个 ， 我 们 要 先 了 解 一 下 一 个 搜 索 的 小 技 巧 。 如 果 我 希 望 在 搜 索 引 擎 上 查 找 关 于 域 名 的 知 识 ， 那 我 可 以 搜 索 。 但 是 突 然 我 觉 得 这 样 搜 索 很 不 精 准 ， 我 想 把 所 有 的 内 容 排 除 掉 ， 那 我 就 可 以 搜 索 ： 。 e n u m s B a i d u E n u m B a i d u E n u m e n u m r a t o r B a s e T h r e a d e d e n u m r a t o r B a s e T h r e a d e d m u l t i p r o c e s s i n g . P r o c e s s e n u m r a t o r B a s e b a s e _ u r l { p a g e _ n o } { q u e r y } { q u e r y } 域 名 百 度 知 道 域 名   - 百 度 知 道
再 进 一 步 ， 我 想 把 百 度 贴 吧 的 数 据 也 排 除 掉 ， 那 么 我 的 搜 索 词 应 该 是 这 样 的 ： 。 最 后 我 发 现 ， 只 有 知 乎 上 的 信 息 比 较 符 合 我 的 要 求 ， 那 我 就 可 以 直 接 指 定 查 询 条 件 ： 来 查 询 。 这 个 技 巧 也 用 到 了 身 上 。 假 设 我 们 想 寻 找 的 子 域 名 ， 那 么 我 们 最 开 始 的 初 始 值 应 该 是 这 样 的 ： ， 接 着 我 们 发 现 有 一 个 子 域 名 , 那 么 我 们 的 查 询 条 件 就 变 成 了 : 。 再 接 着 ， 我 们 发 现 了 一 个 新 的 子 域 名 ， 那 我 们 的 查 询 条 件 就 变 成 了 以 此 类 推 ， 不 断 的 限 制 查 询 条 件 直 到 找 不 到 为 止 。 好 了 ， 我 们 已 经 知 道 如 何 构 建 u r l 链 接 去 搜 索 ， 那 么 它 s u b l i s t 3 r 又 是 如 何 通 过 搜 索 结 果 获 取 域 名 的 呢 ？ 在 类 的 方 法 里 就 实 现 了 u r l 地 址 的 解 析 ， 如 下 所 示 。 其 余 的 代 码 都 是 为 上 下 文 服 务 的 ， 我 们 就 来 看 看 几 个 关 键 代 码 就 好 ， 比 如 这 是 一 个 正 则 表 达 式 。 找 到 所 有 c l a s s 名 称 为 ‘ c - s h o w u r l ’ 的 a 标 签 。 我 们 可 以 在 百 度 上 随 便 搜 索 一 点 东 西 ， 然 后 右 键 源 代 码 ， 看 到 搜 索 记 录 的 h t m l 代 码 。 我 这 里 的 一 个 例 子 是 这 样 的 ： 没 错 ， 这 个 a 标 签 的 c l a s s 是 c - s h o w u r l ， 且 我 们 可 以 看 到 在 a 标 签 包 含 下 ， 有 一 个 若 隐 若 现 的 网 址 ， 虽 然 被 隐 藏 了 后 面 一 半 ， 我 们 还 是 可 以 看 出 它 的 子 域 名 。 第 二 个 正 则 表 达 式 的 目 的 是 把 找 到 的 文 本 的 细 枝 末 节 砍 掉 ， 留 下 我 们 需 要 的 那 一 段 域 名 。 就 这 样 我 们 我 们 通 过 正 则 表 达 式 找 到 了 搜 索 记 录 里 的 子 域 名 ， 最 后 经 过 去 重 ， 拿 到 最 终 的 子 域 名 列 表 。 代 码 的 其 他 细 节 我 就 没 有 很 详 细 的 描 述 ， 我 希 望 这 里 只 是 一 个 阅 读 引 导 ， 更 多 代 码 的 细 节 由 于 篇 幅 有 限 就 不 在 一 行 一 行 详 细 描 述 。 因 为 大 部 分 的 代 码 写 出 来 是 为 了 执 行 上 下 文 而 写 的 ， 并 不 是 为 了 原 理 而 写 。 我 们 只 要 知 道 代 码 的 执 行 原 理 ， 以 及 代 码 的 目 的 即 可 。 暴 力 枚 举 子 域 名 暴 力 枚 举 子 域 名 暴 力 枚 举 也 是 很 普 遍 的 一 种 方 法 。 所 谓 的 暴 力 枚 举 真 的 很 暴 力 ， 它 是 通 过 一 个 一 个 子 域 名 试 过 去 ， 看 看 目 标 子 域 名 是 否 存 在 。 暴 力 枚 举 域 名 的 代 码 没 有 写 在 代 码 中 ， 而 是 独 立 包 装 了 一 个 库 ， 称 之 为 s u b b r u t e ， 代 码 在 文 件 中 。 它 会 根 据 你 目 前 的 参 数 去 配 置 是 否 激 活 暴 力 枚 举 。 这 一 段 代 码 写 在 m a i n 函 数 中 ， 前 面 的 m a i n 函 数 为 了 简 洁 ， 我 把 暴 力 枚 举 那 一 部 分 的 代 码 去 掉 了 。 如 果 要 看 完 整 版 的 可 以 去 看 官 方 的 代 码 。 下 面 域 名   - 百 度 知 道   - 贴 吧 域 名   s i t e : z h i h u . c o m { q u e r y } f r e e b u f . c o m s i t e : f r e e b u f . c o m [ w w w . f r e e b u f . c o m ] ( h t t p : / / w w w . f r e e b u f . c o m ) s i t e : f r e e b u f . c o m   - s i t e : [ w w w . f r e e b u f . c o m ] ( h t t p : / / w w w . f r e e b u f . c o m ) j o b . f r e e b u f . c o m s i t e : f r e e b u f . c o m   - s i t e : [ w w w . f r e e b u f . c o m ] ( h t t p : / / w w w . f r e e b u f . c o m )   - s i t e : j o b . f r e e b u f . c o m B a i d u E n u m e x t r a c t _ d o m a i n s r e . c o m p i l e ( ' ` ` ? c l a s s = " c - s h o w u r l " . ? > ( . ? ) ' ) r e . s u b ( ' < . * ? > | > | < |   ' ,   ' ' ,   l i n k ) s u b l i s t 3 r . p y / s u b b r u t e / s u b b r u t e . p y
是 通 过 s u b l i s t 3 r . p y 中 m a i n 函 数 调 用 s u b b r u t e 的 代 码 片 段 。 你 可 以 看 到 ， 先 通 过 e n a b l e _ b r u t e f o r c e 变 量 判 断 是 否 要 激 活 （ 默 认 是 激 活 状 态 ） 暴 力 枚 举 。 然 后 读 入 ‘ n a m e s . t x t ’ 和 ‘ r e s o l v e r s . t x t ’ 文 件 ， 最 终 ， 传 给 包 s u b b r u t e ， 得 到 枚 举 后 的 子 域 名 列 表 。 并 存 储 到 b r u t e f o r c e _ l i s t 内 。 s u b b r u t e 的 代 码 大 家 可 以 自 己 去 浏 览 一 下 。 但 是 这 里 可 以 简 单 的 讲 解 一 下 它 的 原 理 。 其 实 相 对 来 说 也 是 比 较 简 单 的 。 暴 力 枚 举 虽 然 暴 力 ， 但 是 并 不 傻 。 不 会 真 的 从 a 开 始 一 直 试 到 z z z z z … … 它 是 采 用 了 把 可 能 会 使 用 到 子 域 名 都 写 出 来 ， 然 后 再 一 个 一 个 试 过 去 。 前 面 代 码 中 引 入 的 ‘ n a m e s . t x t ’ 就 是 可 能 用 到 的 子 域 名 。 不 行 大 家 可 以 打 开 看 看 ， 里 面 包 含 了 大 部 分 我 们 日 常 生 活 中 会 用 到 的 子 域 名 组 合 ， 比 如 ’ e m a i l , w w w ’ 等 等 。 至 于 ‘ r e s o l v e r s . t x t ’ 文 件 其 实 就 是 开 放 的 D N S 查 询 地 址 ， 类 似 于 8 . 8 . 8 . 8 这 种 D N S 服 务 的 集 合 。 使 用 使 用 s s l 证 书 枚 举 子 域 名 证 书 枚 举 子 域 名 现 在 带 有 的 s s l 证 书 的 越 来 越 多 , 如 果 目 标 站 点 是 全 站 h t t p s ， 一 般 就 只 有 一 个 证 书 ， 然 后 ， 各 个 子 域 名 都 包 含 在 证 书 里 面 。 我 们 可 以 通 过 对 s s l 证 书 的 解 析 去 获 取 子 域 名 数 据 。 比 如 下 面 的 这 个 例 子 ： 你 可 以 看 到 ， 这 个 证 书 颁 发 给 了 旗 下 的 这 么 多 域 名 。 但 是 在 s u b l i s t 3 r 中 没 有 采 用 自 己 下 载 s s l 证 书 解 析 的 形 式 ， 而 是 直 接 通 过 一 个 在 线 服 务 h t t p s : / / c r t . s h /   来 查 询 ， 相 对 来 说 会 比 较 方 便 ， 但 是 隐 藏 了 s s l 子 域 名 枚 举 的 技 术 细 节 ， 对 于 想 通 过 代 码 了 解 实 际 原 理 的 小 伙 伴 来 说 不 太 友 好 。 另 外 还 有 一 个 通 过 D N S 枚 举 子 域 名 也 是 通 过 在 线 的 服 务 h t t p s : / / d n s d u m p s t e r . c o m 来 达 到 目 的 。 至 于 d n s d u m p s t e r 的 底 层 细 节 我 猜 测 可 能 是 通 过 一 些 我 们 熟 知 的 域 传 送 漏 洞 ， d n s 反 查 ， 暴 力 枚 举 等 方 法 去 实 现 。
总 结 总 结 s u b l i s t 3 r 代 码 量 不 多 ， 很 适 合 初 学 者 学 习 。 从 写 文 章 的 角 度 来 说 ， 实 在 是 难 以 一 行 一 行 代 码 展 开 讲 。 这 也 是 我 第 一 次 写 代 码 阅 读 的 文 章 ， 没 有 什 么 经 验 ， 如 果 大 家 有 什 么 建 议 欢 迎 大 家 理 性 的 提 出 来 。 * 本 文 作 者 ： m s c b ， 本 文 属   F r e e B u f   原 创 奖 励 计 划 ， 未 经 许 可 禁 止 转 载 。 阅 读 原 文
回复

举报

高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

使用Markdown编辑器编辑 使用富文本编辑器编辑

Archiver| 手机版| 小黑屋|
Powered by Discuz! X3.4 Copyright © 2001-2020, Tencent Cloud. 商业源码建议获取授权，如侵犯您的权益，请联系客服处理