搜索

[20298] 2020-03-20_野草计划：一千种懒人刷洞第一篇

文档创建者：s7ckTeam
浏览次数：5
最后更新：2025-01-18
2020-03-20_野草计划：一千种懒人刷洞第一篇 野 草 计 划 ： 一 千 种 懒 人 刷 洞   第 一 篇 狗 一 样 的 男 人   K h a n 安 全 攻 防 实 验 室   2 0 2 0 - 0 3 - 2 0 0 x 0 0 1   悬 剑 武 器 库 悬 剑 武 器 库 - 野 草 计 划 野 草 计 划 悬 剑 武 器 库 - 野 草 计 划 ： 工 欲 善 其 事 必 先 利 其 器 工 欲 善 其 事 必 先 利 其 器 ， 意 在 帮 助 网 络 安 全 测 试 人 员 在 使 用 工 具 渗 透 时 ， 利 用 最 骚 的 套 路 ， 最 优 解 的 方 式 ， 花 最 少 的 时 间 ， 合 法 合 规 的 检 测 出 授 权 测 试 的 网 站 漏 洞 ， 从 而 使 授 权 安 全 测 试 的 企 业 能 够 快 速 排 除 漏 洞 安 全 隐 患 ， 迅 速 提 升 安 全 能 力 。 0 x 0 0 2   c r a w l e r g o 3 6 0   0 K e e - T e e m 在 1 9 年 末 时 ， 发 布 了 他 们 自 己 产 品 中 使 用 的 动 态 爬 虫 模 块 ，   c r a w l e r g o 是 一 个 使 用 c h r o m e   h e a d l e s s 模 式 进 行 U R L 入 口 收 集 的 动 态 爬 虫 动 态 爬 虫 。   使 用 G o l a n g 语 言 开 发 ， 基 于 c h r o m e d p   进 行 一 些 定 制 化 开 发 后 操 纵 C D P 协 议 ， 对 整 个 页 面 关 键 点 进 行 H O O K ， 灵 活 表 单 填 充 提 交 ， 完 整 的 事 件 触 发 ， 尽 可 能 的 收 集 网 站 暴 露 出 的 入 口 。 同 时 ， 依 靠 智 能 U R L 去 重 模 块 ， 在 过 滤 掉 了 大 多 数 伪 静 态 U R L 之 后 ， 仍 然 确 保 不 遗 漏 关 键 入 口 链 接 ， 大 幅 减 少 重 复 任 务 。 c r a w l e r g o   目 前 支 持 以 下 特 性 ： 原 生 浏 览 器 环 境 ， 协 程 池 调 度 任 务 表 单 智 能 填 充 、 自 动 化 提 交 完 整 D O M 事 件 收 集 ， 自 动 化 触 发 智 能 U R L 去 重 ， 去 掉 大 部 分 的 重 复 请 求 全 面 分 析 收 集 ， 包 括 j a v a s c r i p t 文 件 内 容 、 页 面 注 释 、 r o b o t s . t x t 文 件 和 常 见 路 径 F u z z 支 持 H o s t 绑 定 ， 自 动 添 加 R e f e r e r 目 前 开 放 编 译 好 的 程 序 给 大 家 使 用 ， 该 项 目 属 于 商 业 化 产 品 的 一 部 分 ， 代 码 暂 无 法 开 源 。 安 装 安 装   安 装 使 用 之 前 ， 请 仔 细 阅 读 并 确 认 免 责 声 明 免 责 声 明 。 免 责 声 明 免 责 声 明   本 工 具 仅 面 向 合 法 授 权 的 企 业 安 全 建 设 行 为 ， 请 勿 对 非 授 权 目 标 进 行 爬 取 行 为 。 禁 止 对 本 软 件 实 施 逆 向 工 程 、 反 编 译 、 试 图 破 译 源 代 码 等 行 为 。 如 果 发 现 上 本 工 具 仅 面 向 合 法 授 权 的 企 业 安 全 建 设 行 为 ， 请 勿 对 非 授 权 目 标 进 行 爬 取 行 为 。 禁 止 对 本 软 件 实 施 逆 向 工 程 、 反 编 译 、 试 图 破 译 源 代 码 等 行 为 。 如 果 发 现 上 述 禁 止 行 为 ， 我 们 将 保 留 追 究 您 法 律 责 任 的 权 利 。 如 您 在 使 用 本 工 具 的 过 程 中 存 在 任 何 非 法 行 为 ， 您 需 自 行 承 担 相 应 后 果 ， 我 们 将 不 承 担 任 何 法 律 及 连 带 责 述 禁 止 行 为 ， 我 们 将 保 留 追 究 您 法 律 责 任 的 权 利 。 如 您 在 使 用 本 工 具 的 过 程 中 存 在 任 何 非 法 行 为 ， 您 需 自 行 承 担 相 应 后 果 ， 我 们 将 不 承 担 任 何 法 律 及 连 带 责 任 。 在 安 装 并 使 用 本 工 具 前 ， 请 您 务 必 审 慎 阅 读 、 充 分 理 解 各 条 款 内 容 ， 限 制 、 免 责 条 款 或 者 其 他 涉 及 您 重 大 权 益 的 条 款 可 能 会 以 加 粗 、 加 下 划 线 等 形 式 提 任 。 在 安 装 并 使 用 本 工 具 前 ， 请 您 务 必 审 慎 阅 读 、 充 分 理 解 各 条 款 内 容 ， 限 制 、 免 责 条 款 或 者 其 他 涉 及 您 重 大 权 益 的 条 款 可 能 会 以 加 粗 、 加 下 划 线 等 形 式 提 示 您 重 点 注 意 。 除 非 您 已 充 分 阅 读 、 完 全 理 解 并 接 受 本 协 议 所 有 条 款 ， 否 则 ， 请 您 不 要 安 装 并 使 用 本 工 具 。 您 的 使 用 行 为 或 者 您 以 其 他 任 何 明 示 或 者 默 示 方 示 您 重 点 注 意 。 除 非 您 已 充 分 阅 读 、 完 全 理 解 并 接 受 本 协 议 所 有 条 款 ， 否 则 ， 请 您 不 要 安 装 并 使 用 本 工 具 。 您 的 使 用 行 为 或 者 您 以 其 他 任 何 明 示 或 者 默 示 方 式 表 示 接 受 本 协 议 的 ， 即 视 为 您 已 阅 读 并 同 意 本 协 议 的 约 束 。 式 表 示 接 受 本 协 议 的 ， 即 视 为 您 已 阅 读 并 同 意 本 协 议 的 约 束 。 c r a w l e r g o   只 依 赖 c h r o m e 运 行 即 可 ， 前 往 下 载 新 版 本 的 c h r o m i u m   前 往 页 面 下 载 最 新 版 本 的 c r a w l e r g o 解 压 到 任 意 目 录 ， 如 果 是 l i n u x 或 者 m a c O S 系 统 ， 请 赋 予 c r a w l e r g o 可 执 行 权 限 ( + x ) 。   G o ！ ！   假 设 你 的 c h r o m i u m 安 装 在   / t m p / c h r o m i u m /   ， 开 启 最 大 2 0 标 签 页 ， 爬 取 A W V S 靶 场 ： . / c r a w l e r g o   - c   / t m p / c h r o m i u m / c h r o m e   - t   2 0 h t t p : / / t e s t p h p . v u l n w e b . c o m / 运 行 截 图 运 行 截 图
  返 回 结 果 返 回 结 果   当 设 置 输 出 模 式 为   j s o n 时 ， 返 回 的 结 果 反 序 列 化 之 后 包 含 四 个 部 分 ： a l l _ r e q _ l i s t ： 本 次 爬 取 任 务 过 程 中 发 现 的 所 有 请 求 ， 包 含 其 他 域 名 的 任 何 资 源 类 型 。 r e q _ l i s t ： 本 次 爬 取 任 务 的 同 域 名 结 果 ， 经 过 伪 静 态 去 重 ， 不 包 含 静 态 资 源 链 接 。 理 论 上 是   a l l _ r e q _ l i s t   的 子 集 a l l _ d o m a i n _ l i s t ： 发 现 的 所 有 域 名 列 表 。 s u b _ d o m a i n _ l i s t ： 发 现 的 任 务 目 标 的 子 域 名 列 表 。 参 数 说 明 参 数 说 明   c r a w l e r g o   拥 有 灵 活 的 参 数 配 置 ， 以 下 是 详 细 的 选 项 说 明 ： - - c h r o m i u m - p a t h   P a t h ,   - c   P a t h   c h r o m e 的 可 执 行 程 序 路 径 - - c u s t o m - h e a d e r s   H e a d e r s   自 定 义 H T T P 头 ， 使 用 传 入 j s o n 序 列 化 之 后 的 数 据 ， 这 个 是 全 局 定 义 ， 将 被 用 于 所 有 请 求 - - p o s t - d a t a   P o s t D a t a ,   - d   P o s t D a t a   提 供 P O S T 数 据 ， 目 标 使 用 P O S T 请 求 方 法 - - m a x - c r a w l e d - c o u n t   N u m b e r ,   - m   N u m b e r   爬 虫 最 大 任 务 数 量 ， 避 免 因 伪 静 态 造 成 长 时 间 无 意 义 抓 取 。 - - f i l t e r - m o d e   M o d e ,   - f   M o d e   过 滤 模 式 ， 简 单 ： 只 过 滤 静 态 资 源 和 完 全 重 复 的 请 求 。 智 能 ： 拥 有 过 滤 伪 静 态 的 能 力 。 严 格 ： 更 加 严 格 的 伪 静 态 过 滤 规 则 。 - - o u t p u t - m o d e   v a l u e ,   - o   v a l u e   结 果 输 出 模 式 ， c o n s o l e ： 打 印 当 前 域 名 结 果 。 j s o n ： 打 印 所 有 结 果 的 j s o n 序 列 化 字 符 串 ， 可 直 接 被 反 序 列 化 解 析 。 n o n e ： 不 打 印 输 出 。 - - i n c o g n i t o - c o n t e x t ,   - i   浏 览 器 启 动 隐 身 模 式 - - m a x - t a b - c o u n t   N u m b e r ,   - t   N u m b e r   爬 虫 同 时 开 启 最 大 标 签 页 ， 即 同 时 爬 取 的 页 面 数 量 。 - - f u z z - p a t h   使 用 常 见 路 径 F u z z 目 标 ， 获 取 更 多 入 口 。 - - r o b o t s - p a t h   从 r o b o t s . t x t   文 件 中 解 析 路 径 ， 获 取 更 多 入 口 。 - - t a b - r u n - t i m e o u t   T i m e o u t   单 个 T a b 标 签 页 的 最 大 运 行 超 时 。 - - w a i t - d o m - c o n t e n t - l o a d e d - t i m e o u t   T i m e o u t   爬 虫 等 待 页 面 加 载 完 毕 的 最 大 超 时 。 - - e v e n t - t r i g g e r - i n t e r v a l   I n t e r v a l   事 件 自 动 触 发 时 的 间 隔 时 间 ， 一 般 用 于 目 标 网 络 缓 慢 ， D O M 更 新 冲 突 时 导 致 的 U R L 漏 抓 。 - - e v e n t - t r i g g e r - m o d e   V a l u e   事 件 自 动 触 发 的 模 式 ， 分 为 异 步 和 同 步 ， 用 于 D O M 更 新 冲 突 时 导 致 的 U R L 漏 抓 。 - - b e f o r e - e x i t - d e l a y   单 个 t a b 标 签 页 任 务 结 束 时 ， 延 迟 退 出 关 闭 c h r o m e 的 时 间 ， 用 于 等 待 部 分 D O M 更 新 和 X H R 请 求 的 发 起 捕 获 。 - - i g n o r e - u r l - k e y w o r d s   不 想 访 问 的 U R L 关 键 字 ， 一 般 用 于 在 携 带 C o o k i e 访 问 时 排 除 注 销 链 接 。 - - p u s h - t o - p r o x y   拟 接 收 爬 虫 结 果 的 监 听 地 址 ， 一 般 为 被 动 扫 描 器 的 监 听 地 址 。 - - p u s h - p o o l - m a x   发 送 爬 虫 结 果 到 监 听 地 址 时 的 最 大 并 发 数 。 - - l o g - l e v e l   打 印 日 志 等 级 ， 可 选   d e b u g ,   i n f o ,   w a r n ,   e r r o r   和   f a t a l 。 0 x 0 0 2   x r a y x r a y   是 一 款 功 能 强 大 的 安 全 评 估 工 具 ， 由 多 名 经 验 丰 富 的 一 线 安 全 从 业 者 呕 心 打 造 而 成 ， 主 要 特 性 有 : 检 测 速 度 快 。 发 包 速 度 快 ;   漏 洞 检 测 算 法 高 效 。 支 持 范 围 广 。 大 至   O W A S P   T o p   1 0   通 用 漏 洞 检 测 ， 小 至 各 种   C M S   框 架   P O C ， 均 可 以 支 持 。 代 码 质 量 高 。 编 写 代 码 的 人 员 素 质 高 ,   通 过   C o d e   R e v i e w 、 单 元 测 试 、 集 成 -   测 试 等 多 层 验 证 来 提 高 代 码 可 靠 性 。 高 级 可 定 制 。 通 过 配 置 文 件 暴 露 了 引 擎 的 各 种 参 数 ， 通 过 修 改 配 置 文 件 可 以 -   极 大 的 客 制 化 功 能 。 安 全 无 威 胁 。 x r a y   定 位 为 一 款 安 全 辅 助 评 估 工 具 ， 而 不 是 攻 击 工 具 ， 内 置 的 所 有   p a y l o a d   和   p o c   均 为 无 害 化 检 查 。
目 前 支 持 的 漏 洞 检 测 类 型 包 括 : X S S 漏 洞 检 测   ( k e y :   x s s ) S Q L   注 入 检 测   ( k e y :   s q l d e t ) 命 令 / 代 码 注 入 检 测   ( k e y :   c m d _ i n j e c t i o n ) 目 录 枚 举   ( k e y :   d i r s c a n ) 路 径 穿 越 检 测   ( k e y :   p a t h _ t r a v e r s a l ) X M L   实 体 注 入 检 测   ( k e y :   x x e ) 文 件 上 传 检 测   ( k e y :   u p l o a d ) 弱 口 令 检 测   ( k e y :   b r u t e _ f o r c e ) j s o n p   检 测   ( k e y :   j s o n p ) s s r f   检 测   ( k e y :   s s r f ) 基 线 检 查   ( k e y :   b a s e l i n e ) 任 意 跳 转 检 测   ( k e y :   r e d i r e c t ) C R L F   注 入   ( k e y :   c r l f _ i n j e c t i o n ) S t r u t s 2   系 列 漏 洞 检 测   ( 高 级 版 ， k e y :   s t r u t s ) T h i n k p h p 系 列 漏 洞 检 测   ( 高 级 版 ， k e y :   t h i n k p h p ) P O C   框 架   ( k e y :   p h a n t a s m )   其 中   P O C   框 架 默 认 内 置   G i t h u b   上 贡 献 的   p o c ， 用 户 也 可 以 根 据 需 要 自 行 构 建   p o c   并 运 行 。   下 载 运 行 下 载 运 行   x r a y   为 单 文 件 二 进 制 文 件 ， 无 依 赖 ， 也 无 需 安 装 ， 下 载 后 直 接 使 用 。   下 载 地 址 下 载 地 址   请 下 载 的 时 候 选 择 最 新 的 版 本 下 载 。 G i t h u b :   h t t p s : / / g i t h u b . c o m / c h a i t i n / x r a y / r e l e a s e s   （ 国 外 速 度 快 ）   网 盘 :   h t t p s : / / y u n p a n . 3 6 0 . c n / s u r l _ y 3 G u 6 c u g i 8 u   （ 国 内 速 度 快 ） 0 x 0 0 3   c r a w l e r g o _ x _ X R A Y 利 用 3 6 0   0 K e e - T e a m   的   c r a w l e r g o 动 态 爬 虫 结 合 长 亭 的 X R A Y 扫 描 器 的 被 动 扫 描 功 能   ( 其 它 被 动 扫 描 器 同 理 ) ， 介 绍 介 绍   原 作 者 t i m w h i t e 一 直 想 找 一 个 小 巧 强 大 的 爬 虫 配 合 x r a y 的 被 动 扫 描 使 用 , 曾 经 有 过 自 己 写 爬 虫 的 想 法 , 奈 何 写 一 半 感 觉 还 没 有 a w v s 的 爬 虫 好 用 3 6 0   0 K e e - T e e m 最 近 公 开 了 他 们 自 己 产 品 中 使 用 的 动 态 爬 虫 模 块 , 经 过 一 番 摸 索 , 就 写 了 这 个 脚 本 由 于 该 爬 虫 并 未 开 放 代 理 功 能 并 且 有 一 些 从 页 面 抓 取 的 链 接 不 会 访 问 , 所 以 采 用 的 官 方 推 荐 的 方 法 , 爬 取 完 成 后 解 析 输 出 的 j s o n 再 使 用 p y t h o n 的 r e q u e s t 库 去 逐 个 访 问 大 概 逻 辑 为 :
爬 取 和 请 求 的 过 程 使 用 了 多 线 程 和 队 列 使 得 请 求 不 会 阻 塞 下 一 个 页 面 的 爬 取 用 法 1 .   下 载 x r a y 最 新 的 r e l e a s e ,   下 载 c r a w l e r g o 最 新 的 r e l e a s e   注 意 , 是 下 载 编 译 好 的 文 件 而 不 是 g i t   c l o n e 它 的 库 2 .   把 l a u n c h e r . p y 和 t a r g e t s . t x t 放 在 c r a w l e r g o . e x e 同 目 录 下 3 .   配 置 好 并 启 动 x r a y 被 动 扫 描 ( 脚 本 默 认 配 置 为 1 2 7 . 0 . 0 . 1 : 7 7 7 7 ) 若 修 改 端 口 请 同 时 修 改 l a u n c h e r . p y 文 件 中 的 p r o x i e s 配 置 参 数 详 见 X R A Y 官 方 文 档 4 .   配 置 好 l a u n c h e r . p y 的 c m d 变 量 中 的 c r a w l e r g o 爬 虫 配 置 ( 主 要 是 c h r o m e 路 径 改 为 本 地 路 径 ) ,   默 认 为 :   配 置 参 数 详 见 c r a w l e r g o 官 方 文 档 5 .   把 目 标 u r l 写 进 t a r g e t s . t x t , 一 行 一 个 u r l   i m a g e 5 .   用 p y t h o n 3 运 行 l a u n c h e r . p y   (   X R A Y 被 动 扫 描 为 启 动 的 状 态   ) 6 .   生 成 的 s u b _ d o m a i n s . t x t 为 爬 虫 爬 到 的 子 域 名 ,   c r a w l _ r e s u l t . t x t 为 爬 虫 爬 到 的 u r l 0 x 0 0 4   下 载 地 址 下 载 地 址 h t t p s : / / g i t h u b . c o m / 0 K e e - T e a m / c r a w l e r g o . / c r a w l e r g o   - c   C : P r o g r a m   F i l e s   ( x 8 6 ) G o o g l e C h r o m e A p p l i c a t i o n c h r o m e . e x e   - t   2 0   - f   s m a r t   - - f u z z - p a t h   - - o u t p u t - m o d e   j s o n   t a r g e t
h t t p s : / / g i t h u b . c o m / c h a i t i n / x r a y h t t p s : / / g i t h u b . c o m / t i m w h i t e z / c r a w l e r g o _ x _ X R A Y 你 点 的 每 一 次 在 看 ， 我 都 当 作 是 喜 欢
回复

举报

高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

使用Markdown编辑器编辑 使用富文本编辑器编辑

Archiver| 手机版| 小黑屋|
Powered by Discuz! X3.4 Copyright © 2001-2020, Tencent Cloud. 商业源码建议获取授权，如侵犯您的权益，请联系客服处理