搜索

[16039] 2020-11-02_SourceWolf：一款针对源码安全的快速响应式爬虫

文档创建者：s7ckTeam
浏览次数：56
最后更新：2025-01-18
2020-11-02_SourceWolf：一款针对源码安全的快速响应式爬虫 S o u r c e W o l f ： 一 款 针 对 源 码 安 全 的 快 速 响 应 式 爬 虫 A l p h a _ h 4 c k   F r e e B u f   2 0 2 0 - 1 1 - 0 2 功 能 介 绍 功 能 介 绍 S o u r c e W o l f 是 一 款 功 能 强 大 的 针 对 源 代 码 安 全 的 快 速 响 应 式 爬 虫 工 具 ， 该 工 具 基 于 P y t h o n 语 言 开 发 ， 因 此 具 备 良 好 的 跨 平 台 性 。 该 工 具 的 当 前 版 本 拥 有 以 下 功 能 ： 通 过 发 送 请 求 或 从 本 地 响 应 文 件 （ 如 果 有 ） 爬 取 隐 藏 节 点 ； 可 根 据 源 代 码 中 爬 取 的 数 据 创 建 J a v a S c r i p t 变 量 列 表 ； 从 网 站 中 提 取 所 有 社 交 媒 体 链 接 ， 以 识 别 潜 在 的 坏 链 ； 使 用 字 典 文 件 爆 破 主 机 ； 获 取 U R L 列 表 的 状 态 代 码 / 从 主 机 列 表 中 筛 选 出 活 动 域 ； 值 得 一 提 的 是 ， 上 述 提 到 的 这 些 功 能 都 能 够 以 非 常 快 的 速 度 执 行 。 首 先 ， S o u r c e W o l f 使 用 了 r e q u e s t s 库 中 的 S e s s i o n 模 块 ， 这 也 就 意 味 着 ， 它 能 够 复 用 T C P 连 接 ， 以 实 现 速 度 提 升 。 其 次 ， S o u r c e W o l f 提 供 的 选 项 可 以 帮 助 我 们 爬 取 本 地 响 应 文 件 ， 这 样 就 无 需 向 终 端 节 点 发 送 请 求 了 。 第 三 ， 终 端 节 点 的 信 息 非 常 完 整 ， 比 如 说 工 具 提 供 的 是 h t t p s : / / e x a m p l e . c o m / a p i / a d m i n ， 而 非 / a p i / a d m i n ， 这 一 点 对 于 扫 描 主 机 列 表 来 说 非 常 实 用 。 工 具 安 装 工 具 安 装
首 先 ， 广 大 研 究 人 员 可 以 通 过 下 列 命 令 将 项 目 源 码 克 隆 至 本 地 ： 或 者 直 接 点 击 h t t p s : / / g i t h u b . c o m / m i c h a 3 l b 3 n / S o u r c e W o l f / r e l e a s e s 获 取 该 工 具 的 最 新 发 布 版 本 。 接 下 来 ， 切 换 到 本 地 项 目 目 录 ： 最 后 ， 使 用 下 列 命 令 安 装 工 具 的 依 赖 组 件 ： 工 具 使 用 工 具 使 用 g i t   c l o n e   h t t p s : / / g i t h u b . c o m / m i c h a 3 l b 3 n / S o u r c e W o l f . g i t c d   S o u r c e W o l f / p i p 3   i n s t a l l   - r   r e q u i r e m e n t s . t x t >   p y t h o n 3   s o u r c e w o l f . p y   - h - l   L I S T ,   - - l i s t   L I S T     L i s t   o f   j a v a s c r i p t   U R L s - u   U R L ,   - - u r l   U R L           S i n g l e   U R L - t   T H R E A D S ,   - - t h r e a d s   T H R E A D S                                             N u m b e r   o f   c o n c u r r e n t   t h r e a d s   t o   u s e   ( d e f a u l t   5 ) - o   O U T P U T _ D I R ,   - - o u t p u t   d i r e c t o r y - n a m e   O U T P U T _ D I R                                             S t o r e   U R L   r e s p o n s e   t e x t   i n   a   d i r e c t o r y   f o r   f u r t h e r   a n a l y s i s - s   S T A T U S _ C O D E _ F I L E ,   - - s t o r e - s t a t u s - c o d e   S T A T U S _ C O D E _ F I L E                                             S t o r e   t h e   s t a t u s   c o d e   i n   a   f i l e - b   B R U T E ,   - - b r u t e   B R U T E                                             B r u t e   f o r c e   U R L   w i t h   F U Z Z   k e y w o r d   ( - - w o r d l i s t   m u s t   a l s o   b e   u s e d   a l o n g   w i t h   t h i s ) - w   W O R D L I S T ,   - - w o r d l i s t   W O R D L I S T                                             W o r d l i s t   f o r   b r u t e   f o r c i n g   U R L - v ,   - - v e r b o s e                   V e r b o s e   m o d e   ( d i s p l a y s   a l l   t h e   r e q u e s t s   t h a t   a r e   b e i n g   s e n t ) - c   C R A W L _ O U T P U T ,   - - c r a w l - o u t p u t   C R A W L _ O U T P U T                                             O u t p u t   d i r e c t o r y   t o   s t o r e   t h e   c r a w l e d   o u t p u t - d   D E L A Y ,   - - d e l a y   D E L A Y                                             D e l a y   i n   t h e   r e q u e s t s   ( i n   s e c o n d s ) - - t i m e o u t   T I M E O U T           M a x i m u m   t i m e   t o   w a i t   f o r   c o n n e c t i o n   t i m i n g   o u t   ( i n   s e c o n d s ) - - h e a d e r s   H E A D E R S           A d d   c u s t o m   h e a d e r s   ( M u s t   b e   p a s s e d   i n   a s   { ' T o k e n ' :   ' Y O U R - T O K E N - H E R E ' } )   - - >   D i c t i o n a r y   f o r m a t
S o u r c e W o l f 提 供 了 三 种 运 行 模 式 ， 分 别 对 应 的 是 该 工 具 的 三 大 核 心 功 能 。 爬 取 响 应 模 式 爬 取 响 应 模 式 完 整 使 用 ： 完 整 使 用 ： d o m a i n s 是 待 爬 取 的 目 标 U R L 列 表 ， 其 格 式 如 下 ： o u t p u t / 是 存 储 输 入 文 件 对 应 响 应 文 件 的 目 录 ， 存 储 格 式 o u t p u t / 2 X X 、 o u t p u t / 3 X X 、 o u t p u t / 4 X X 和 o u t p u t / 5 X X ， 其 中 o u t p u t / 2 X X 对 应 的 是 2 X X 响 应 状 态 码 ， 其 他 以 此 类 推 。 - c 参 数 指 定 的 c r a w l _ o u t p u t 可 以 用 来 存 储 爬 取 输 出 结 果 ， S o u r c e W o l f 生 成 的 H T T P 响 应 文 件 爬 取 结 果 将 存 储 在 该 路 径 下 。 c r a w l _ o u t p u t / 目 录 中 包 含 下 列 内 容 ： 扫 描 单 一 扫 描 单 一 U R L ： ： - - c o o k i e s   C O O K I E S           A d d   c o o k i e s   ( M u s t   b e   p a s s e d   i n   a s   { ' C o o k i e ' :   ' Y O U R - C O O K I E - H E R E ' } )   - - >   D i c t i o n a r y   f o r m a t - - o n l y - s u c c e s s                 O n l y   p r i n t   2 X X   r e s p o n s e s - - l o c a l   L O C A L                   D i r e c t o r y   w i t h   l o c a l   r e s p o n s e   f i l e s   t o   c r a w l   f o r - - n o - c o l o r s                       R e m o v e   c o l o r s   f r o m   t h e   o u t p u t - - u p d a t e - i n f o                   C h e c k   f o r   t h e   l a t e s t   v e r s i o n ,   a n d   u p d a t e   i f   r e q u i r e d p y t h o n 3   s o u r c e w o l f . p y   - l   d o m a i n s   - o   o u t p u t /   - c   c r a w l _ o u t p u t h t t p s : / / e x a m p l e . c o m / h t t p s : / / e x i s i t i n g . e x a m p l e . c o m / h t t p s : / / e x i s i t i n g . e x a m p l e . c o m / d a s h b o a r d h t t p s : / / e x a m p l e . c o m / h i t m e 终 端 节 点 ： 所 有 爬 取 到 的 终 端 节 点 ； J a v a S c r i p t 变 量 ： 所 有 爬 取 到 的 J a v a S c r i p t 变 量 ；
这 里 ， 只 需 要 用 - u 参 数 替 换 刚 才 的 - l 参 数 即 可 ， 其 他 保 持 不 变 。 爆 破 模 式 爆 破 模 式 - w 参 数 是 一 个 可 选 项 ， 如 果 不 指 定 ， 它 将 使 用 默 认 字 典 （ 包 含 6 1 2 4 个 单 词 ） 。 使 用 - b 参 数 ， S o u r c e W o l f 将 会 替 换 掉 F U Z Z 关 键 词 并 发 送 请 求 ， 这 样 将 允 许 我 们 对 G E T 参 数 值 进 行 爆 破 。 - s 参 数 将 会 把 输 出 数 据 存 储 在 一 个 名 为 s t a t u s 的 文 件 中 。 探 测 模 式 探 测 模 式 d o m a i n s 文 件 可 以 包 含 子 域 名 、 终 端 节 点 和 J a v a S c r i p t 文 件 。 - s 参 数 会 将 响 应 写 入 l i v e 文 件 中 。 S o u r c e W o l f 同 样 支 持 多 线 程 运 行 ， 所 有 模 式 下 的 默 认 线 程 数 为 5 ， 我 们 也 可 以 使 用 - t 参 数 来 增 加 线 程 数 。 如 果 你 需 要 将 所 有 的 响 应 存 储 到 一 个 目 录 （ 比 如 说 r e s p o n s e s / ） 中 ， 可 以 运 行 下 列 命 令 ： 工 具 更 新 工 具 更 新 广 大 研 究 人 员 可 以 直 接 在 命 令 行 终 端 更 新 S o u r c e W o l f ， 而 无 需 重 新 克 隆 项 目 源 码 。 S o u r c e W o l f 能 够 在 每 次 运 行 之 间 自 动 检 测 版 本 更 新 ， 并 提 醒 用 户 是 否 需 要 更 新 ： p y t h o n 3   s o u r c e w o l f . p y   - u   e x a m p l e . c o m / a p i / e n d p o i n t   - o   o u t p u t /   - c   c r a w l _ o u t p u t p y t h o n 3   s o u r c e w o l f . p y   - b   h t t p s : / / h a c k e r o n e . c o m / F U Z Z   - w   / p a t h / t o / w o r d l i s t   - s   s t a t u s p y t h o n 3   s o u r c e w o l f   - l   d o m a i n s   - s   l i v e p y t h o n 3   s o u r c e w o l f . p y   - - l o c a l   r e s p o n s e s /
或 者 ， 也 可 以 使 用 下 列 命 令 查 看 更 新 详 情 ： 许 可 证 协 议 许 可 证 协 议 本 项 目 的 开 发 与 发 布 遵 循 M I T 开 源 许 可 证 协 议 。 项 目 地 址 项 目 地 址 S o u r c e W o l f ： h t t p s : / / g i t h u b . c o m / m i c h a 3 l b 3 n / S o u r c e W o l f 精 彩 推 荐 精 彩 推 荐 p y t h o n 3   s o u r c e w o l f . p y   - - u p d a t e - i n f o

回复

举报

高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

Archiver| 手机版| 小黑屋|
Powered by Discuz! X3.4 Copyright © 2001-2020, Tencent Cloud. 商业源码建议获取授权，如侵犯您的权益，请联系客服处理