搜索

[15303] 2020-04-27_Gospider：一款基于Go语言的快速Web爬虫

文档创建者：s7ckTeam
浏览次数：51
最后更新：2025-01-18
2020-04-27_Gospider：一款基于Go语言的快速Web爬虫 G o s p i d e r ： 一 款 基 于 G o 语 言 的 快 速 W e b 爬 虫 A l p h a _ h 4 c k   F r e e B u f   2 0 2 0 - 0 4 - 2 7 G o s p i d e r 是 一 款 运 行 速 度 非 常 快 的 是 一 款 运 行 速 度 非 常 快 的 W e b 爬 虫 程 序 ， 爬 虫 程 序 ， G o s p i d e r 采 用 采 用 G o 语 言 开 发 。 语 言 开 发 。 功 能 介 绍 功 能 介 绍 1 、 快 速 W e b 资 源 爬 取 2 、 爆 破 与 解 析 s i t e m a p . x m l 3 、 解 析 r o b o t s . t x t 4 、 生 成 和 验 证 来 自 J a v a S c r i p t 文 件 的 链 接 5 、 链 接 搜 索 工 具 6 、 根 据 响 应 源 搜 索 A W S - S 3 7 、 根 据 响 应 源 搜 索 子 域 名 8 、 从 W a y b a c k   M a c h i n e ,   C o m m o n   C r a w l ,   V i r u s   T o t a l ,   A l i e n   V a u l t 获 取 U R L 资 源 9 、 格 式 化 输 出 ， 可 配 合 G r e p 使 用 1 0 、 支 持 B u r p 输 入 1 1 、 支 持 并 行 爬 取 多 个 站 点 1 2 、 随 机 移 动 端 / W e b   U s e r - A g e n t 工 具 安 装 工 具 安 装 工 具 使 用 工 具 使 用 F a s t   w e b   s p i d e r   w r i t t e n   i n   G o   -   v 1 . 1 . 0   b y   @ t h e b l a c k t u r t l e U s a g e : F l a g s : 样 本 命 令 样 本 命 令 爬 取 单 个 网 站 ： 爬 取 网 站 列 表 ： 同 时 爬 取 2 0 个 站 点 ， 每 个 站 点 分 配 1 0 个 b o t ： 从 第 三 方 ( A r c h i v e . o r g ,   C o m m o n C r a w l . o r g ,   V i r u s T o t a l . c o m ,   A l i e n V a u l t . c o m ) 获 取 U R L ： g o   g e t   - u   g i t h u b . c o m / j a e l e s - p r o j e c t / g o s p i d e r     g o s p i d e r   [ f l a g s ]     - s ,   - - s i t e   s t r i n g                         待 爬 取 的 站 点 地 址             - S ,   - - s i t e s   s t r i n g                       待 爬 取 的 站 点 列 表             - p ,   - - p r o x y   s t r i n g                     代 理 ( 例 如 :   h t t p : / / 1 2 7 . 0 . 0 . 1 : 8 0 8 0 )             - o ,   - - o u t p u t   s t r i n g                   输 出 目 录               - u ,   - - u s e r - a g e n t   s t r i n g             需 要 使 用 的 U s e r - A g e n t                                                                         w e b :   随 机 W e b   U s e r - A g e n t                                                                         m o b i :   随 机 移 动 端 U s e r - A g e n t                     - - c o o k i e   s t r i n g                   设 置 C o o k i e   ( t e s t A = a ;   t e s t B = b )             - H ,   - - h e a d e r   s t r i n g A r r a y           设 置 H e a d e r                     - - b u r p   s t r i n g                     从 B u r p   H t t p 请 求 加 载 H e a d e r 和 C o o k i e                     - - b l a c k l i s t   s t r i n g               U R L 黑 名 单 正 则 式             - t ,   - - t h r e a d s   g o s p i d e r   - s   " h t t p s : / / g o o g l e . c o m / "   - o   o u t p u t   - c   1 0   - d   1 g o s p i d e r   - S   s i t e s . t x t   - o   o u t p u t   - c   1 0   - d   1 g o s p i d e r   - S   s i t e s . t x t   - o   o u t p u t   - c   1 0   - d   1   - t   2 0 g o s p i d e r   - s   " h t t p s : / / g o o g l e . c o m / "   - o   o u t p u t   - c   1 0   - d   1   - - o t h e r - s o u r c e
从 第 三 方 ( A r c h i v e . o r g ,   C o m m o n C r a w l . o r g ,   V i r u s T o t a l . c o m ,   A l i e n V a u l t . c o m ) 获 取 U R L 并 包 含 子 域 名 ： 使 用 自 定 义 H e a d e r / C o o k i e ： U R L / 文 件 后 缀 黑 名 单 注 意 ： G o s p i d e r 默 认 配 置 下 的 黑 名 单 为 ： . ( j p g | j p e g | g i f | c s s | t i f | t i f f | p n g | t t f | w o f f | w o f f 2 | i c o ) 。 项 目 地 址 项 目 地 址 G o s p i d e r ： h t t p s : / / g i t h u b . c o m / j a e l e s - p r o j e c t / g o s p i d e r * 参 考 来 源 ： 参 考 来 源 ： j a e l e s - p r o j e c t ， ， F B 小 编 小 编 A l p h a _ h 4 c k 编 译 ， 转 载 请 注 明 来 自 编 译 ， 转 载 请 注 明 来 自 F r e e B u f . C O M 精 彩 推 荐 精 彩 推 荐 g o s p i d e r   - s   " h t t p s : / / g o o g l e . c o m / "   - o   o u t p u t   - c   1 0   - d   1   - - o t h e r - s o u r c e   - - i n c l u d e - s u b s g o s p i d e r   - s   " h t t p s : / / g o o g l e . c o m / "   - o   o u t p u t   - c   1 0   - d   1   - - o t h e r - s o u r c e   - H   " A c c e p t :   / "   - H   " T e s t :   t e s t "   - - c o o k i e   " t e s t A = a ;   t e s t B = b " g o s p i d e r   - s   " h t t p s : / / g o o g l e . c o m / "   - o   o u t p u t   - c   1 0   - d   1   - - o t h e r - s o u r c e   - - b u r p   b u r p _ r e q . t x t g o s p i d e r   - s   " h t t p s : / / g o o g l e . c o m / "   - o   o u t p u t   - c   1 0   - d   1   - - b l a c k l i s t   " . ( w o f f | p d f ) "
阅 读 原 文
回复

举报

高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

Archiver| 手机版| 小黑屋|
Powered by Discuz! X3.4 Copyright © 2001-2020, Tencent Cloud. 商业源码建议获取授权，如侵犯您的权益，请联系客服处理