搜索

[19259] 2018-03-27_Python大法之告别脚本小子——URL采集器编写

文档创建者：s7ckTeam
浏览次数：29
最后更新：2025-01-18
2018-03-27_Python大法之告别脚本小子——URL采集器编写 P y t h o n 大 法 之 告 别 脚 本 小 子 — — U R L 采 集 器 编 写 i 春 秋   2 0 1 8 - 0 3 - 2 7 作 者 ： i c q 1 2 7 8 e 6 7 1 i 春 秋 社 区 0 x 0 1 前 言 前 言 怎 么 说 呢 ， U R L 采 集 在 批 量 刷 洞 中 也 是 很 重 要 的 . . . . . . 运 气 来 了 , 挡 也 挡 不 住 . . . . . . 0 x 0 2   Z o o m E y e A P I 脚 本 编 写 脚 本 编 写 Z o o m E y e 是 一 款 针 对 网 络 空 间 的 搜 索 引 擎 ， 收 录 了 互 联 网 空 间 中 的 设 备 、 网 站 及 其 使 用 的 服 务 或 组 件 等 信 息 。 Z o o m E y e   拥 有 两 大 探 测 引 擎 ： X m a p   和   W m a p ， 分 别 针 对 网 络 空 间 中 的 设 备 及 网 站 ，   通 过   2 4   小 时 不 间 断 的 探 测 、 识 别 ， 标 识 出 互 联 网 设 备 及 网 站 所 使 用 的 服 务 及 组 件 。   研 究 人 员 可 以 通 过   Z o o m E y e   方 便 的 了 解 组 件 的 普 及 率 及 漏 洞 的 危 害 范 围 等 信 息 。 虽 然 被 称 为   “ 黑 客 友 好 ”   的 搜 索 引 擎 ， 但   Z o o m E y e   并 不 会 主 动 对 网 络 设 备 、 网 站 发 起 攻 击 ， 收 录 的 数 据 也 仅 用 于 安 全 研 究 。 Z o o m E y e 更 像 是 互 联 网 空 间 的 一 张 航 海 图 。 先 登 录 ， 然 后 获 取 a c c e s s _ t o k e n 。 # - * -   c o d i n g :   U T F - 8   - * -   i m p o r t   r e q u e s t s i m p o r t   j s o n   u s e r   =   r a w _ i n p u t ( ' [ - ]   P L E A S E   I N P U T   Y O U R   U S E R N A M E : ' ) p a s s w d   =   r a w _ i n p u t ( ' [ - ]   P L E A S E   I N P U T   Y O U R   P A S S W O R D : ' )   d e f   L o g i n ( ) :         d a t a _ i n f o   =   { ' u s e r n a m e '   :   u s e r , ' p a s s w o r d '   :   p a s s w d }         d a t a _ e n c o d e d   =   j s o n . d u m p s ( d a t a _ i n f o )           r e s p o n d   =   r e q u e s t s . p o s t ( u r l   =   ' h t t p s : / / a p i . z o o m e y e . o r g / u s e r / l o g i n ' , d a t a   =   d a t a _ e n c o d e d )         t r y :                 r _ d e c o d e d   =   j s o n . l o a d s ( r e s p o n d . t e x t )                   a c c e s s _ t o k e n   =   r _ d e c o d e d [ ' a c c e s s _ t o k e n ' ]         e x c e p t   K e y E r r o r :                 r e t u r n   ' [ - ]   I N F O   :   U S E R N A M E   O R   P A S S W O R D   I S   W R O N G ,   P L E A S E   T R Y   A G A I N '         r e t u r n   a c c e s s _ t o k e n i f   _ _ n a m e _ _   = =   ' _ _ m a i n _ _ ' :         p r i n t   L o g i n ( ) 然 后 ， A P I 手 册 是 这 么 写 的 ， 根 据 这 个 ， 咱 们 先 写 一 个 H O S T 的 单 页 面 采 集 的 . . . .
# - * -   c o d i n g :   U T F - 8   - * -   i m p o r t   r e q u e s t s i m p o r t   j s o n   u s e r   =   r a w _ i n p u t ( ' [ - ]   P L E A S E   I N P U T   Y O U R   U S E R N A M E : ' ) p a s s w d   =   r a w _ i n p u t ( ' [ - ]   P L E A S E   I N P U T   Y O U R   P A S S W O R D : ' )   d e f   L o g i n ( ) :         d a t a _ i n f o   =   { ' u s e r n a m e '   :   u s e r , ' p a s s w o r d '   :   p a s s w d }         d a t a _ e n c o d e d   =   j s o n . d u m p s ( d a t a _ i n f o )           r e s p o n d   =   r e q u e s t s . p o s t ( u r l   =   ' h t t p s : / / a p i . z o o m e y e . o r g / u s e r / l o g i n ' , d a t a   =   d a t a _ e n c o d e d )         t r y :                 r _ d e c o d e d   =   j s o n . l o a d s ( r e s p o n d . t e x t )                   a c c e s s _ t o k e n   =   r _ d e c o d e d [ ' a c c e s s _ t o k e n ' ]         e x c e p t   K e y E r r o r :                 r e t u r n   ' [ - ]   I N F O   :   U S E R N A M E   O R   P A S S W O R D   I S   W R O N G ,   P L E A S E   T R Y   A G A I N '         r e t u r n   a c c e s s _ t o k e n d e f   s e a r c h ( ) :         h e a d e r s   =   { ' A u t h o r i z a t i o n ' :   ' J W T   '   +   L o g i n ( ) }         r   =   r e q u e s t s . g e t ( u r l   =   ' h t t p s : / / a p i . z o o m e y e . o r g / h o s t / s e a r c h ? q u e r y = t o m c a t & p a g e = 1 ' ,                                                   h e a d e r s   =   h e a d e r s )         r e s p o n s e   =   j s o n . l o a d s ( r . t e x t )         p r i n t   r e s p o n s e i f   _ _ n a m e _ _   = =   ' _ _ m a i n _ _ ' :         s e a r c h ( ) 返 回 的 信 息 量 极 大 啊 ， 但 它 也 是 个 J S O N 数 据 ， S O ， 我 们 可 以 取 出 I P 部 分 . . . f o r   x   i n   r e s p o n s e [ ' m a t c h e s ' ] :                 p r i n t   x [ ' i p ' ] 之 后 ， H O S T 的 单 页 面 采 集 也 就 O K 了 ， W E B 的 也 五 五 开 ， 留 着 你 们 自 己 分 析 ， 其 实 差 不 多 ， 后 文 会 贴 的 。 接 下 来 ， 就 是 用 F O R 循 环 . . . . 获 取 多 页 的 I P 。
# - * -   c o d i n g :   U T F - 8   - * -   i m p o r t   r e q u e s t s i m p o r t   j s o n   d e f   L o g i n ( ) :         d a t a _ i n f o   =   { ' u s e r n a m e '   :   u s e r , ' p a s s w o r d '   :   p a s s w d }         d a t a _ e n c o d e d   =   j s o n . d u m p s ( d a t a _ i n f o )           r e s p o n d   =   r e q u e s t s . p o s t ( u r l   =   ' h t t p s : / / a p i . z o o m e y e . o r g / u s e r / l o g i n ' , d a t a   =   d a t a _ e n c o d e d )         t r y :                 r _ d e c o d e d   =   j s o n . l o a d s ( r e s p o n d . t e x t )                   a c c e s s _ t o k e n   =   r _ d e c o d e d [ ' a c c e s s _ t o k e n ' ]         e x c e p t   K e y E r r o r :                 r e t u r n   ' [ - ]   I N F O   :   U S E R N A M E   O R   P A S S W O R D   I S   W R O N G ,   P L E A S E   T R Y   A G A I N '         r e t u r n   a c c e s s _ t o k e n d e f   s e a r c h ( ) :         h e a d e r s   =   { ' A u t h o r i z a t i o n ' :   ' J W T   '   +   L o g i n ( ) }         f o r   i   i n   r a n g e ( 1 , i n t ( P A G E C O U N T ) ) :                 r   =   r e q u e s t s . g e t ( u r l   =   ' h t t p s : / / a p i . z o o m e y e . o r g / h o s t / s e a r c h ? q u e r y = t o m c a t & p a g e = ' + s t r ( i ) ,                                                   h e a d e r s   =   h e a d e r s )                 r e s p o n s e   =   j s o n . l o a d s ( r . t e x t )                 f o r   x   i n   r e s p o n s e [ ' m a t c h e s ' ] :                         p r i n t   x [ ' i p ' ] i f   _ _ n a m e _ _   = =   ' _ _ m a i n _ _ ' :         u s e r   =   r a w _ i n p u t ( ' [ - ]   P L E A S E   I N P U T   Y O U R   U S E R N A M E : ' )         p a s s w d   =   r a w _ i n p u t ( ' [ - ]   P L E A S E   I N P U T   Y O U R   P A S S W O R D : ' )         P A G E C O U N T   =   r a w _ i n p u t ( ' [ - ]   P L E A S E   I N P U T   Y O U R   S E A R C H _ P A G E _ C O U N T ( e g : 1 0 ) : ' )         s e a r c h ( ) 这 样 就 取 出 了 你 想 要 的 页 码 的 数 据 ， 然 后 就 是 完 善 + 美 观 代 码 了 . . . . .
# - * -   c o d i n g :   U T F - 8   - * -   i m p o r t   r e q u e s t s i m p o r t   j s o n   d e f   L o g i n ( u s e r , p a s s w d ) :         d a t a _ i n f o   =   { ' u s e r n a m e '   :   u s e r , ' p a s s w o r d '   :   p a s s w d }         d a t a _ e n c o d e d   =   j s o n . d u m p s ( d a t a _ i n f o )           r e s p o n d   =   r e q u e s t s . p o s t ( u r l   =   ' h t t p s : / / a p i . z o o m e y e . o r g / u s e r / l o g i n ' , d a t a   =   d a t a _ e n c o d e d )         t r y :                 r _ d e c o d e d   =   j s o n . l o a d s ( r e s p o n d . t e x t )                   a c c e s s _ t o k e n   =   r _ d e c o d e d [ ' a c c e s s _ t o k e n ' ]         e x c e p t   K e y E r r o r :                 r e t u r n   ' [ - ]   I N F O   :   U S E R N A M E   O R   P A S S W O R D   I S   W R O N G ,   P L E A S E   T R Y   A G A I N '         r e t u r n   a c c e s s _ t o k e n d e f   s e a r c h ( q u e r y T y p e , q u e r y S t r , P A G E C O U N T , u s e r , p a s s w d ) :         h e a d e r s   =   { ' A u t h o r i z a t i o n ' :   ' J W T   '   +   L o g i n ( u s e r , p a s s w d ) }         f o r   i   i n   r a n g e ( 1 , i n t ( P A G E C O U N T ) ) :                 r   =   r e q u e s t s . g e t ( u r l   =   ' h t t p s : / / a p i . z o o m e y e . o r g / ' +   q u e r y T y p e   + ' / s e a r c h ? q u e r y = ' + q u e r y S t r + ' & p a g e = '   +   s t r ( i ) ,                                                   h e a d e r s   =   h e a d e r s )                 r e s p o n s e   =   j s o n . l o a d s ( r . t e x t )                 t r y :                         i f   q u e r y T y p e   = =   " h o s t " :                                 f o r   x   i n   r e s p o n s e [ ' m a t c h e s ' ] :                                         p r i n t   x [ ' i p ' ]                         i f   q u e r y T y p e   = =   " w e b " :                                 f o r   x   i n   r e s p o n s e [ ' m a t c h e s ' ] :                                         p r i n t   x [ ' i p ' ] [ 0 ]                 e x c e p t   K e y E r r o r :                         p r i n t   " [ E R R O R ]   N o   h o s t s   f o u n d "           d e f   m a i n ( ) :         p r i n t   "   _ _ _ _ _                                           _ _ _ _ _                       _ _ _ _     "                                       p r i n t   " | _ _     / _ _ _       _ _ _     _   _ _   _ _ _   |   _ _ _ _ |       _     _ _ _ /   _ _ _ |     _ _ _   _ _   _   _   _ _ "           p r i n t   "     /   / /   _     /   _   |   ' _   `   _   |     _ | |   |   |   | /   _   _ _ _     /   _ _ /   _ `   |   ' _     "         p r i n t   "   /   / |   ( _ )   |   ( _ )   |   |   |   |   |   |   | _ _ |   | _ |   |     _ _ / _ _ _ )   |   ( _ |   ( _ |   |   |   |   | "         p r i n t   " / _ _ _ _ _ _ _ /   _ _ _ / | _ |   | _ |   | _ | _ _ _ _ _ _ _ ,   | _ _ _ | _ _ _ _ /   _ _ _ _ _ , _ | _ |   | _ | "         p r i n t   "                                                                 | _ _ _ /                                                         "         u s e r   =   r a w _ i n p u t ( ' [ - ]   P L E A S E   I N P U T   Y O U R   U S E R N A M E : ' )         p a s s w d   =   r a w _ i n p u t ( ' [ - ]   P L E A S E   I N P U T   Y O U R   P A S S W O R D : ' )         P A G E C O U N T   =   r a w _ i n p u t ( ' [ - ]   P L E A S E   I N P U T   Y O U R   S E A R C H _ P A G E _ C O U N T ( e g : 1 0 ) : ' )         q u e r y T y p e   =   r a w _ i n p u t ( ' [ - ]   P L E A S E   I N P U T   Y O U R   S E A R C H _ T Y P E ( e g : w e b / h o s t ) : ' )         q u e r y S t r   =   r a w _ i n p u t ( ' [ - ]   P L E A S E   I N P U T   Y O U R   K E Y W O R D ( e g : t o m c a t ) : ' )         L o g i n ( u s e r , p a s s w d )         s e a r c h ( q u e r y T y p e , q u e r y S t r , P A G E C O U N T , u s e r , p a s s w d ) i f   _ _ n a m e _ _   = =   ' _ _ m a i n _ _ ' :         m a i n ( ) 戳 阅 读 原 文 ， 跟 作 者 进 行 深 度 交 流 吧 戳 阅 读 原 文 ， 跟 作 者 进 行 深 度 交 流 吧 ~
阅 读 原 文
回复

举报

高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

Archiver| 手机版| 小黑屋|
Powered by Discuz! X3.4 Copyright © 2001-2020, Tencent Cloud. 商业源码建议获取授权，如侵犯您的权益，请联系客服处理