搜索

[19475] 2019-04-16_FOFA爬虫大法——API的简单利用

文档创建者：s7ckTeam
浏览次数：2
最后更新：2025-01-18
2019-04-16_FOFA爬虫大法——API的简单利用 F O F A 爬 虫 大 法 — — A P I 的 简 单 利 用 i 春 秋   2 0 1 9 - 0 4 - 1 6 F O F A 是 一 款 网 络 空 间 搜 索 引 擎 ， 它 通 过 进 行 网 络 空 间 测 绘 ， 帮 助 研 究 人 员 或 者 企 业 迅 速 进 行 网 络 资 产 匹 配 ， 例 如 进 行 漏 洞 影 响 范 围 分 析 、 应 用 分 布 统 计 、 应 用 流 行 度 等 。   何 为 A P I ？ 如 果 你 在 百 度 百 科 上 搜 索 ， 你 会 得 到 如 下 结 果 ： A P I （ A p p l i c a t i o n   P r o g r a m m i n g   I n t e r f a c e ， 应 用 程 序 编 程 接 口 ） 是 一 些 预 先 定 义 的 函 数 ， 目 的 是 提 供 应 用 程 序 与 开 发 人 员 基 于 某 软 件 或 硬 件 得 以 访 问 一 组 例 程 的 能 力 ， 而 又 无 需 访 问 源 码 ， 或 理 解 内 部 工 作 机 制 的 细 节 。 那 么 通 俗 一 点 来 说 ， A P I 是 什 么 呢 ？ 从 技 术 角 度 来 说 ， A P I 指 的 是 应 用 程 序 编 程 接 口 。 很 多 大 型 企 业 都 会 为 自 己 的 客 户 建 立 应 用 程 序 编 程 接 口 ， 或 供 内 部 使 用 。 今 天 i 春 秋 针 对 爬 虫 F O F A 里 面 的 数 据 进 行 统 计 分 析 ， 即 A P I 的 简 单 利 用 ， 希 望 对 大 家 有 所 帮 助 ， 本 文 阅 读 用 时 约 5 分 钟 。
环 境 环 境 描 述 环 境 为 文 章 中 所 用 到 的 所 有 技 术 以 及 中 间 件 并 非 全 部 安 装 ， 可 根 据 使 用 的 规 模 进 行 调 整 使 用 。 语 言 ： p y t h o n 2 . 7 （ 必 须 ） 模 块 ： r e q u e s t s （ 必 须 ） 操 作 系 统 ： M a c O S   1 0 . 1 3 . 4 （ 非 必 须 ） 分 布 式 消 息 队 列 管 理 ： C e l e r y （ 最 后 一 节 安 装 ） 日 志 记 录 ： l o g g i n g （ 必 须 ） 中 间 价 ： R e d i s （ 最 后 一 节 安 装 ） / M y S Q L （ 必 须 ） 数 据 库 操 作 ： p y m y s q l （ 必 须 ） / D B U t i l s （ 必 须 ） 安 装 环 境 安 装 环 境
注 ： W i n d o w s 安 装 C e l e r y 时 最 好 安 装 3 . 1 . 2 5 版 本 ， 不 然 可 能 会 有 意 想 不 到 的 惊 喜 。 F O F A A P I 文 档 ： h t t p s : / / f o f a . s o / a p i 请 求 ： h t t p s : / / f o f a . s o / a p i / v 1 / s e a r c h / a l l 请 求 方 式 ： G E T 请 求 参 数 ： #   安 装 r e q u e s t s p i p   i s n t a l l   r e q u e s t s #   安 装 c e l e r y   M a c p i p   i n s t a l l   c e l e r y #   安 装 c e l e r y   W i n d o w s p i p   i s n t a l l   c e l e r y = 3 . 1 . 2 5 #   安 装   p y m y s q l p i p   i n s t a l l   p y m y s q l #   安 装 l o g g i n g p i p   i n s t a l l   l o g g i n g #   安 装   D B U t i l s   数 据 库 连 接 池 p i p   i n s t a l l   D B U t i l s
响 应 ： 数 据 库 设 计 数 据 库 设 计 设 计 数 据 库 存 放 F O F A 爬 虫 数 据 ， 方 便 统 计 查 询 。 S Q L 语 句
数 据 库 S Q L 文 件 ： h t t p s : / / g i t h u b . c o m / 0 n i s e / s c r i p t s / b l o b / m a s t e r / f o f a _ s p i d e r . s q l 小 试 牛 刀 小 试 牛 刀 本 节 主 要 讲 解 可 适 用 与 一 般 的 F O F A 爬 虫 ， 如 果 需 要 大 批 量 数 据 爬 虫 请 您 接 着 往 下 看 。 环 境 环 境 语 言 ： p y t h o n 2 . 7 中 间 件 ： M y S Q L 第 三 方 包 ： p y m y s q l / r e q u e s t s / 场 景 ： 小 规 模 爬 虫 / 一 般 爬 虫 通 过 查 看 F O F A   A P I 可 以 得 知 请 求 地 址 和 参 数 ， 开 局 一 句 话 功 能 全 靠 编 。 请 求 中 心 请 求 中 心 在 发 送 大 量 的 h t t p 请 求 时 最 好 使 用 统 一 的 H T T P 请 求 中 心 ， 方 便 控 制 ， 代 码 重 复 利 用 ， 提 高 效 率 。 D R O P   T A B L E   I F   E X I S T S   ` f o f a _ s p i d e r ` ; C R E A T E   T A B L E   ` f o f a _ s p i d e r `   (         ` i d `   I N T   ( 1 1 )   N O T   N U L L   A U T O _ I N C R E M E N T ,         ` h o s t `   V A R C H A R   ( 2 5 5 )   N O T   N U L L ,         ` i p `   V A R C H A R   ( 2 5 5 )   N O T   N U L L ,         ` p o r t `   V A R C H A R   ( 2 5 5 )   D E F A U L T   N U L L ,         ` p r o t o c o l `   V A R C H A R   ( 2 5 5 )   N O T   N U L L ,         ` c o u n t r y _ n a m e `   V A R C H A R   ( 2 5 5 )   D E F A U L T   N U L L ,         ` r e g i o n _ n a m e `   V A R C H A R   ( 2 5 5 )   D E F A U L T   N U L L ,         ` c i t y _ n a m e `   V A R C H A R   ( 2 5 5 )   D E F A U L T   N U L L ,         ` f o f a _ s q l `   t e x t   N O T   N U L L ,         ` c r e a t e _ d a t e `   D A T E T I M E   N O T   N U L L ,         ` u p d a t e _ d a t e `   D A T E T I M E   N O T   N U L L ,         P R I M A R Y   K E Y   ( ` i d ` ) )   E N G I N E   =   I N N O D B   D E F A U L T   C H A R S E T   =   u t f 8 m b 4 ;
数 据 库 存 储 数 据 库 存 储 有 了 统 一 的 请 求 中 心 接 下 来 就 该 编 写 入 库 代 码 ， 将 爬 虫 结 果 存 入 数 据 库 中 。 s e s s i o n   =   r e q u e s t s . s e s s i o n ( ) #   请 求 头 h e a d e r s   =   {         ' U p g r a d e - I n s e c u r e - R e q u e s t s ' :   ' 1 ' ,         ' U s e r - A g e n t ' : ' M o z i l l a / 5 . 0   ( W i n d o w s   N T   1 0 . 0 ;   W i n 6 4 ;   x 6 4 )   A p p l e W e b K i t / 5 3 7 . 3 6   ( K H T M L ,   l i k e   G e c k o )   C h r o m e / 7 0 . 0 . 3 5 3 8 . 1 1 0   S a f a r i / 5 3 7 . 3 6 ' } ' ' ' 请 求 中 心 ， 控 制 程 序 所 有 H T T P 请 求 ， 如 果 请 求 发 生 错 误 进 行 尝 试 再 次 连 接 @ p a r a m   u r l   请 求 连 接 h o m e . p h p ? m o d = s p a c e & u i d = 1 2 6 2 9 8   请 求 响 应 结 果 ' ' ' d e f   f o f a _ r e q u e s t s ( u r l ) :         r s _ c o n t e n t   =   ' '         w h i l e   T r u e :                 t r y :                         r s   =   s e s s i o n . g e t ( a p i _ u r l ,   v e r i f y = F a l s e , h e a d e r s = h e a d e r s )                         r s _ t e x t   =   r s . t e x t                         r e s u l t s   =   j s o n . l o a d s ( r s _ t e x t )                         t o t a l _ s i z e   =   r e s u l t s [ ' s i z e ' ]                         e r r o r   =   r e s u l t s                         i f   r e s u l t s [ ' e r r o r ' ]   a n d   ' N o n e '   n o t   i n   r e s u l t s [ ' e r r o r ' ] :                                 i n f o   =   u ' f o f a   错 误 : ' + r e s u l t s [ ' e r r o r ' ] + u '   休 眠 3 0 s '                                 l o g g i n g . e r r o r ( i n f o )                                 t i m e . s l e e p ( 3 0 )                         e l s e :                                 r s _ c o n t e n t   =   r e s u l t s                 e x c e p t   E x c e p t i o n   a s   e :                         l o g g i n g . e r r o r ( u ' f o f a   错 误 : ' + s t r ( e . m e s s a g e ) + u '   休 眠 3 0 s ' )                         t r a c e b a c k . p r i n t _ e x c ( )                         t i m e . s l e e p ( 3 0 )         r e t u r n   r s _ c o n t e n t
核 心 业 务 代 码 核 心 业 务 代 码 可 以 存 入 数 据 库 中 就 该 写 核 心 的 函 数 逻 辑 函 数 ， 输 入 参 数 仅 为 F O F A 检 索 语 句 。 ' ' ' 批 量 数 据 存 入 数 据 库 @ p a r a m   r e s u l t s @ p a r a m   p a g e _ n o   当 前 页 数 @ p a r a m   p a g e _ t o t a l   总 页 数 ' ' ' d e f   b a t c h _ i n s e r t _ d b ( r e s u l t s , p a g e _ n o , p a g e _ t o t a l , f o f a _ s q l ) :         t r y :                 Z   =   [ ]                 f o r   r e s u l t   i n   r e s u l t s :                         a   =   ( s t r ( r e s u l t [ 0 ] ) , s t r ( r e s u l t [ 1 ] ) , s t r ( r e s u l t [ 2 ] ) , s t r ( r e s u l t [ 3 ] ) , s t r ( r e s u l t [ 4 ] ) , s t r ( r e s u l t [ 5 ] ) , s t r ( r e s u l t [                         Z . a p p e n d ( a )                 s q l   =   " I N S E R T   I G N O R E   I N T O   f o f a _ s p i d e r ( i d , h o s t , i p , p o r t , p r o t o c o l , c o u n t r y _ n a m e , r e g i o n _ n a m e , c i t y _ n a m e , f o f a _ s q l , c r e a t e _ d a t e , u p d a t e _ d a t e )   V A L U E S ( D E F A U L T , % s , % s , % s , % s , % s , % s , % s , % s , N O W ( ) , N O W ( ) ) "                 c u r s o r . e x e c u t e m a n y ( s q l ,   Z )                 c o n n e c t i o n . c o m m i t ( )                 l o g g i n g . i n f o ( u ' 存 入 数 据 库 o k , 总 数 量 为 : ' + s t r ( l e n ( Z ) ) + u ' ,   p a g e - - >   ' + s t r ( p a g e _ n o ) + ' / ' + s t r ( p a g e _ t o t a l ) )         e x c e p t   E x c e p t i o n   a s   e :                 l o g g i n g . e r r o r ( u " 存 入 数 据 库 错 误 , 错 误 信 息 : " + e . m e s s a g e )                 t r a c e b a c k . p r i n t _ e x c ( )
程 序 运 行 结 果 ： 完 整 代 码 地 址 ： h t t p s : / / g i t h u b . c o m / 0 n i s e / s c r i p t s / b l o b / m a s t e r / f o f a _ s p i d e r . p y ' ' ' f o f a   爬 虫 主 函 数 @ p a r a m   f o f a _ s q l   f o f a 查 询 语 句 ' ' ' d e f   m a i n ( f o f a _ s q l ) :         b a s e 6 4 _ s t r   =   b a s e 6 4 . b 6 4 e n c o d e ( f o f a _ s q l )         f i e l d s _ s t r   =   ' , ' . j o i n ( f i e l d s )         a p i _ u r l   =   ' h t t p : / / f o f a . s o / a p i / v 1 / s e a r c h / a l l ? e m a i l = ' + f o f a _ n a m e + ' & k e y = ' + f o f a _ k e y + ' & f i e l d s = ' + f i e l d s _ s t r + ' & s i z e = '         r s   =   f o f a _ r e q u e s t s ( a p i _ u r l )         t o t a l _ s i z e   =   r s [ ' s i z e ' ]         #   计 算 页 数         p a g e _ e n d   =   t o t a l _ s i z e   /   p a g e _ s i z e   +   1   i f   t o t a l _ s i z e   %   p a g e _ s i z e   ! =   0   e l s e   t o t a l _ s i z e   /   p a g e _ s i z e         #   存 入 u   数 据 库         b a t c h _ i n s e r t _ d b ( r s [ ' r e s u l t s ' ] , p a g e _ s t a r t , p a g e _ e n d , f o f a _ s q l )         f o r   p a g e _ n o   i n   r a n g e ( 1 , p a g e _ e n d + 1 ) :                 a p i _ u r l   =   ' h t t p : / / f o f a . s o / a p i / v 1 / s e a r c h / a l l ? e m a i l = ' + f o f a _ n a m e + ' & k e y = ' + f o f a _ k e y + ' & f i e l d s = ' + f i e l d s _ s t r +                 b a t c h _ i n s e r t _ d b ( r s [ ' r e s u l t s ' ] , p a g e _ s t a r t , p a g e _ e n d , f o f a _ s q l )
注 ： 运 行 脚 本 之 前 先 配 置 相 关 配 置 信 息 （ 数 据 库 / F O F A 信 息 ） 进 阶 进 阶 问 题 问 题 针 对 一 般 的 数 据 爬 虫 ， 上 述 方 法 可 以 完 美 适 应 。 但 如 果 需 要 爬 虫 的 是 为 千 万 级 别 规 模 的 数 据 ， 上 述 方 法 就 不 适 用 了 ， 解 决 方 案 一 般 有 多 线 程 / 多 进 程 / 协 程 等 。 思 路 思 路 针 对 大 规 模 数 据 爬 虫 ， 很 多 人 想 到 的 是 多 线 程 / 多 进 程 / 协 程 等 方 案 ， 但 是 这 些 方 案 的 可 扩 展 并 不 是 很 强 ， 如 果 需 要 调 整 工 具 需 要 停 止 程 序 修 改 程 序 等 ， 这 里 我 是 使 用 生 产 者 和 消 费 的 思 路 来 处 理 。 只 需 要 对 上 述 的 代 码 做 轻 微 修 改 就 可 以 完 美 的 适 应 大 规 模 数 据 爬 虫 ， 这 里 我 使 用 r e d i s + c e l e r y 的 方 式 来 实 现 。 R e d i s R e d i s 是 一 款 开 源 的 、 高 性 能 的 键 - 值 存 储 （ k e y - v a l u e   s t o r e ） 。 它 常 被 称 作 是 一 款 数 据 结 构 服 务 器 （ d a t a   s t r u c t u r e   s e r v e r ） 。 R e d i s 的 键 值 可 以 包 括 字 符 串 （ s t r i n g s ） 类 型 ， 同 时 它 还 包 括 哈 希 （ h a s h e s ） 、 列 表 （ l i s t s ） 、 集 合 （ s e t s ） 和   有 序 集 合 （ s o r t e d   s e t s ） 等 数 据 类 型 。   对 于 这 些 数 据 类 型 ， 你 可 以 执 行 原 子 操 作 。 例 如 ： 对 字 符 串 进 行 附 加 操 作 （ a p p e n d ） ； 递 增 哈 希 中 的 值 ； 向 列 表 中 增 加 元 素 ； 计 算 集 合 的 交 集 、 并 集 与 差 集 等 。 为 了 获 得 优 异 的 性 能 ， R e d i s 采 用 了 内 存 中 （ i n - m e m o r y ） 数 据 集 （ d a t a s e t ） 的 方 式 。 同 时 ， R e d i s 支 持 数 据 的 持 久 化 ， 你 可 以 每 隔 一 段 时 间 将 数 据 集 转 存 到 磁 盘 上 （ s n a p s h o t ） ， 或 者 在 日 志 尾 部 追 加 每 一 条 操 作 命 令 （ a p p e n d   o n l y   f i l e , a o f ） 。 R e d i s 同 样 支 持 主 从 复 制 （ m a s t e r - s l a v e   r e p l i c a t i o n ） ， 并 且 具 有 非 常 快 速 的 非 阻 塞 首 次 同 步 （   n o n - b l o c k i n g   f i r s t   s y n c h r o n i z a t i o n ） 、 网 络 断 开 自 动 重 连 等 功 能 。 同 时 R e d i s 还 具 有 其 它 一 些 特 性 ， 其 中 包 括 简 单 的 事 物 支 持 、 发 布 订 阅   （   p u b / s u b ） 、 管 道 （ p i p e l i n e ） 和 虚 拟 内 存 （ v m ） 等   。 R e d i s 具 有 丰 富 的 客 户 端 ， 支 持 现 阶 段 流 行 的 大 多 数 编 程 语 言 。 c e l e r y 简 介 简 介 C e l e r y （ 芹 菜 ） 是 一 个 简 单 、 灵 活 且 可 靠 的 ， 处 理 大 量 消 息 的 分 布 式 系 统 ， 并 且 提 供 维 护 这 样 一 个 系 统 的 必 需 工 具 。 任 务 队 列 任 务 队 列 任 务 队 列 是 一 种 在 线 程 或 机 器 间 分 发 任 务 的 机 制 。
消 息 队 列 消 息 队 列 消 息 队 列 的 输 入 是 工 作 的 一 个 单 元 ， 称 为 任 务 ， 独 立 的 职 程 （ W o r k e r ） 进 程 持 续 监 视 队 列 中 是 否 有 需 要 处 理 的 新 任 务 。 C e l e r y   用 消 息 通 信 ， 通 常 使 用 中 间 人 （ B r o k e r ） 在 客 户 端 和 职 程 间 斡 旋 。 这 个 过 程 从 客 户 端 向 队 列 添 加 消 息 开 始 ， 之 后 中 间 人 把 消 息 派 送 给 职 程 ， 职 程 对 消 息 进 行 处 理 。 如 下 图 所 示 ： C e l e r y   系 统 可 包 含 多 个 职 程 和 中 间 人 ， 以 此 获 得 高 可 用 性 和 横 向 扩 展 能 力 。 架 构 架 构 C e l e r y 的 架 构 由 三 部 分 组 成 ， 消 息 中 间 件 （ m e s s a g e   b r o k e r ） ， 任 务 执 行 单 元 （ w o r k e r ） 和 任 务 执 行 结 果 存 储 （ t a s k   r e s u l t   s t o r e ） 组 成 。 消 息 中 间 件 消 息 中 间 件 C e l e r y 本 身 不 提 供 消 息 服 务 ， 但 是 可 以 方 便 的 和 第 三 方 提 供 的 消 息 中 间 件 集 成 ， 包 括 ， R a b b i t M Q , R e d i s , M o n g o D B 等 ， 这 里 我 先 去 了 解 R a b b i t M Q , R e d i s 。 任 务 执 行 单 元 任 务 执 行 单 元 W o r k e r 是 C e l e r y 提 供 的 任 务 执 行 的 单 元 ， w o r k e r 并 发 的 运 行 在 分 布 式 的 系 统 节 点 中 。 任 务 结 果 存 储 任 务 结 果 存 储 T a s k   r e s u l t   s t o r e 用 来 存 储 W o r k e r 执 行 的 任 务 的 结 果 ， C e l e r y 支 持 以 不 同 方 式 存 储 任 务 的 结 果 ， 包 括 R e d i s ， M o n g o D B ， D j a n g o   O R M ， A M Q P 等 ， 这 里 我 先 不 去 看 它 是 如 何 存 储 的 ， 就 先 选 用 R e d i s 来 存 储 任 务 执 行 结 果 。 修 改 修 改 添 加 c e l e r y 配 置 信 息
回复

举报

高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

使用Markdown编辑器编辑 使用富文本编辑器编辑

Archiver| 手机版| 小黑屋|
Powered by Discuz! X3.4 Copyright © 2001-2020, Tencent Cloud. 商业源码建议获取授权，如侵犯您的权益，请联系客服处理