搜索

[8728] 2015-03-08_使用scrapy爬取sebug漏洞库

文档创建者：s7ckTeam
浏览次数：30
最后更新：2025-01-17
2015-03-08_使用scrapy爬取sebug漏洞库 使 用 s c r a p y 爬 取 s e b u g 漏 洞 库 F r e e B u f   2 0 1 5 - 0 3 - 0 8 微 信 号 ： 微 信 号 ： f r e e b u f 由 于 项 目 需 要 抓 取 由 于 项 目 需 要 抓 取 s e b u g 的 漏 洞 库 内 容 ， 就 利 用 的 漏 洞 库 内 容 ， 就 利 用 s c r a p y 框 架 简 单 写 了 个 抓 取 框 架 简 单 写 了 个 抓 取 s e b u g 的 爬 虫 ， 并 存 入 数 据 库 ， 的 爬 虫 ， 并 存 入 数 据 库 ， m y s q l 或 或 m o n g o d b ， 这 里 以 ， 这 里 以 m y s q l 为 例 。 为 例 。 关 于 关 于 s c r a p y S c r a p y ， P y t h o n 开 发 的 一 个 快 速 , 高 层 次 的 屏 幕 抓 取 和 w e b 抓 取 框 架 ， 用 于 抓 取 w e b 站 点 并 从 页 面 中 提 取 结 构 化 的 数 据 。 S c r a p y 用 途 广 泛 ， 可 以 用 于 数 据 挖 掘 、 监 测 和 自 动 化 测 试 。 S c r a p y 吸 引 人 的 地 方 在 于 它 是 一 个 框 架 ， 任 何 人 都 可 以 根 据 需 求 方 便 的 修 改 。 它 也 提 供 了 多 种 类 型 爬 虫 的 基 类 ， 如 B a s e S p i d e r 、 s i t e m a p 爬 虫 等 ， 最 新 版 本 又 提 供 了 w e b 2 . 0 爬 虫 的 支 持 。 一 图 胜 千 言 哈 一 图 胜 千 言 哈 : 操 作 步 骤 操 作 步 骤 1 ， 先 建 立 个 s c r a p y 项 目 , 会 自 动 生 成 一 个 目 录 结 构
S c r a p y   s t a r t p r o j e c t   s e b u g 2 , 分 析 下 s e b u g 的 漏 洞 详 情 页 面 内 容 ， 在 i t e m . p y 定 义 要 抓 取 的 数 据 结 构 3 ， s e b u g 的 一 个 U R L ： h t t p : / / s e b u g . n e t / v u l d b / v u l n e r a b i l i t i e s ? s t a r t = 1   遍 历 s t a r t 可 以 列 出 所 有 漏 洞 的 列 表 。 基 于 C r a w k S p i d e r 定 义 一 个 爬 虫 类 ， 并 添 加 相 应 的 爬 虫 规 则 ， 然 后 引 入 H t m l X P a t h S e l e c t o r 解 析 网 页 ， 提 取 所 需 的 页 面 内 容 ， 存 入 i t e m 。 爬 虫 规 则 分 析 爬 虫 规 则 分 析 （ 1 ） U R L 以 / v u l d b / s s v i d - x x x   为 后 缀 的 网 页 ， 调 用 回 调 函 数 处 理 页 面 内 容 ， 提 取 数 据 R u l e ( S g m l L i n k E x t r a c t o r ( a l l o w = ( ' / v u l d b / s s v i d - ( d { 1 , 6 } ) $ ' , ) ) , c a l l b a c k = ' p a r s e _ v u l ' ) （ 2 ） U R L 如 / v u l d b / v u l n e r a b i l i t i e s ? s t a r t = x x x   的 自 动 抓 取 网 页 链 接 供 爬 虫 处 理 R u l e ( S g m l L i n k E x t r a c t o r ( a l l o w = ( ' / v u l d b / v u l n e r a b i l i t i e s ? s t a r t = ( d { 1 , 2 } ) $ ' , ) ) , f o l l o w = T r u e ) 4 , 编 写 p i p e l i n e s 文 件 ， 把 i t e m 存 入 m y s q l 。 5 ， 在 s e t t i n g . p y 中 添 加 p i p e l i n e s : I T E M _ P I P E L I N E S   =   [ ' s e b u g . p i p e l i n e s . S e b u g P i p e l i n e ' ] 为 了 防 止 s p i d e r 被 B A N 掉 ， 还 可 以 设 置 访 问 延 迟 和 u s e r - a g e n t 。 D O W N L O A D _ D E L A Y   =   2 R A N D O M I Z E _ D O W N L O A D _ D E L A Y   =   T r u e U S E R _ A G E N T   =   ' M o z i l l a / 5 . 0   ( M a c i n t o s h ;   I n t e l   M a c   O S   X   1 0 _ 8 _ 3 )   A p p l e W e b K i t / 5 3 6 . 5   ( K H T M L ,   l i k e   G e c k o )   C h r o m e / 1 9 . 0 . 1 0 8 4 . 5 4 S a f a r i / 5 3 6 . 5 ' 6 ， 在 m y s q l 中 创 建 对 应 的 表 结 构 。 C r e a t e   t a b l e   v u l n i n f o   ( s s v   v a r c h a r ( 1 0 )   n o t   n u l l , a p p d i r   v a r c h a r ( 2 0 ) , t i t l e   v a r c h a r ( 5 0 ) , c o n t e n t   m e d i u m t e x t , p u b l i s h d a t e   v a r c h a r ( 5 0 ) ) c h a r s e t = u t f 8 ; 7 ， 运 行 爬 虫 s c r a p y   c r a w l   s e b u g v u l 8 ， 运 行 截 图
代 码 地 址 ： 代 码 地 址 ： h t t p s : / / g i t h u b . c o m / H o n g x s / s c r a p y - s e b u g
回复

举报

高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

Archiver| 手机版| 小黑屋|
Powered by Discuz! X3.4 Copyright © 2001-2020, Tencent Cloud. 商业源码建议获取授权，如侵犯您的权益，请联系客服处理