搜索

[26843] 2019-08-08_【小组作业】WebCrawler

文档创建者：s7ckTeam
浏览次数：1
最后更新：2025-01-19
2019-08-08_【小组作业】WebCrawler 【 小 组 作 业 】 W e b   C r a w l e r 原 创   徐 哥   M s 0 8 0 6 7 安 全 实 验 室   2 0 1 9 - 0 8 - 0 8 本 文 作 者 ： 小 白 虫 小 白 虫 （ M s 0 8 0 6 7 实 验 室 P y t h o n 渗 透 小 组 成 员 ） 前 言 前 言 < 这 里 用 的 s c r a p y 框 架 ， 来 编 写 爬 虫 , 官 方 文 档 ( h t t p s : / / d o c s . s c r a p y . o r g / e n / l a t e s t / ) > 具 体 功 能 实 现 ： 爬 取 网 站 所 有 链 接 ， 探 测 网 页 状 态 ， 并 加 随 机 延 迟 绕 过 防 护 。 1 、 代 码 流 程 、 代 码 流 程 2 、 代 码 编 写 、 代 码 编 写 2 . 1   i t e m . p y 编 写 编 写
这 里 爬 取 要 目 标 是 爬 取 网 页 所 有 链 接 。   2 . 2   l i n k . p y   编 写 编 写 这 里 默 认 生 成 的 是 要 爬 取 的 域 名 ， 是 在 使 用 s c r a p y 命 令 行 生 成 爬 虫 文 件 时 候 输 入 的 域 名 ， 为 了 便 于 指 定 爬 取 域 名 ， 所 以 这 里 改 成 输 入 指 定 域 名 。 然 后 开 始 编 写 p a r s e 函 数 （ p a r s e 负 责 处 理 r e s p o n s e 并 返 回 处 理 的 数 据 以 及 ( / 或 ) 跟 进 的 U R L ， 该 方 法 及 其 他 的 R e q u e s t 回 调 函 数 必 须 返 回 一 个 包 含   R e q u e s t 、 d i c t 或   I t e m   的 可 迭 代 的 对 象 。 ）   首 先 x p a t h （ ‘ / / a [ @ h r e f ] ’ ） 提 取 页 面 内 所 有 链 接 ， 之 后 循 环 处 理 u r l ， 先 调 用 之 前 写 好 的 i t e m ， 再 处 理 每 个 u r l ， 紧 接 着 继 续 使 用 当 前 u r l ， 迭 代 爬 取 。   2 . 3   s e t i n g . p y 编 写 编 写

前 面 的 只 要 按 图 上 的 配 置 就 可 以 了 ， 最 后 一 个 图 是 就 是 设 置 随 机 延 时 访 问 ， s c r a p y 自 带 的 功 能 ， 只 要 取 消 注 释 就 可 以 了 。 还 有 就 是 这 里 s c r a p y 默 认 只 爬 取 状 态 码 2 0 0 - 3 0 0 页 面 ， 如 果 想 爬 取 其 他 的 在 这 里 添 加 。 2 . 4   p i p e l i n e . p y 编 写 编 写 这 里 主 要 的 就 是 p r o c e s s _ i t e m ,   前 面 的 i n i t 函 数 就 是 ， 打 开 要 写 入 的 u r l 文 件 。 这 里 处 理 写 入 过 程 ， 先 检 测 u r l 是 否 已 经 存 在 ， 然 后 再 添 加 u r l ’ 。
这 里 是 检 测 网 页 h t t p 状 态 码 ， 利 用 r e q u e s t s 库 来 获 取 网 页 状 态 码 。 最 后 ， 运 行 代 码 就 可 以 了 。 效 果 图 见 附 录 。 小 结 小 结 第 一 次 写 讲 解 ， 讲 的 不 好 ， 只 是 利 用 s c r a p y 框 架 实 现 爬 虫 的 基 本 功 能 , 后 续 我 会 继 续 改 进 代 码 。 g i t h u b ( h t t p s : / / g i t h u b . c o m / b u d d h a l i k e c a t ) ， 会 把 代 码 放 上 去 。 附 录 ：

来 源 ： M s 0 8 0 6 7 安 全 实 验 室
  m s 0 8 0 6 7 安 全 实 验 室 界 世 的 你 当 作 你 的 肩 膀
回复

举报

高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

使用Markdown编辑器编辑 使用富文本编辑器编辑

Archiver| 手机版| 小黑屋|
Powered by Discuz! X3.4 Copyright © 2001-2020, Tencent Cloud. 商业源码建议获取授权，如侵犯您的权益，请联系客服处理