搜索

[7595] 2021-05-07_万物皆可爬

文档创建者：s7ckTeam
浏览次数：5
最后更新：2025-01-17
2021-05-07_万物皆可爬 万 物 皆 可 爬 F 1 2 s e c   2 0 2 1 - 0 5 - 0 7 编 者 荐 语 ： 学 爬 虫 ！ 以 下 文 章 来 源 于 广 软 N S D A 安 全 团 队   ， 作 者 F L I F 万 物 皆 可 爬 爬 虫 分 类 网 络 爬 虫 按 照 系 统 结 构 和 实 现 技 术 ， 大 致 可 以 分 为 以 下 几 种 类 型 ： 通 用 爬 虫 、 聚 焦 爬 虫 、 增 量 式 爬 虫 、 深 层 爬 虫 通 用 爬 虫 、 聚 焦 爬 虫 、 增 量 式 爬 虫 、 深 层 爬 虫 。 实 际 的 网 络 爬 虫 系 统 通 常 是 几 种 爬 虫 技 术 相 结 合 实 现 的 。   今 天 给 大 家 带 来 的 是 利 用 p y t h o n 的 b s 4 技 术 ， 爬 取 一 本 小 说 ！ 爬 取 什 么 小 说 并 不 是 关 键 ， 关 键 的 是 要 爬 取 小 说 的 那 个 网 站 ！ 选 的 这 个 网 站 具 有 一 定 的 代 表 性 ， 其 包 括 了 需 要 代 理 代 理 I P 、 字 符 的 编 码 与 解 字 符 的 编 码 与 解 码 码 与 详 细 信 息 的 二 次 跳 转 详 细 信 息 的 二 次 跳 转 ！   先 设 置 所 需 要 的 模 块 与 方 法 ： i m p o r t   t i m e i m p o r t   r a n d o m i m p o r t   r e q u e s t s f r o m   b s 4   i m p o r t   B e a u t i f u l S o u p   第 一 步 ： 伪 装 + 爬 取 主 页 信 息 + 字 符 的 编 码 与 解 码 如 果 被 目 标 站 点 发 现 是 爬 虫 ， 会 直 接 封 禁 我 们 的 I P 地 址 ！ ！ ！ 1 . 1   设 置 代 理 I P 在 设 置 代 理 I P 之 前 ， 一 定 要 测 试 此 I P 是 否 可 用 ： 1 . 2 设 置 U A 伪 装 让 爬 虫 模 拟 浏 览 器 上 网 ： 先 看 看 我 们 需 要 什 么 伪 装 广 软 广 软 N S D A 安 全 团 队 安 全 团 队   . 技 术 分 享 ， 感 谢 关 注
先 进 入 目 标 站 点 ， 按 下 F 1 2 ， 根 据 上 面 的 步 骤 ， 第 五 步 就 是 我 们 需 要 伪 装 的 东 西 （ e g ： 每 个 浏 览 器 抓 包 分 析 的 界 面 都 不 同 ， 这 里 我 用 的 是 火 狐 ） 1 . 3 设 置 超 时 时 间 ， 也 是 为 了 防 止 我 们 被 目 标 网 站 认 定 为 爬 虫 1 . 4 开 始 爬 取 小 说 的 主 页 信 息 （ 包 括 目 录 与 详 情 信 息 的 U R L ） 其 实 这 里 应 该 有 个 查 看 主 页 信 息 内 容 的 类 型 ， 但 不 知 道 是 不 是 H T T P / 2 的 原 因 ， 被 屏 蔽 了
结 果 发 现 报 错 ： 怎 么 办 ？ 百 度 ！ ！ ！ 百 度 上 说 ， 在 g e t 请 求 方 法 中 加 入 v e r i f y = F a l s e ， 就 是 这 样 ： 试 着 再 R U N 一 次 ： 发 现 主 页 信 息 貌 似 出 来 了 ， 但 是 出 现 了 乱 码 ， 而 且 第 一 行 还 报 错 了 ！ ！ ！ 怎 么 办 ？ 我 们 先 试 着 解 决 报 错 问 题 ， 然 后 再 解 决 主 页 信 息 的 乱 码 问 题 ！ ！ ！ 继 续 百 度 ： 百 度 说 在 请 求 方 法 前 加 上 这 一 串 代 码 即 可 消 除 错 误 ：
试 着 再 R U N 一 次 ： N i c e ， 报 错 解 决 ， 现 在 就 剩 乱 码 问 题 了 ！ ！ ！ 1 . 5   字 符 的 编 码 与 解 码 首 先 我 们 需 要 认 识 几 个 编 码 ： I S O - 8 8 5 9 - 1 、 、 G B K 、 、 U T F - 8 I S O - 8 8 5 9 - 1 ： 最 早 的 编 码 是 i s o 8 8 5 9 - 1 ， i s o 8 8 5 9 - 1 编 码 表 示 的 字 符 范 围 很 窄 ， 无 法 表 示 中 文 字 符 。 但 是 ， 由 于 是 单 字 节 编 码 ， 和 计 算 机 最 基 础 的 表 示 单 位 一 致 ， 所 以 很 多 时 候 ， 仍 旧 使 用 i s o 8 8 5 9 - 1 编 码 来 表 示 。 G B K ： g b k 是 汉 字 的 国 标 码 ， 专 门 用 来 表 示 汉 字 ， 是 双 字 节 编 码 ， 它 能 够 用 来 同 时 表 示 繁 体 字 和 简 体 字 ， 而 g b 2 3 1 2 只 能 表 示 简 体 字 ， g b k 是 兼 容 g b 2 3 1 2 编 码 的 。 数 学 集 合 ， g b k 包 含 g b 2 3 1 2 。 U T F - 8 ： U T F - 8   顾 名 思 义 ， 是 一 套 以   8   位 为 一 个 编 码 单 位 的 可 变 长 编 码 。 会 将 一 个 码 位 编 码 为   1   到   4   个 字 节 ， 它 包 含 全 世 界 所 有 国 家 需 要 用 到 的 字 符 ， 是 国 际 编 码 ， 通 用 性 极 强 。   再 认 识 认 识 编 码 解 码 的 两 个 方 法 吧 ： e n c o d e ( )       d e c o d e ( ) d e c o d e 的 作 用 是 将 其 他 编 码 的 字 符 串 转 换 成 u n i c o d e 编 码 ， 如 s t r 1 . d e c o d e ( ' g b 2 3 1 2 ' ) ， 表 示 将 g b 2 3 1 2 编 码 的 字 符 串 s t r 1 转 换 成 u n i c o d e 编 码 。   e n c o d e 的 作 用 是 将 u n i c o d e 编 码 转 换 成 其 他 编 码 的 字 符 串 ， 如 s t r 2 . e n c o d e ( ' g b 2 3 1 2 ' ) ， 表 示 将 u n i c o d e 编 码 的 字 符 串 s t r 2 转 换 成 g b 2 3 1 2 编 码 。   因 此 ， 我 们 乱 码 的 原 因 可 能 是 因 为 编 译 器 的 编 码 方 式 与 网 站 的 方 式 不 一 ， 在 这 里 我 就 看 一 下 编 译 器 和 目 标 站 点 的 编 码 方 式 到 底 是 什 么 ： R U N ：   结 果 看 到       编 译 器 是 U T F - 8             目 标 网 址 是   I S O - 8 8 5 9 - 1 利 用 刚 刚 的 e n c o d e ( ) ， 我 们 将 U T F - 8 编 码 转 换 成 I S O - 8 8 5 9 - 1 编 码 ： R U N ：
发 现 还 是 不 行 ， 这 时 我 们 去 浏 览 器 的 抓 包 分 析 器 看 看 ： 发 现 是 g b 2 3 1 2 编 码 这 时 候 我 们 要 多 走 一 步 ， 将 g b 2 3 1 2 编 码 解 码 成 U T F - 8 ： R U N :   异 常 报 错 ！   不 信 邪 ， 继 续 百 度 ！ ！ ！ 百 度 上 说 在 ’ g b 2 3 1 2 ’ 后 面 加 上 e r r o r = ’ i g n o r e ’ 即 可 ： R U N ： 终 于 成 功 ！ 这 里 有 两 种 写 法 ， 其 实 上 面 讲 G B K 的 时 候 就 已 经 讲 到 G B K 是 可 用 兼 容 g b 2 3 1 2 的 ， 所 以 第 二 种 写 法 是 ： d e c o d e ( ‘ G B K ’ ) 就 可 以 直 接 成 功 了 ！ ( 已 经 实 践 过 了 ) 直 到 这 里 第 一 部 分 E N D ！ ！ ！ ！  
第 二 步 ： 解 析 出 小 说 的 目 录 与 详 情 页 面 的 U R L ① 是 小 说 的 目 录 集 合 ， 全 部 的 目 录 都 在 < l i > < / l i > 标 签 中 ， 也 包 括 详 情 信 息 的 U R L ② 就 是 详 情 信 息 的 U R L 根 据 所 写 的 代 码 ， 就 要 提 取 出 这 两 样 东 西 ！ ！ ！ 芜 湖 成 功 ！ ！ ！ 终 于 没 有 报 错 了 ！ ！ ！ ！ ！ ！ ！ ！ ！ 第 三 步 ： 爬 取 所 有 章 节 详 情 信 息 的 第 一 页 要 爬 取 的 详 情 信 息 在 标 签 ’ d i v ’   c l a s s = ’ o n e a r c x s b d ’   之 下 R U N ： 芜 湖 ！ ！ ！ 成 功 ！ ！ ！  
第 四 步 ： 详 情 信 息 的 二 次 跳 转 刚 刚 只 爬 取 了 第 一 页 ， 现 在 还 有 第 二 页 没 有 爬 ！ 这 里 我 想 到 的 解 决 办 法 是 嵌 套 循 环 ： 先 写 一 个 筛 选 下 一 页 的 U R L 的 列 表 ： R U N ： 爬 取 下 一 页 的 详 情 信 息 ， 实 现 二 次 跳 转 ： R U N ： 成 功 对 应 上 ! ! ! 爬 取 成 功 ！ ！ ！ ！ ！ ！ ！ ！
到 这 里 我 们 的 爬 取 任 务 已 经 要 完 成 8 0 % 啦 ！ ！ ！ ， 现 在 只 需 要 把 第 一 页 爬 取 的 详 情 信 息 和 第 二 页 的 详 细 信 息 做 一 个 循 环 拼 接 ， 即 可 完 成 任 务 ！ R U N :   这 里 发 现 ， 虽 然 内 容 拼 接 成 功 ， 但 是 小 说 的 第 一 章 却 没 有 爬 取 到 ！ ！ ！ 原 因 找 了 好 久 ， 猜 测 应 该 是 上 面 讲 到 的 第 一 章 的 那 个 列 表 为 空 的 问 题 ！ 随 后 不 断 在 p y t h o n 爬 虫 群 里 一 直 问 这 个 问 题 ， 居 然 有 个 大 佬 主 动 加 我 好 友 跟 我 一 起 探 讨 这 个 问 题 ( 有 被 暖 到 ) ！ ！ ！ ！ 大 佬 说 ： 因 为 在 f o r l i _ 2   i n   l i _ l i s t _ 2 : 这 个 循 环 中 ， 满 足 循 环 的 条 件 是 l i _ l i s t _ 2 这 个 列 表 不 能 为 空 ， 而 刚 刚 好 输 出 的 列 表 中 第 一 个 就 是 空 列 表 ， 问 题 根 源 找 到 了 ， 怎 么 解 决 呢 ？ ？ ？
我 的 方 法 是 在 第 一 个 f o r 循 环 前 面 添 加 一 段 专 门 对 第 一 章 内 容 的 特 殊 请 求 ， 就 像 这 样 ： 虽 然 可 以 解 决 问 题 ， 但 是 却 无 法 保 证 后 面 的 哪 一 个 列 表 中 也 会 出 现 这 种 空 列 表 ， 治 标 不 治 本 ， 随 后 还 是 经 过 大 佬 指 点 ， 加 一 个 i f 判 断 语 句 即 可 解 决 问 题 ： R U N : 成 功 ！ ！ ！ 关 于 小 说 的 全 部 章 节 ， 以 及 全 部 内 容 ， 已 经 抓 取 完 毕 ！
  第 五 步 ： 最 后 一 步 ， 输 入 到 t x t 文 本 中
回复

举报

高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

使用Markdown编辑器编辑 使用富文本编辑器编辑

Archiver| 手机版| 小黑屋|
Powered by Discuz! X3.4 Copyright © 2001-2020, Tencent Cloud. 商业源码建议获取授权，如侵犯您的权益，请联系客服处理