搜索

[27397] 2019-07-15_如何让你写的爬虫速度像坐火箭一样快【并发请求】

文档创建者：s7ckTeam
浏览次数：0
最后更新：2025-01-19
2019-07-15_如何让你写的爬虫速度像坐火箭一样快【并发请求】 如 何 让 你 写 的 爬 虫 速 度 像 坐 火 箭 一 样 快 【 并 发 请 求 】 原 创   L o c o   N i g h t T e a m   2 0 1 9 - 0 7 - 1 5 开 坑 个 新 系 列 ， 主 要 面 向 新 手 ， 老 司 机 可 以 忽 略 。 这 个 系 列 内 的 文 章 将 会 让 你 知 道 如 何 做 到 让 你 写 的 爬 虫 在 运 行 的 时 候 速 度 能 像 火 箭 一 样 快 ！ 让 你 写 的 爬 虫 在 运 行 的 时 候 速 度 能 像 火 箭 一 样 快 ！ 很 多 初 学 爬 虫 的 朋 友 对 于 这 方 面 的 知 识 似 乎 是 空 白 的 ， 甚 至 还 有 一 些 在 爬 虫 岗 位 上 工 作 了 一 两 年 的 人 也 搞 不 清 楚 在 不 使 用 爬 虫 框 架 的 情 况 下 ， 如 何 写 出 一 个 速 度 足 够 快 的 爬 虫 ， 而 网 上 的 文 章 大 多 是 基 于 多 进 程 / G e v e n t 来 写 的 ， 代 码 看 起 来 就 极 其 复 杂 ， 甚 至 有 些 人 抄 来 抄 去 连 多 进 程 和 多 线 程 没 搞 清 楚 ， 如 果 是 一 个 想 学 习 这 方 面 知 识 的 人 看 到 了 这 样 的 文 章 ， 多 半 会 一 脸 懵 逼 。 综 上 所 述 ， 为 了 让 关 注 我 公 众 号 的 新 手 朋 友 们 能 快 速 掌 握 这 些 技 巧 ， 这 个 系 列 就 这 样 诞 生 了 ~ 话 不 多 说 ， 我 们 正 式 开 始 。 在 提 升 爬 虫 的 速 度 这 方 面 ， 最 基 础 、 最 有 效 、 最 直 接 的 操 作 是 什 么 呢 ？ 没 错 ， 就 是 并 发 请 求 ， 如 果 你 的 爬 虫 整 个 逻 辑 是 顺 序 执 行 的 ， 请 求 的 时 候 永 远 不 会 并 发 ， 那 么 你 就 会 遇 到 像 他 这 样 的 情 况 ： 《 小 白 写 了 个 壁 纸 的 爬 虫 ， 能 跑 起 来 ， 但 是 感 觉 很 慢 ， 不 知 道 怎 么 回 事 ， 请 大 佬 指 点 》 。 上 面 这 是 我 昨 天 刷 V 2 的 时 候 看 到 的 一 个 帖 子 ， 楼 主 的 代 码 内 容 简 单 概 括 一 下 就 完 全 是 顺 序 执 行 的 ， 每 下 载 一 个 图 片 都 需 要 等 待 当 前 这 个 图 片 下 载 完 了 才 能 继 续 下 载 下 一 个 ， 这 样 子 做 当 然 会 非 常 慢 了 ！ 这 篇 文 章 就 拿 他 的 代 码 作 为 样 例 ， 在 原 来 的 基 础 上 进 行 一 些 调 整 ， 从 而 让 他 写 的 这 个 爬 虫 的 运 行 速 度 能 从 龟 爬 变 成 像 坐 火 箭 一 样 快 ！ 首 先 ， 我 们 需 要 知 道 什 么 是 并 发 ， 这 里 的 并 发 指 的 是 “ 并 行 发 送 请 求 ” ， 意 思 就 是 一 次 性 发 出 多 个 请 求 ， 从 而 达 到 节 省 时 间 的 效 果 ！ 那 么 并 发 和 不 并 发 的 区 别 在 哪 呢 ？ 简 单 来 说 就 是 这 样 子 的 ： 把 爬 虫 比 喻 成 工 人 ， 在 不 并 发 的 情 况 下 ， 一 个 工 人 一 次 只 能 做 一 件 事 情 ， 所 以 必 须 要 下 载 完 一 个 图 片 才 能 继 续 下 载 下 一 个 。 顺 序 执 行 的 情 况 而 在 并 发 的 情 况 下 ， 就 有 很 多 个 工 人 一 起 在 干 活 ， 每 个 工 人 都 被 分 配 了 一 件 事 情 做 ， 所 以 可 以 同 时 下 载 多 个 图 片 ， 速 度 自 然 就 快 了 很 多 。
并 发 的 情 况 当 然 ， 上 面 说 的 这 个 例 子 只 是 从 一 个 宏 观 的 角 度 上 来 看 并 发 ， 实 际 在 做 的 时 候 要 让 你 的 爬 虫 能 并 发 请 求 的 方 式 是 分 为 多 线 多 线 程 、 多 进 程 、 协 程 程 、 多 进 程 、 协 程 三 种 的 ， 并 不 是 每 一 种 方 式 在 运 行 时 的 效 果 都 像 上 面 说 的 这 样 ， 这 里 先 不 做 深 入 探 讨 ， 因 为 这 不 并 不 是 每 一 种 方 式 在 运 行 时 的 效 果 都 像 上 面 说 的 这 样 ， 这 里 先 不 做 深 入 探 讨 ， 因 为 这 不 是 本 文 的 重 点 。 是 本 文 的 重 点 。 我 们 现 在 只 需 要 知 道 ， 只 要 能 让 爬 虫 并 发 请 求 ， 就 能 同 时 下 载 多 个 图 片 ， 让 速 度 快 得 飞 起 ， 这 样 就 够 了 。 那 么 我 们 要 用 上 面 说 的 三 种 方 式 里 的 哪 一 种 来 实 现 并 发 请 求 呢 ？ 这 还 用 问 吗 ？ 当 然 是 选 择 代 码 最 简 单 、 改 动 最 小 ， 并 且 最 容 易 看 懂 的 协 程 啊 ！ 在 P y t h o n 3 . 4 之 后 P y t h o n 就 引 入 了 一 个 叫 做 a s y n c i o 的 库 ， 原 生 支 持 了 异 步 I O ， 而 在 3 . 5 之 后 P y t h o n 又 支 持 了 和 这 两 个 语 法 ， 使 得 写 异 步 代 码 可 以 像 写 同 步 代 码 一 样 简 单 易 读 。 刚 刚 又 提 到 了 两 个 词 ， 同 步 和 异 步 ， 这 两 个 词 的 含 义 其 实 就 跟 上 面 的 并 发 差 不 多 ， 同 步 代 码 就 是 顺 序 执 行 的 ， 而 异 刚 刚 又 提 到 了 两 个 词 ， 同 步 和 异 步 ， 这 两 个 词 的 含 义 其 实 就 跟 上 面 的 并 发 差 不 多 ， 同 步 代 码 就 是 顺 序 执 行 的 ， 而 异 步 则 不 是 ， 这 里 同 样 不 做 深 入 探 讨 ， 先 知 道 有 这 么 个 东 西 就 行 了 。 步 则 不 是 ， 这 里 同 样 不 做 深 入 探 讨 ， 先 知 道 有 这 么 个 东 西 就 行 了 。 看 到 这 里 肯 定 会 有 人 开 始 有 疑 问 了 ， 虽 然 前 面 说 我 们 要 用 协 程 来 实 现 并 发 请 求 ， 但 是 后 面 说 的 却 是 什 么 P y t h o n 支 持 原 生 异 步 ， 那 么 这 个 异 步 跟 协 程 的 关 系 又 是 什 么 呢 ？ 其 实 很 简 单 ， 协 程 可 以 让 你 写 异 步 代 码 的 时 候 能 像 写 同 步 代 码 一 样 简 单 ， 在 P y t h o n 3 中 写 协 程 代 码 的 核 心 语 法 就 是 和 这 两 个 ， 举 个 简 单 的 例 子 吧 ： 这 是 一 段 普 通 的 函 数 ， 它 属 于 同 步 代 码 ， 里 面 的 a s y n c a w a i t a s y n c a w a i t 1 d e f   f u n c ( ) : 2         p r i n t ( 1 ) 3         t i m e . s l e e p ( 1 0 ) 4         p r i n t ( 2 )
是 普 通 函 数 ， 也 属 于 同 步 代 码 。 而 这 是 一 个 协 程 函 数 ， 它 属 于 异 步 代 码 ， 里 面 的 是 协 程 函 数 ， 也 属 于 异 步 代 码 。 它 们 的 区 别 显 而 易 见 ， 用 协 程 来 写 异 步 代 码 ， 除 了 需 要 换 成 异 步 的 库 以 外 ， 就 只 是 多 了 个 、 而 已 ， 是 不 是 非 常 简 单 ？ 那 么 我 们 在 了 解 了 怎 么 写 协 程 代 码 之 后 ， 就 能 开 始 优 化 那 段 慢 成 龟 速 的 代 码 了 吗 ？ 答 案 是 否 定 的 ， 那 段 代 码 中 使 用 了 r e q u e s t s 库 进 行 网 络 请 求 ， 而 r e q u e s t s 是 一 个 同 步 库 ， 不 能 在 异 步 环 境 下 使 用 ； 同 样 ， 文 件 操 作 用 的 和 也 是 同 步 的 ， 也 不 能 在 异 步 环 境 下 使 用 。 所 以 在 开 始 之 前 我 们 还 需 要 了 解 两 个 库 ， 分 别 是 a i o h t t p 和 a i o f i l e s ， a i o h t t p 是 一 个 异 步 网 络 请 求 库 ， 而 a i o f i l e s 是 一 个 异 步 文 件 操 作 库 。 （ a i o f i l e s 是 基 于 线 程 池 实 现 的 ， 并 不 是 真 正 的 原 生 异 步 ， 但 问 题 不 大 ， 不 影 响 使 用 ） 切 记 ， 异 步 代 码 不 能 与 同 步 代 码 混 用 ， 否 则 如 果 同 步 代 码 耗 时 过 长 ， 异 步 代 码 就 会 被 阻 塞 ， 失 去 异 步 的 效 果 。 而 网 切 记 ， 异 步 代 码 不 能 与 同 步 代 码 混 用 ， 否 则 如 果 同 步 代 码 耗 时 过 长 ， 异 步 代 码 就 会 被 阻 塞 ， 失 去 异 步 的 效 果 。 而 网 络 请 求 和 文 件 操 作 是 整 个 流 程 中 最 耗 时 的 部 分 ， 所 以 我 们 必 须 使 用 异 步 的 库 来 进 行 操 作 ！ 否 则 就 白 搞 了 ！ 络 请 求 和 文 件 操 作 是 整 个 流 程 中 最 耗 时 的 部 分 ， 所 以 我 们 必 须 使 用 异 步 的 库 来 进 行 操 作 ！ 否 则 就 白 搞 了 ！ 好 了 ， 先 来 看 看 a i o h t t p 的 用 法 吧 ， 官 方 文 档 上 的 示 例 大 致 如 下 ： 是 不 是 觉 得 很 麻 烦 ， 不 像 r e q u e s t s 库 那 么 方 便 ？ 还 觉 得 两 层 很 丑 ？ 有 没 有 办 法 让 它 像 r e q u e s t s 库 一 样 方 便 呢 ？ 答 案 是 有 的 ， 有 一 个 叫 作 a i o h t t p - r e q u e s t s 的 库 ， 它 能 让 上 面 的 这 段 代 码 变 成 这 样 ： 清 爽 多 了 对 吧 ？ 我 们 等 下 就 用 它 了 ！ 记 得 装 这 个 库 的 前 提 是 要 先 装 记 得 装 这 个 库 的 前 提 是 要 先 装 a i o h t t p 哦 ！ 哦 ！ t i m e . s l e e p 1 a s y n c   d e f   f u n c ( ) :     #   调 用 协 程 函 数 的 那 个 函 数 也 需 要 是 一 个 协 程 函 数 2         p r i n t ( 1 ) 3         a w a i t   a s y n c i o . s l e e p ( 1 0 )     #   调 用 协 程 函 数 的 时 候 要 在 前 面 加 a w a i t 4         p r i n t ( 2 ) a s y n c i o . s l e e p a s y n c a w a i t o p e n f i l e . w r i t e 1 a s y n c   w i t h   a i o h t t p . C l i e n t S e s s i o n ( )   a s   s e s s i o n : 2         a s y n c   w i t h   s e s s i o n . g e t ( u r l )   a s   r e s p : 3                 r e s u l t   =   a w a i t   r e s p . t e x t ( ) a s y n c   w i t h 1 r e s p   =   a w a i t   r e q u e s t s . g e t ( u r l ) 2 r e s u l t   =   a w a i t   r e s p . t e x t ( )
然 后 我 们 来 看 看 a i o f i l e s 的 用 法 ， 官 方 文 档 上 的 示 例 如 下 ： 嗯 ， 这 个 用 起 来 就 和 用 同 步 代 码 操 作 文 件 差 不 多 了 ， 没 啥 可 挑 剔 的 ， 直 接 用 就 完 事 了 。 提 示 ： a i o h t t p - r e q u e s t s 默 认 是 创 建 并 使 用 了 s e s s i o n 的 ， 对 于 一 些 需 要 不 保 留 C o o k i e 进 行 请 求 的 场 景 需 要 自 己 实 例 化 一 个 类 ， 并 指 定 c o o k i e _ j a r 为 。 了 解 完 了 要 用 的 库 之 后 我 们 就 可 以 开 始 对 贴 子 中 的 代 码 进 行 魔 改 了 ， 如 果 你 用 的 不 是 P y t h o n 3 . 5 以 上 版 本 的 话 需 要 先 准 备 一 下 环 境 。 除 了 版 本 号 大 于 等 于 3 . 5 的 P y t h o n 以 外 ， 你 还 需 要 安 装 以 下 几 个 库 ： a i o h t t p （ 异 步 网 络 请 求 库 ） a i o h t t p - r e q u e s t s （ 让 a i o h t t p 用 起 来 更 方 便 的 库 ） a i o f i l e s （ 异 步 文 件 操 作 库 ） p i l l o w （ 其 实 就 是 P I L 库 ， 代 码 中 的 图 片 操 作 有 用 到 ） 执 行 一 下 一 次 性 装 完 ， 如 果 存 在 多 个 不 同 版 本 的 P y t h o n 环 境 记 得 区 分 好 。 然 后 我 们 打 开 编 辑 器 ， 开 始 改 代 码 ， 首 先 调 整 一 下 导 包 的 部 分 ， 将 里 面 的 r e q u e s t s 替 换 成 a i o h t t p - r e q u e s t s ， 像 这 样 ： 然 后 搜 索 一 下 ， 看 看 哪 些 地 方 用 到 了 它 。 1 a s y n c   w i t h   a i o f i l e s . o p e n ( ' f i l e n a m e ' ,   m o d e = ' r ' )   a s   f : 2         c o n t e n t s   =   a w a i t   f . r e a d ( ) 3 p r i n t ( c o n t e n t s ) R e q u e s t s a i o h t t p . D u m m y C o o k i e J a r p i p   i n s t a l l   a i o h t t p   a i o h t t p - r e q u e s t s   a i o f i l e s   p i l l o w r e q u e s t s
接 着 把 所 有 搜 到 的 部 分 都 给 改 成 异 步 请 求 的 。
同 时 不 要 忘 了 将 所 有 调 用 过 的 函 数 都 变 成 协 程 函 数 。 然 后 我 们 把 文 件 操 作 的 部 分 也 换 成 异 步 的 ， 使 用 代 替 。 r e q u e s t s . g e t a i o f i l e s . o p e n o p e n
最 主 要 的 部 分 都 换 好 了 ， 接 着 我 们 将 原 先 在 下 的 代 码 移 到 一 个 新 写 的 协 程 函 数 中 ， 并 且 将 调 用 前 面 协 程 函 数 的 部 分 都 加 上 。 再 导 入 一 下 a s y n c i o 库 ， 然 后 在 下 写 出 这 样 的 代 码 ： 上 面 这 个 是 P y t h o n 3 . 7 之 后 才 能 用 的 写 法 ， 低 于 P y t h o n 3 . 7 要 这 样 写 ： 现 在 我 们 就 可 以 运 行 一 下 看 看 修 改 后 的 代 码 能 不 能 跑 通 了 。 这 里 报 了 个 错 ， 从 错 误 堆 栈 中 可 以 看 出 问 题 是 出 在 这 里 的 ， 原 因 是 方 法 没 有 k e y 为 的 参 数 。 这 个 问 题 很 好 解 决 ， 只 需 要 将 变 成 i f   _ _ n a m e _ _   = =   ' _ _ m a i n _ _ ' : r u n a w a i t i f   _ _ n a m e _ _   = =   ' _ _ m a i n _ _ ' : r e s p o n s e   =   a w a i t   r e q u e s t s . g e t ( u r l = u r l ,   h e a d e r s = h e a d e r s ) s e l f . s e s s i o n . _ r e q u e s t u r l u r l = u r l u r l
就 好 了 （ 本 来 也 就 没 必 要 这 么 指 定 参 数 写 ） 。 将 代 码 中 所 有 用 到 并 且 存 在 这 种 写 法 的 都 做 一 下 调 整 ： 调 整 完 之 后 再 运 行 一 次 就 正 常 了 ， 效 果 和 原 先 的 代 码 相 同 。 r e q u e s t s . g e t u r l = u r l
注 意 ！ 仅 仅 是 这 样 并 不 会 让 速 度 发 生 很 大 的 变 化 ！ 我 们 最 后 还 需 要 将 这 一 堆 代 码 中 最 耗 时 且 是 顺 序 执 行 、 没 有 并 发 请 求 的 部 分 单 独 放 到 一 个 协 程 函 数 中 ， 并 且 用 来 并 发 调 用 （ 由 于 原 本 的 逻 辑 较 为 混 乱 ， 这 里 除 了 并 发 请 求 以 外 还 进 行 了 一 些 其 他 的 微 调 ， 主 要 是 计 数 和 文 件 路 径 的 部 分 ， 无 关 紧 要 ） 。 运 行 一 下 看 看 效 果 ， 刚 运 行 起 来 一 瞬 间 就 刷 了 一 排 的 下 载 完 成 ， 跟 修 改 之 前 比 起 来 简 直 是 天 差 地 别 。 a s y n c i o . g a t h e r
这 就 是 并 发 请 求 的 威 力 ！ 我 们 仅 仅 是 对 他 原 本 的 代 码 进 行 了 一 些 微 调 ， 把 最 耗 时 的 下 载 图 片 部 分 简 单 粗 暴 地 使 用 这 就 是 并 发 请 求 的 威 力 ！ 我 们 仅 仅 是 对 他 原 本 的 代 码 进 行 了 一 些 微 调 ， 把 最 耗 时 的 下 载 图 片 部 分 简 单 粗 暴 地 使 用 并 发 执 行 了 一 下 ， 速 度 就 从 龟 爬 变 成 了 像 坐 火 箭 一 样 快 ！ 并 发 执 行 了 一 下 ， 速 度 就 从 龟 爬 变 成 了 像 坐 火 箭 一 样 快 ！ （ 其 实 代 码 中 还 有 很 多 可 以 优 化 的 点 ， 这 里 就 不 一 一 拿 出 来 讲 了 ） 最 后 给 大 家 提 个 醒 ： 虽 然 并 发 请 求 非 常 牛 逼 ， 可 以 让 你 的 爬 虫 变 得 飞 快 ， 但 它 也 不 是 不 存 在 任 何 问 题 的 ！ 虽 然 并 发 请 求 非 常 牛 逼 ， 可 以 让 你 的 爬 虫 变 得 飞 快 ， 但 它 也 不 是 不 存 在 任 何 问 题 的 ！ 如 果 你 的 并 发 请 求 数 量 过 大 （ 又 称 并 发 数 过 高 ） ， 你 的 爬 虫 就 相 当 于 是 在 对 他 人 的 服 务 器 进 行 如 果 你 的 并 发 请 求 数 量 过 大 （ 又 称 并 发 数 过 高 ） ， 你 的 爬 虫 就 相 当 于 是 在 对 他 人 的 服 务 器 进 行 D o s 攻 击 （ 拒 绝 服 务 攻 击 （ 拒 绝 服 务 攻 击 ） 了 ！ 攻 击 ） 了 ！ 举 个 例 子 ， 你 在 爬 一 个 小 网 站 的 时 候 为 了 自 己 爬 的 速 度 更 快 ， 对 并 发 请 求 的 数 量 毫 无 限 制 ， 使 得 你 的 爬 虫 一 次 性 发 出 了 几 百 、 上 千 个 请 求 ， 但 一 般 的 小 网 站 根 本 扛 不 住 这 么 高 的 并 发 ！ 几 乎 会 在 一 瞬 间 就 被 你 的 爬 虫 给 打 爆 掉 ！ 试 想 一 下 ， 如 果 你 是 站 长 ， 看 到 这 样 的 情 形 你 会 怎 么 想 ？ 如 果 你 不 能 理 解 这 个 例 子 所 产 生 的 效 果 是 什 么 样 的 ， 可 以 自 己 搭 建 一 个 W e b 服 务 ， 只 放 一 个 简 单 的 页 面 ， 然 后 开 个 几 百 并 a s y n c i o . g a t h e r
回复

举报

高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

使用Markdown编辑器编辑 使用富文本编辑器编辑

Archiver| 手机版| 小黑屋|
Powered by Discuz! X3.4 Copyright © 2001-2020, Tencent Cloud. 商业源码建议获取授权，如侵犯您的权益，请联系客服处理