搜索

[26135] 2017-03-04_一个使用asyncio协程的网络爬虫（一）

文档创建者：s7ckTeam
浏览次数：116
最后更新：2025-01-19
2017-03-04_一个使用asyncio协程的网络爬虫（一） - -   A .   J e s s e   J i r y u   D a v i s   ,   G u i d o   v a n   R o s s u m 0 3 % 1 0 % 1 4 % 2 5 % 5 2 % 一 个 使 用   a s y n c i o   协 程 的 网 络 爬 虫 （ 一 ） 原 创   译 者 ： q i n g y u n h a   L i n u x 中 国   2 0 1 7 - 0 3 - 0 4 首 先 ， 我 们 会 实 现 一 个 事 件 循 环 并 用 这 个 事 件 循 环 和 回 调 来 勾 画 出 一 只 网 络 爬 虫 。 它 很 有 效 ， 但 是 当 把 它 扩 展 成 更 复 杂 的 问 题 时 ， 就 会 导 致 无 法 管 理 的 混 乱 代 码 。 本 文 导 航 - 介 绍 - 任 务 - 传 统 方 式 - 异 步 - 回 调 编 译 自 ：   h t t p : / / a o s a b o o k . o r g / e n / 5 0 0 L / p a g e s / a - w e b - c r a w l e r - w i t h - a s y n c i o - c o r o u t i n e s . h t m l   作 者 ：   A .   J e s s e   J i r y u   D a v i s   ,   G u i d o   v a n   R o s s u m 译 者 ：   q i n g y u n h a 本 文 作 者 ： A .   J e s s e   J i r y u   D a v i s   是 纽 约   M o n g o D B   的 工 程 师 。 他 编 写 了 异 步   M o n g o D B   P y t h o n   驱 动 程 序   M o t o r ， 也 是   M o n g o D B   C   驱 动 程 序 的 开 发 领 袖 和   P y M o n g o   团 队 成 员 。   他 也 为   a s y n c i o   和   T o r n a d o   做 了 贡 献 ， 在   h t t p : / / e m p t y s q u a . r e   上 写 作 。 G u i d o   v a n   R o s s u m   是 主 流 编 程 语 言   P y t h o n   的 创 造 者 ， P y t h o n   社 区 称 他 为   B D F L   （ B e n e v o l e n t   D i c t a t o r   F o r   L i f e 仁 慈 的 终 生 大 独 裁 者 ） — — 这 是 一 个 来 自 M o n t y   P y t h o n   短 剧 的 称 号 。 他 的 主 页 是   h t t p : / / w w w . p y t h o n . o r g / ~ g u i d o /   。
介 绍 经 典 的 计 算 机 科 学 强 调 高 效 的 算 法 ， 尽 可 能 快 地 完 成 计 算 。 但 是 很 多 网 络 程 序 的 时 间 并 不 是 消 耗 在 计 算 上 ， 而 是 在 等 待 许 多 慢 速 的 连 接 或 者 低 频 事 件 的 发 生 。 这 些 程 序 暴 露 出 一 个 新 的 挑 战 ： 如 何 高 效 的 等 待 大 量 网 络 事 件 。 一 个 现 代 的 解 决 方 案 是 异 步   I / O 。 这 一 章 我 们 将 实 现 一 个 简 单 的 网 络 爬 虫 。 这 个 爬 虫 只 是 一 个 原 型 式 的 异 步 应 用 ， 因 为 它 等 待 许 多 响 应 而 只 做 少 量 的 计 算 。 一 次 爬 的 网 页 越 多 ， 它 就 能 越 快 的 完 成 任 务 。 如 果 它 为 每 个 动 态 的 请 求 启 动 一 个 线 程 的 话 ， 随 着 并 发 请 求 数 量 的 增 加 ， 它 会 在 耗 尽 套 接 字 之 前 ， 耗 尽 内 存 或 者 线 程 相 关 的 资 源 。 使 用 异 步   I / O   可 以 避 免 这 个 的 问 题 。 我 们 将 分 三 个 阶 段 展 示 这 个 例 子 。 首 先 ， 我 们 会 实 现 一 个 事 件 循 环 并 用 这 个 事 件 循 环 和 回 调 来 勾 画 出 一 只 网 络 爬 虫 。 它 很 有 效 ， 但 是 当 把 它 扩 展 成 更 复 杂 的 问 题 时 ， 就 会 导 致 无 法 管 理 的 混 乱 代 码 。 然 后 ， 由 于   P y t h o n   的 协 程 不 仅 有 效 而 且 可 扩 展 ， 我 们 将 用   P y t h o n   的 生 成 器 函 数 实 现 一 个 简 单 的 协 程 。 在 最 后 一 个 阶 段 ， 我 们 将 使 用   P y t h o n   标 准 库 “ a s y n c i o ” 中 功 能 完 整 的 协 程 ，   并 通 过 异 步 队 列 完 成 这 个 网 络 爬 虫 。 （ 在   P y C o n   2 0 1 3 [ 1 ]   上 ， G u i d o   介 绍 了 标 准 的   a s y n c i o   库 ， 当 时 称 之 为 “ T u l i p ” 。 ） 任 务 网 络 爬 虫 寻 找 并 下 载 一 个 网 站 上 的 所 有 网 页 ， 也 许 还 会 把 它 们 存 档 ， 为 它 们 建 立 索 引 。 从 根   U R L   开 始 ， 它 获 取 每 个 网 页 ， 解 析 出 没 有 遇 到 过 的 链 接 加 到 队 列 中 。 当 网 页 没 有 未 见 到 过 的 链 接 并 且 队 列 为 空 时 ， 它 便 停 止 运 行 。 我 们 可 以 通 过 同 时 下 载 大 量 的 网 页 来 加 快 这 一 过 程 。 当 爬 虫 发 现 新 的 链 接 ， 它 使 用 一 个 新 的 套 接 字 并 行 的 处 理 这 个 新 链 接 ， 解 析 响 应 ， 添 加 新 链 接 到 队 列 。 当 并 发 很 大 时 ， 可 能 会 导 致 性 能 下 降 ， 所 以 我 们 会 限 制 并 发 的 数 量 ， 在 队 列 保 留 那 些 未 处 理 的 链 接 ， 直 到 一 些 正 在 执 行 的 任 务 完 成 。 传 统 方 式 怎 么 使 一 个 爬 虫 并 发 ？ 传 统 的 做 法 是 创 建 一 个 线 程 池 ， 每 个 线 程 使 用 一 个 套 接 字 在 一 段 时 间 内 负 责 一 个 网 页 的 下 载 。 比 如 ， 下 载   x k c d . c o m   网 站 的 一 个 网 页 ： 1 .   d e f   f e t c h ( u r l ) : 2 .           s o c k   =   s o c k e t . s o c k e t ( ) 3 .           s o c k . c o n n e c t ( ( ' x k c d . c o m ' ,   8 0 ) ) 4 .           r e q u e s t   =   ' G E T   { }   H T T P / 1 . 0 r n H o s t :   x k c d . c o m r n r n ' . f o r m a t ( u r l ) 5 .           s o c k . s e n d ( r e q u e s t . e n c o d e ( ' a s c i i ' ) ) 6 .           r e s p o n s e   =   b ' ' 7 .           c h u n k   =   s o c k . r e c v ( 4 0 9 6 )
1 1 .   套 接 字 操 作 默 认 是 阻 塞 的 ： 当 一 个 线 程 调 用 一 个 类 似     和     方 法 时 ， 它 会 阻 塞 ， 直 到 操 作 完 成 。 （ 即 使 是     也 能 被 阻 塞 ， 比 如 接 收 端 在 接 受 外 发 消 息 时 缓 慢 而 系 统 的 外 发 数 据 缓 存 已 经 满 了 的 情 况 下 ） 因 此 ， 为 了 同 一 时 间 内 下 载 多 个 网 页 ， 我 们 需 要 很 多 线 程 。 一 个 复 杂 的 应 用 会 通 过 线 程 池 保 持 空 闲 的 线 程 来 分 摊 创 建 线 程 的 开 销 。 同 样 的 做 法 也 适 用 于 套 接 字 ， 使 用 连 接 池 。 到 目 前 为 止 ， 使 用 线 程 的 是 成 本 昂 贵 的 ， 操 作 系 统 对 一 个 进 程 、 一 个 用 户 、 一 台 机 器 能 使 用 线 程 做 了 不 同 的 硬 性 限 制 。 在 作 者   J e s s e   的 系 统 中 ， 一 个   P y t h o n   线 程 需 要   5 0 K   的 内 存 ， 开 启 上 万 个 线 程 就 会 失 败 。 每 个 线 程 的 开 销 和 系 统 的 限 制 就 是 这 种 方 式 的 瓶 颈 所 在 。 在   D a n   K e g e l   那 一 篇 很 有 影 响 力 的 文 章 “ T h e   C 1 0 K   p r o b l e m [ 2 ] ” 中 ， 它 提 出 了 多 线 程 方 式 在   I / O   并 发 上 的 局 限 性 。 他 在 开 始 写 道 ， 网 络 服 务 器 到 了 要 同 时 处 理 成 千 上 万 的 客 户 的 时 代 了 ， 你 不 这 样 认 为 么 ？ 毕 竟 ， 现 在 网 络 规 模 很 大 了 。 K e g e l   在   1 9 9 9   年 创 造 出 “ C 1 0 K ” 这 个 术 语 。 一 万 个 连 接 在 今 天 看 来 还 是 可 接 受 的 ， 但 是 问 题 依 然 存 在 ， 只 不 过 大 小 不 同 。 回 到 那 时 候 ， 对 于   C 1 0 K   问 题 ， 每 个 连 接 启 一 个 线 程 是 不 切 实 际 的 。 现 在 这 个 限 制 已 经 成 指 数 级 增 长 。 确 实 ， 我 们 的 玩 具 网 络 爬 虫 使 用 线 程 也 可 以 工 作 的 很 好 。 但 是 ， 对 于 有 着 千 万 级 连 接 的 大 规 模 应 用 来 说 ， 限 制 依 然 存 在 ： 它 会 消 耗 掉 所 有 线 程 ， 即 使 套 接 字 还 够 用 。 那 么 我 们 该 如 何 解 决 这 个 问 题 ？ 异 步 异 步   I / O   框 架 在 一 个 线 程 中 完 成 并 发 操 作 。 让 我 们 看 看 这 是 怎 么 做 到 的 。 异 步 框 架 使 用 非 阻 塞 套 接 字 。 异 步 爬 虫 中 ， 我 们 在 发 起 到 服 务 器 的 连 接 前 把 套 接 字 设 为 非 阻 塞 ： 8 .           w h i l e   c h u n k : 9 .                   r e s p o n s e   + =   c h u n k 1 0 .                   c h u n k   =   s o c k . r e c v ( 4 0 9 6 ) 1 2 .           #   P a g e   i s   n o w   d o w n l o a d e d . 1 3 .           l i n k s   =   p a r s e _ l i n k s ( r e s p o n s e ) 1 4 .           q . a d d ( l i n k s ) c o n n e c t r e c v s e n d
对 一 个 非 阻 塞 套 接 字 调 用     方 法 会 立 即 抛 出 异 常 ， 即 使 它 可 以 正 常 工 作 。 这 个 异 常 复 现 了 底 层   C   语 言 函 数 令 人 厌 烦 的 行 为 ， 它 把     设 置 为   ， 告 诉 你 操 作 已 经 开 始 。 现 在 我 们 的 爬 虫 需 要 一 种 知 道 连 接 何 时 建 立 的 方 法 ， 这 样 它 才 能 发 送   H T T P   请 求 。 我 们 可 以 简 单 地 使 用 循 环 来 重 试 ： 3 .   1 0 .   这 种 方 法 不 仅 消 耗   C P U ， 也 不 能 有 效 的 等 待 多 个 套 接 字 。 在 远 古 时 代 ， B S D   U n i x   的 解 决 方 法 是   ， 这 是 一 个   C   函 数 ， 它 在 一 个 或 一 组 非 阻 塞 套 接 字 上 等 待 事 件 发 生 。 现 在 ， 互 联 网 应 用 大 量 连 接 的 需 求 ， 导 致     被   1 .   s o c k   =   s o c k e t . s o c k e t ( ) 2 .   s o c k . s e t b l o c k i n g ( F a l s e ) 3 .   t r y : 4 .           s o c k . c o n n e c t ( ( ' x k c d . c o m ' ,   8 0 ) ) 5 .   e x c e p t   B l o c k i n g I O E r r o r : 6 .           p a s s c o n n e c t e r r n o E I N P R O G R E S S 1 .   r e q u e s t   =   ' G E T   { }   H T T P / 1 . 0 r n H o s t :   x k c d . c o m r n r n ' . f o r m a t ( u r l ) 2 .   e n c o d e d   =   r e q u e s t . e n c o d e ( ' a s c i i ' ) 4 .   w h i l e   T r u e : 5 .           t r y : 6 .                   s o c k . s e n d ( e n c o d e d ) 7 .                   b r e a k     #   D o n e . 8 .           e x c e p t   O S E r r o r   a s   e : 9 .                   p a s s 1 1 .   p r i n t ( ' s e n t ' ) s e l e c t s e l e c t p o l l
  所 代 替 ， 在   B S D   上 的 实 现 是     ， 在   L i n u x   上 是   。 它 们 的   A P I   和     相 似 ， 但 在 大 数 量 的 连 接 中 也 能 有 较 好 的 性 能 。 P y t h o n   3 . 4   的     会 使 用 你 系 统 上 最 好 的     类 函 数 。 要 注 册 一 个 网 络   I / O   事 件 的 提 醒 ， 我 们 会 创 建 一 个 非 阻 塞 套 接 字 ， 并 使 用 默 认   s e l e c t o r   注 册 它 。 2 .   4 .   1 1 .   1 5 .   我 们 不 理 会 这 个 伪 造 的 错 误 ， 调 用   ， 传 递 套 接 字 文 件 描 述 符 和 一 个 表 示 我 们 想 要 监 听 什 么 事 件 的 常 量 表 达 式 。 为 了 当 连 接 建 立 时 收 到 提 醒 ， 我 们 使 用     ： 它 表 示 什 么 时 候 这 个 套 接 字 可 写 。 我 们 还 传 递 了 一 个   P y t h o n   函 数   p o l l k q u e u e e p o l l s e l e c t D e f a u l t S e l e c t o r s e l e c t 1 .   f r o m   s e l e c t o r s   i m p o r t   D e f a u l t S e l e c t o r ,   E V E N T _ W R I T E 3 .   s e l e c t o r   =   D e f a u l t S e l e c t o r ( ) 5 .   s o c k   =   s o c k e t . s o c k e t ( ) 6 .   s o c k . s e t b l o c k i n g ( F a l s e ) 7 .   t r y : 8 .           s o c k . c o n n e c t ( ( ' x k c d . c o m ' ,   8 0 ) ) 9 .   e x c e p t   B l o c k i n g I O E r r o r : 1 0 .           p a s s 1 2 .   d e f   c o n n e c t e d ( ) : 1 3 .           s e l e c t o r . u n r e g i s t e r ( s o c k . f i l e n o ( ) ) 1 4 .           p r i n t ( ' c o n n e c t e d ! ' ) 1 6 .   s e l e c t o r . r e g i s t e r ( s o c k . f i l e n o ( ) ,   E V E N T _ W R I T E ,   c o n n e c t e d ) s e l e c t o r . r e g i s t e r E V E N T _ W R I T E c o n n e c t e d
， 当 对 应 事 件 发 生 时 被 调 用 。 这 样 的 函 数 被 称 为 回 调 。 在 一 个 循 环 中 ， s e l e c t o r   接 收 到   I / O   提 醒 时 我 们 处 理 它 们 。   回 调 函 数 被 保 存 在     中 ， 一 旦 这 个 非 阻 塞 套 接 字 建 立 连 接 ， 它 就 会 被 取 出 来 执 行 。 不 像 我 们 前 面 那 个 快 速 轮 转 的 循 环 ， 这 里 的     调 用 会 暂 停 ， 等 待 下 一 个   I / O   事 件 ， 接 着 执 行 等 待 这 些 事 件 的 回 调 函 数 。 没 有 完 成 的 操 作 会 保 持 挂 起 ， 直 到 进 到 下 一 个 事 件 循 环 时 执 行 。 到 目 前 为 止 我 们 展 现 了 什 么 ？ 我 们 展 示 了 如 何 开 始 一 个   I / O   操 作 和 当 操 作 准 备 好 时 调 用 回 调 函 数 。 异 步 框 架 ， 它 在 单 线 程 中 执 行 并 发 操 作 ， 其 建 立 在 两 个 功 能 之 上 ， 非 阻 塞 套 接 字 和 事 件 循 环 。 我 们 这 里 达 成 了 “ c o n c u r r e n c y 并 发 性 ” ， 但 不 是 传 统 意 义 上 的 “ p a r a l l e l i s m 并 行 性 ” 。 也 就 是 说 ， 我 们 构 建 了 一 个 可 以 进 行 重 叠   I / O   的 微 小 系 统 ， 它 可 以 在 其 它 操 作 还 在 进 行 的 时 候 就 开 始 一 个 新 的 操 作 。 它 实 际 上 并 没 有 利 用 多 核 来 并 行 执 行 计 算 。 这 个 系 统 是 用 于 解 决 I / O - b o u n d I / O   密 集 问 题 的 ， 而 不 是 解 决   C P U - b o u n d C P U   密 集 问 题 的 。 （ P y t h o n   的 全 局 解 释 器 锁 禁 止 在 一 个 进 程 中 以 任 何 方 式 并 行 执 行   P y t h o n 代 码 。 在   P y t h o n   中 并 行 化   C P U   密 集 的 算 法 需 要 多 个 进 程 ， 或 者 以 将 该 代 码 移 植 为   C   语 言 并 行 版 本 。 但 是 这 是 另 外 一 个 话 题 了 。 ） 所 以 ， 我 们 的 事 件 循 环 在 并 发   I / O   上 是 有 效 的 ， 因 为 它 并 不 用 为 每 个 连 接 拨 付 线 程 资 源 。 但 是 在 我 们 开 始 前 ， 我 们 需 要 澄 清 一 个 常 见 的 误 解 ： 异 步 比 多 线 程 快 。 通 常 并 不 是 这 样 的 ， 事 实 上 ， 在   P y t h o n   中 ， 在 处 理 少 量 非 常 活 跃 的 连 接 时 ， 像 我 们 这 样 的 事 件 循 环 是 慢 于 多 线 程 的 。 在 运 行 时 环 境 中 是 没 有 全 局 解 释 器 锁 的 ， 在 同 样 的 负 载 下 线 程 会 执 行 的 更 好 。 异 步   I / O 真 正 适 用 于 事 件 很 少 、 有 许 多 缓 慢 或 睡 眠 的 连 接 的 应 用 程 序 。 （ J e s s e   在 “ 什 么 是 异 步 ， 它 如 何 工 作 ， 什 么 时 候 该 用 它 ？ [ 3 ] ” 一 文 中 指 出 了 异 步 所 适 用 和 不 适 用 的 场 景 。 M i k e   B a y e r   在 “ 异 步   P y t h o n   和 数 据 库 [ 4 ] ” 一 文 中 比 较 了 不 同 负 载 情 况 下 异 步   I / O 和 多 线 程 的 不 同 。 ） 回 调 c o n n e c t e d 1 .   d e f   l o o p ( ) : 2 .           w h i l e   T r u e : 3 .                   e v e n t s   =   s e l e c t o r . s e l e c t ( ) 4 .                   f o r   e v e n t _ k e y ,   e v e n t _ m a s k   i n   e v e n t s : 5 .                           c a l l b a c k   =   e v e n t _ k e y . d a t a 6 .                           c a l l b a c k ( ) c o n n e c t e d e v e n t _ k e y . d a t a s e l e c t
用 我 们 刚 刚 建 立 的 异 步 框 架 ， 怎 么 才 能 完 成 一 个 网 络 爬 虫 ？ 即 使 是 一 个 简 单 的 网 页 下 载 程 序 也 是 很 难 写 的 。 首 先 ， 我 们 有 一 个 尚 未 获 取 的   U R L   集 合 ， 和 一 个 已 经 解 析 过 的   U R L   集 合 。   集 合 包 括     和 已 经 完 成 的   U R L 。 用 根   U R L     初 始 化 它 们 。 获 取 一 个 网 页 需 要 一 系 列 的 回 调 。 在 套 接 字 连 接 建 立 时 会 触 发     回 调 ， 它 向 服 务 器 发 送 一 个   G E T   请 求 。 但 是 它 要 等 待 响 应 ， 所 以 我 们 需 要 注 册 另 一 个 回 调 函 数 ； 当 该 回 调 被 调 用 ， 它 仍 然 不 能 读 取 到 完 整 的 请 求 时 ， 就 会 再 一 次 注 册 回 调 ， 如 此 反 复 。 让 我 们 把 这 些 回 调 放 在 一 个     对 象 中 ， 它 需 要 一 个   U R L ， 一 个 套 接 字 ， 还 需 要 一 个 地 方 保 存 返 回 的 字 节 ： 我 们 的 入 口 点 在   ： 1 .   u r l s _ t o d o   =   s e t ( [ ' / ' ] ) 2 .   s e e n _ u r l s   =   s e t ( [ ' / ' ] ) s e e n _ u r l s u r l s _ t o d o / c o n n e c t e d F e t c h e r 1 .   c l a s s   F e t c h e r : 2 .           d e f   _ _ i n i t _ _ ( s e l f ,   u r l ) : 3 .                   s e l f . r e s p o n s e   =   b ' '     #   E m p t y   a r r a y   o f   b y t e s . 4 .                   s e l f . u r l   =   u r l 5 .                   s e l f . s o c k   =   N o n e F e t c h e r . f e t c h 1 .           #   M e t h o d   o n   F e t c h e r   c l a s s . 2 .           d e f   f e t c h ( s e l f ) : 3 .                   s e l f . s o c k   =   s o c k e t . s o c k e t ( ) 4 .                   s e l f . s o c k . s e t b l o c k i n g ( F a l s e )
9 .     方 法 从 连 接 一 个 套 接 字 开 始 。 但 是 要 注 意 这 个 方 法 在 连 接 建 立 前 就 返 回 了 。 它 必 须 将 控 制 返 回 到 事 件 循 环 中 等 待 连 接 建 立 。 为 了 理 解 为 什 么 要 这 样 做 ， 假 设 我 们 程 序 的 整 体 结 构 如 下 ： 4 .   当 调 用     函 数 后 ， 所 有 的 事 件 提 醒 才 会 在 事 件 循 环 中 处 理 ， 所 以     必 须 把 控 制 权 交 给 事 件 循 环 ， 这 样 我 们 的 程 序 才 能 知 道 什 么 时 候 连 接 已 建 立 ， 接 着 循 环 调 用     回 调 ， 它 已 经 在 上 面 的     方 法 中 注 册 过 。 4 .                   s e l f . s o c k . s e t b l o c k i n g ( F a l s e ) 5 .                   t r y : 6 .                           s e l f . s o c k . c o n n e c t ( ( ' x k c d . c o m ' ,   8 0 ) ) 7 .                   e x c e p t   B l o c k i n g I O E r r o r : 8 .                           p a s s 1 0 .                   #   R e g i s t e r   n e x t   c a l l b a c k . 1 1 .                   s e l e c t o r . r e g i s t e r ( s e l f . s o c k . f i l e n o ( ) , 1 2 .                                                       E V E N T _ W R I T E , 1 3 .                                                       s e l f . c o n n e c t e d ) f e t c h 1 .   #   B e g i n   f e t c h i n g   h t t p : / / x k c d . c o m / 3 5 3 / 2 .   f e t c h e r   =   F e t c h e r ( ' / 3 5 3 / ' ) 3 .   f e t c h e r . f e t c h ( ) 5 .   w h i l e   T r u e : 6 .           e v e n t s   =   s e l e c t o r . s e l e c t ( ) 7 .           f o r   e v e n t _ k e y ,   e v e n t _ m a s k   i n   e v e n t s : 8 .                   c a l l b a c k   =   e v e n t _ k e y . d a t a 9 .                   c a l l b a c k ( e v e n t _ k e y ,   e v e n t _ m a s k ) s e l e c t f e t c h c o n n e c t e d f e t c h
这 里 是 我 们 的     方 法 的 实 现 ： 7 .   这 个 方 法 发 送 一 个   G E T   请 求 。 一 个 真 正 的 应 用 会 检 查     的 返 回 值 ， 以 防 所 有 的 信 息 没 能 一 次 发 送 出 去 。 但 是 我 们 的 请 求 很 小 ， 应 用 也 不 复 杂 。 它 只 是 简 单 的 调 用   ， 然 后 等 待 响 应 。 当 然 ， 它 必 须 注 册 另 一 个 回 调 并 把 控 制 权 交 给 事 件 循 环 。 接 下 来 也 是 最 后 一 个 回 调 函 数   ， 它 处 理 服 务 器 的 响 应 ： 4 .   c o n n e c t e d 1 .           #   M e t h o d   o n   F e t c h e r   c l a s s . 2 .           d e f   c o n n e c t e d ( s e l f ,   k e y ,   m a s k ) : 3 .                   p r i n t ( ' c o n n e c t e d ! ' ) 4 .                   s e l e c t o r . u n r e g i s t e r ( k e y . f d ) 5 .                   r e q u e s t   =   ' G E T   { }   H T T P / 1 . 0 r n H o s t :   x k c d . c o m r n r n ' . f o r m a t ( s e l f . u r l ) 6 .                   s e l f . s o c k . s e n d ( r e q u e s t . e n c o d e ( ' a s c i i ' ) ) 8 .                   #   R e g i s t e r   t h e   n e x t   c a l l b a c k . 9 .                   s e l e c t o r . r e g i s t e r ( k e y . f d , 1 0 .                                                       E V E N T _ R E A D , 1 1 .                                                       s e l f . r e a d _ r e s p o n s e ) s e n d s e n d r e a d _ r e s p o n s e 1 .           #   M e t h o d   o n   F e t c h e r   c l a s s . 2 .           d e f   r e a d _ r e s p o n s e ( s e l f ,   k e y ,   m a s k ) : 3 .                   g l o b a l   s t o p p e d 5 .                   c h u n k   =   s e l f . s o c k . r e c v ( 4 0 9 6 )     #   4 k   c h u n k   s i z e . 6 .                   i f   c h u n k : 7 .                           s e l f . r e s p o n s e   + =   c h u n k 8 .                   e l s e : 9 .                           s e l e c t o r . u n r e g i s t e r ( k e y . f d )     #   D o n e   r e a d i n g .
1 1 .   1 6 .   这 个 回 调 在 每 次     发 现 套 接 字 可 读 时 被 调 用 ， 可 读 有 两 种 情 况 ： 套 接 字 接 受 到 数 据 或 它 被 关 闭 。 这 个 回 调 函 数 从 套 接 字 读 取   4 K   数 据 。 如 果 不 到   4 k ， 那 么 有 多 少 读 多 少 。 如 果 比   4 K   多 ，   中 只 包   4 K   数 据 并 且 这 个 套 接 字 保 持 可 读 ， 这 样 在 事 件 循 环 的 下 一 个 周 期 ， 会 再 次 回 到 这 个 回 调 函 数 。 当 响 应 完 成 时 ， 服 务 器 关 闭 这 个 套 接 字 ，   为 空 。 这 里 没 有 展 示 的     方 法 ， 它 返 回 一 个   U R L   集 合 。 我 们 为 每 个 新 的   U R L   启 动 一 个   f e t c h e r 。 注 意 一 个 使 用 异 步 回 调 方 式 编 程 的 好 处 ： 我 们 不 需 要 为 共 享 数 据 加 锁 ， 比 如 我 们 往   增 加 新 链 接 时 。 这 是 一 种 非 抢 占 式 的 多 任 务 ， 它 不 会 在 我 们 代 码 中 的 任 意 一 个 地 方 被 打 断 。 我 们 增 加 了 一 个 全 局 变 量   ， 用 它 来 控 制 这 个 循 环 ： 2 .   1 0 .                           l i n k s   =   s e l f . p a r s e _ l i n k s ( ) 1 2 .                           #   P y t h o n   s e t - l o g i c : 1 3 .                           f o r   l i n k   i n   l i n k s . d i f f e r e n c e ( s e e n _ u r l s ) : 1 4 .                                   u r l s _ t o d o . a d d ( l i n k ) 1 5 .                                   F e t c h e r ( l i n k ) . f e t c h ( )     #   < -   N e w   F e t c h e r . 1 7 .                           s e e n _ u r l s . u p d a t e ( l i n k s ) 1 8 .                           u r l s _ t o d o . r e m o v e ( s e l f . u r l ) 1 9 .                           i f   n o t   u r l s _ t o d o : 2 0 .                                   s t o p p e d   =   T r u e s e l e c t o r c h u n k c h u n k p a r s e _ l i n k s s e e n _ u r l s s t o p p e d 1 .   s t o p p e d   =   F a l s e 3 .   d e f   l o o p ( ) : 4 .           w h i l e   n o t   s t o p p e d :
回复

举报

高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

Archiver|
Powered by Discuz! X3.4 Copyright © 2001-2020, Tencent Cloud. 商业源码建议获取授权，如侵犯您的权益，请联系客服处理