搜索

[26138] 2017-03-05_一个使用asyncio协程的网络爬虫（二）

文档创建者：s7ckTeam
浏览次数：0
最后更新：2025-01-19
2017-03-05_一个使用asyncio协程的网络爬虫（二） - -   A .   J e s s e   J i r y u   D a v i s   ,   G u i d o   v a n   R o s s u m 0 2 % 0 3 % 1 2 % 3 7 % 5 4 % 一 个 使 用   a s y n c i o   协 程 的 网 络 爬 虫 （ 二 ） 原 创   译 者 ： q i n g y u n h a   L i n u x 中 国   2 0 1 7 - 0 3 - 0 5 然 后 ， 由 于   P y t h o n   的 协 程 不 仅 有 效 而 且 可 扩 展 ， 我 们 将 用   P y t h o n   的 生 成 器 函 数 实 现 一 个 简 单 的 协 程 。 本 文 导 航 - - 协 程 - 生 成 器 如 何 工 作 - 使 用 生 成 器 构 建 协 程 - 用   y i e l d   f r o m   重 构 协 程 编 译 自 ：   h t t p : / / a o s a b o o k . o r g / e n / 5 0 0 L / p a g e s / a - w e b - c r a w l e r - w i t h - a s y n c i o - c o r o u t i n e s . h t m l   作 者 ：   A .   J e s s e   J i r y u   D a v i s   ,   G u i d o   v a n   R o s s u m 译 者 ：   q i n g y u n h a 本 文 作 者 ： A .   J e s s e   J i r y u   D a v i s   是 纽 约   M o n g o D B   的 工 程 师 。 他 编 写 了 异 步   M o n g o D B   P y t h o n   驱 动 程 序   M o t o r ， 也 是   M o n g o D B   C   驱 动 程 序 的 开 发 领 袖 和   P y M o n g o   团 队 成 员 。   他 也 为   a s y n c i o   和   T o r n a d o   做 了 贡 献 ， 在   h t t p : / / e m p t y s q u a . r e   上 写 作 。 G u i d o   v a n   R o s s u m   是 主 流 编 程 语 言   P y t h o n   的 创 造 者 ， P y t h o n   社 区 称 他 为   B D F L   （ 仁 慈 的 终 生 大 独 裁 者   ( B e n e v o l e n t   D i c t a t o r   F o r L i f e ) ） — — 这 是 一 个 来 自   M o n t y   P y t h o n   短 剧 的 称 号 。 他 的 主 页 是   h t t p : / / w w w . p y t h o n . o r g / ~ g u i d o /   。
协 程 还 记 得 我 们 对 你 许 下 的 承 诺 么 ？ 我 们 可 以 写 出 这 样 的 异 步 代 码 ， 它 既 有 回 调 方 式 的 高 效 ， 也 有 多 线 程 代 码 的 简 洁 。 这 个 结 合 是 同 过 一 种 称 为 c o r o u t i n e 协 程 的 模 式 来 实 现 的 。 使 用   P y t h o n 3 . 4   标 准 库   a s y n c i o   和 一 个 叫 “ a i o h t t p ” 的 包 ， 在 协 程 中 获 取 一 个 网 页 是 非 常 直 接 的 （     修 饰 符 并 非 魔 法 。 事 实 上 ， 如 果 它 修 饰 的 是 一 个 生 成 器 函 数 ， 并 且 没 有 设 置     环 境 变 量 的 话 ， 这 个 修 饰 符 基 本 上 没 啥 用 。 它 只 是 为 了 框 架 的 其 它 部 分 方 便 ， 设 置 了 一 个 属 性     而 已 。 也 可 以 直 接 使 用   a s y n c i o   和 裸 生 成 器 ， 而 没 有     修 饰 符 ） ： 它 也 是 可 扩 展 的 。 在 作 者   J e s s e   的 系 统 上 ， 与 每 个 线 程   5 0 k   内 存 相 比 ， 一 个   P y t h o n   协 程 只 需 要   3 k   内 存 。 P y t h o n   很 容 易 就 可 以 启 动 上 千 个 协 程 。 协 程 的 概 念 可 以 追 溯 到 计 算 机 科 学 的 远 古 时 代 ， 它 很 简 单 ， 一 个 可 以 暂 停 和 恢 复 的 子 过 程 。 线 程 是 被 操 作 系 统 控 制 的 抢 占 式 多 任 务 ， 而 协 程 的 多 任 务 是 可 合 作 的 ， 它 们 自 己 选 择 什 么 时 候 暂 停 去 执 行 下 一 个 协 程 。 @ a s y n c i o . c o r o u t i n e P Y T H O N A S Y N C I O D E B U G _ i s _ c o r o u t i n e @ a s y n c i o . c o r o u t i n e 1 .           @ a s y n c i o . c o r o u t i n e 2 .           d e f   f e t c h ( s e l f ,   u r l ) : 3 .                   r e s p o n s e   =   y i e l d   f r o m   s e l f . s e s s i o n . g e t ( u r l ) 4 .                   b o d y   =   y i e l d   f r o m   r e s p o n s e . r e a d ( )
有 很 多 协 程 的 实 现 。 甚 至 在   P y t h o n   中 也 有 几 种 。 P y t h o n   3 . 4   标 准 库   a s y n c i o   中 的 协 程 是 建 立 在 生 成 器 之 上 的 ， 这 是 一 个   F u t u r e 类 和 “ y i e l d   f r o m ” 语 句 。 从   P y t h o n   3 . 5   开 始 ， 协 程 变 成 了 语 言 本 身 的 特 性 （ “ P E P   4 9 2   C o r o u t i n e s   w i t h   a s y n c   a n d   a w a i t   s y n t a x ” [ 1 ]   中 描 述 了   P y t h o n   3 . 5   内 置 的 协 程 ） 。 然 而 ， 理 解   P y t h o n   3 . 4   中 这 个 通 过 语 言 原 有 功 能 实 现 的 协 程 ， 是 我 们 处 理   P y t h o n   3 . 5   中 原 生 协 程 的 基 础 。 要 解 释   P y t h o n   3 . 4   中 基 于 生 成 器 的 协 程 ， 我 们 需 要 深 入 生 成 器 的 方 方 面 面 ， 以 及 它 们 是 如 何 在   a s y n c i o   中 用 作 协 程 的 。 我 很 高 兴 就 此 写 点 东 西 ， 想 必 你 也 希 望 继 续 读 下 去 。 我 们 解 释 了 基 于 生 成 器 的 协 程 之 后 ， 就 会 在 我 们 的 异 步 网 络 爬 虫 中 使 用 它 们 。 生 成 器 如 何 工 作 在 你 理 解 生 成 器 之 前 ， 你 需 要 知 道 普 通 的   P y t h o n   函 数 是 怎 么 工 作 的 。 正 常 情 况 下 ， 当 一 个 函 数 调 用 一 个 子 过 程 ， 这 个 被 调 用 函 数 获 得 控 制 权 ， 直 到 它 返 回 或 者 有 异 常 发 生 ， 才 把 控 制 权 交 给 调 用 者 ： 标 准 的   P y t h o n   解 释 器 是 用   C   语 言 写 的 。 一 个   P y t h o n   函 数 被 调 用 所 对 应 的   C   函 数 是   。 它 获 得 一 个   P y t h o n   栈 帧 结 构 并 在 这 个 栈 帧 的 上 下 文 中 执 行   P y t h o n   字 节 码 。 这 里 是     函 数 的 字 节 码 ： 1 .   > > >   d e f   f o o ( ) : 2 .   . . .           b a r ( ) 3 .   . . . 4 .   > > >   d e f   b a r ( ) : 5 .   . . .           p a s s P y E v a l _ E v a l F r a m e E x f o o 1 .   > > >   i m p o r t   d i s 2 .   > > >   d i s . d i s ( f o o ) 3 .       2                       0   L O A D _ G L O B A L                             0   ( b a r ) 4 .                               3   C A L L _ F U N C T I O N                         0   ( 0   p o s i t i o n a l ,   0   k e y w o r d   p a i r ) 5 .                               6   P O P _ T O P 6 .                               7   L O A D _ C O N S T                               0   ( N o n e ) 7 .                             1 0   R E T U R N _ V A L U E f o o
  函 数 在 它 栈 中 加 载     函 数 并 调 用 它 ， 然 后 把     的 返 回 值 从 栈 中 弹 出 ， 加 载     值 到 堆 栈 并 返 回 。 当     遇 到     字 节 码 时 ， 它 会 创 建 一 个 新 的 栈 帧 ， 并 用 这 个 栈 帧 递 归 的 调 用     来 执 行     函 数 。 非 常 重 要 的 一 点 是 ， P y t h o n   的 栈 帧 在 堆 中 分 配 ！ P y t h o n   解 释 器 是 一 个 标 准 的   C   程 序 ， 所 以 它 的 栈 帧 是 正 常 的 栈 帧 。 但 是 P y t h o n   的 栈 帧 是 在 堆 中 处 理 。 这 意 味 着   P y t h o n   栈 帧 在 函 数 调 用 结 束 后 依 然 可 以 存 在 。 我 们 在     函 数 中 保 存 当 前 的 栈 帧 ， 交 互 式 的 看 看 这 种 现 象 ： f o o b a r b a r N o n e P y E v a l _ E v a l F r a m e E x C A L L _ F U N C T I O N P y E v a l _ E v a l F r a m e E x b a r b a r 1 .   > > >   i m p o r t   i n s p e c t 2 .   > > >   f r a m e   =   N o n e 3 .   > > >   d e f   f o o ( ) : 4 .   . . .           b a r ( ) 5 .   . . . 6 .   > > >   d e f   b a r ( ) : 7 .   . . .           g l o b a l   f r a m e 8 .   . . .           f r a m e   =   i n s p e c t . c u r r e n t f r a m e ( ) 9 .   . . . 1 0 .   > > >   f o o ( ) 1 1 .   > > >   #   T h e   f r a m e   w a s   e x e c u t i n g   t h e   c o d e   f o r   ' b a r ' . 1 2 .   > > >   f r a m e . f _ c o d e . c o _ n a m e 1 3 .   ' b a r ' 1 4 .   > > >   #   I t s   b a c k   p o i n t e r   r e f e r s   t o   t h e   f r a m e   f o r   ' f o o ' . 1 5 .   > > >   c a l l e r _ f r a m e   =   f r a m e . f _ b a c k
F i g u r e   5 . 1   -   F u n c t i o n   C a l l s 现 在 该 说   P y t h o n   生 成 器 了 ， 它 使 用 同 样 构 件 — — 代 码 对 象 和 栈 帧 — — 去 完 成 一 个 不 可 思 议 的 任 务 。 这 是 一 个 生 成 器 函 数 ： 在   P y t h o n   把     编 译 成 字 节 码 的 过 程 中 ， 一 旦 它 看 到     语 句 就 知 道 这 是 一 个 生 成 器 函 数 而 不 是 普 通 的 函 数 。 它 就 会 设 置 一 个 标 志 来 记 住 这 个 事 实 ： 1 6 .   > > >   c a l l e r _ f r a m e . f _ c o d e . c o _ n a m e 1 7 .   ' f o o ' 1 .   > > >   d e f   g e n _ f n ( ) : 2 .   . . .           r e s u l t   =   y i e l d   1 3 .   . . .           p r i n t ( ' r e s u l t   o f   y i e l d :   { } ' . f o r m a t ( r e s u l t ) ) 4 .   . . .           r e s u l t 2   =   y i e l d   2 5 .   . . .           p r i n t ( ' r e s u l t   o f   2 n d   y i e l d :   { } ' . f o r m a t ( r e s u l t 2 ) ) 6 .   . . .           r e t u r n   ' d o n e ' 7 .   . . .           g e n _ f n y i e l d 1 .   > > >   #   T h e   g e n e r a t o r   f l a g   i s   b i t   p o s i t i o n   5 . 2 .   > > >   g e n e r a t o r _ b i t   =   1   < <   5
当 你 调 用 一 个 生 成 器 函 数 ， P y t h o n   看 到 这 个 标 志 ， 就 不 会 实 际 运 行 它 而 是 创 建 一 个 生 成 器 ： P y t h o n   生 成 器 封 装 了 一 个 栈 帧 和 函 数 体 代 码 的 引 用 ： 所 有 通 过 调 用     的 生 成 器 指 向 同 一 段 代 码 ， 但 都 有 各 自 的 栈 帧 。 这 些 栈 帧 不 再 任 何 一 个 C 函 数 栈 中 ， 而 是 在 堆 空 间 中 等 待 被 使 用 ： F i g u r e   5 . 2   -   G e n e r a t o r s 栈 帧 中 有 一 个 指 向 “ 最 后 执 行 指 令 ” 的 指 针 。 初 始 化 为   - 1 ， 意 味 着 它 没 开 始 运 行 ： 3 .   > > >   b o o l ( g e n _ f n . _ _ c o d e _ _ . c o _ f l a g s   &   g e n e r a t o r _ b i t ) 4 .   T r u e 1 .   > > >   g e n   =   g e n _ f n ( ) 2 .   > > >   t y p e ( g e n ) 3 .   < c l a s s   ' g e n e r a t o r ' > 1 .   > > >   g e n . g i _ c o d e . c o _ n a m e 2 .   ' g e n _ f n ' g e n _ f n 1 .   > > >   g e n . g i _ f r a m e . f _ l a s t i 2 .   - 1
当 我 们 调 用     时 ， 生 成 器 一 直 运 行 到 第 一 个     语 句 处 停 止 ， 并 且     返 回   1 ， 因 为 这 是     传 递 给     表 达 式 的 值 。 现 在 ， 生 成 器 的 指 令 指 针 是   3 ， 所 编 译 的 P y t h o n   字 节 码 一 共 有   5 6   个 字 节 ： 这 个 生 成 器 可 以 在 任 何 时 候 、 任 何 函 数 中 恢 复 运 行 ， 因 为 它 的 栈 帧 并 不 在 真 正 的 栈 中 ， 而 是 堆 中 。 在 调 用 链 中 它 的 位 置 也 是 不 固 定 的 ， 它 不 必 遵 循 普 通 函 数 先 进 后 出 的 顺 序 。 它 像 云 一 样 自 由 。 我 们 可 以 传 递 一 个 值     给 生 成 器 ， 它 会 成 为     语 句 的 结 果 ， 并 且 生 成 器 会 继 续 运 行 到 第 二 个     语 句 处 。 s e n d y i e l d s e n d g e n y i e l d 1 .   > > >   g e n . s e n d ( N o n e ) 2 .   1 1 .   > > >   g e n . g i _ f r a m e . f _ l a s t i 2 .   3 3 .   > > >   l e n ( g e n . g i _ c o d e . c o _ c o d e ) 4 .   5 6 h e l l o y i e l d y i e l d 1 .   > > >   g e n . s e n d ( ' h e l l o ' ) 2 .   r e s u l t   o f   y i e l d :   h e l l o 3 .   2
现 在 栈 帧 中 包 含 局 部 变 量   ： 其 它 从     创 建 的 生 成 器 有 着 它 自 己 的 栈 帧 和 局 部 变 量 。 当 我 们 再 一 次 调 用   ， 生 成 器 继 续 从 第 二 个     开 始 运 行 ， 以 抛 出 一 个 特 殊 的     异 常 为 结 束 。 这 个 异 常 有 一 个 值   ， 它 就 是 生 成 器 的 返 回 值 。 使 用 生 成 器 构 建 协 程 所 以 生 成 器 可 以 暂 停 ， 可 以 给 它 一 个 值 让 它 恢 复 ， 并 且 它 还 有 一 个 返 回 值 。 这 些 特 性 看 起 来 很 适 合 去 建 立 一 个 不 使 用 那 种 乱 糟 糟 的 意 面 似 的 回 调 异 步 编 程 模 型 。 我 们 想 创 造 一 个 这 样 的 “ 协 程 ” ： 一 个 在 程 序 中 可 以 和 其 他 过 程 合 作 调 度 的 过 程 。 我 们 的 协 程 将 会 是 标 准 库     中 协 程 的 一 个 简 化 版 本 ， 我 们 将 使 用 生 成 器 ， f u t u r e s   和     语 句 。 r e s u l t 1 .   > > >   g e n . g i _ f r a m e . f _ l o c a l s 2 .   { ' r e s u l t ' :   ' h e l l o ' } g e n _ f n s e n d y i e l d S t o p I t e r a t i o n 1 .   > > >   g e n . s e n d ( ' g o o d b y e ' ) 2 .   r e s u l t   o f   2 n d   y i e l d :   g o o d b y e 3 .   T r a c e b a c k   ( m o s t   r e c e n t   c a l l   l a s t ) : 4 .       F i l e   " < i n p u t > " ,   l i n e   1 ,   i n   < m o d u l e > 5 .   S t o p I t e r a t i o n :   d o n e " d o n e " a s y n c i o y i e l d   f r o m
首 先 ， 我 们 需 要 一 种 方 法 去 代 表 协 程 所 需 要 等 待 的   f u t u r e   事 件 。 一 个 简 化 的 版 本 是 ： 5 .   8 .   一 个   f u t u r e   初 始 化 为 “ 未 解 决 的 ” ， 它 通 过 调 用     来 “ 解 决 ” 。 （ 这 个   f u t u r e   缺 少 很 多 东 西 ， 比 如 说 ， 当 这 个   f u t u r e   解 决 后 ， y i e l d 生 成 的 协 程 应 该 马 上 恢 复 而 不 是 暂 停 ， 但 是 在 我 们 的 代 码 中 却 不 没 有 这 样 做 。 参 见   a s y n c i o   的   F u t u r e   类 以 了 解 其 完 整 实 现 。 ） 让 我 们 用   f u t u r e   和 协 程 来 改 写 我 们 的   f e t c h e r 。 我 们 之 前 用 回 调 写 的     如 下 ： 1 .   c l a s s   F u t u r e : 2 .           d e f   _ _ i n i t _ _ ( s e l f ) : 3 .                   s e l f . r e s u l t   =   N o n e 4 .                   s e l f . _ c a l l b a c k s   =   [ ] 6 .           d e f   a d d _ d o n e _ c a l l b a c k ( s e l f ,   f n ) : 7 .                   s e l f . _ c a l l b a c k s . a p p e n d ( f n ) 9 .           d e f   s e t _ r e s u l t ( s e l f ,   r e s u l t ) : 1 0 .                   s e l f . r e s u l t   =   r e s u l t 1 1 .                   f o r   f n   i n   s e l f . _ c a l l b a c k s : 1 2 .                           f n ( s e l f ) s e t _ r e s u l t f e t c h 1 .   c l a s s   F e t c h e r : 2 .           d e f   f e t c h ( s e l f ) : 3 .                   s e l f . s o c k   =   s o c k e t . s o c k e t ( ) 4 .                   s e l f . s o c k . s e t b l o c k i n g ( F a l s e ) 5 .                   t r y : 6 .                           s e l f . s o c k . c o n n e c t ( ( ' x k c d . c o m ' ,   8 0 ) ) 7 .                   e x c e p t   B l o c k i n g I O E r r o r : 8 .                           p a s s 9 .                   s e l e c t o r . r e g i s t e r ( s e l f . s o c k . f i l e n o ( ) ,
1 2 .     方 法 开 始 连 接 一 个 套 接 字 ， 然 后 注 册     回 调 函 数 ， 它 会 在 套 接 字 建 立 连 接 后 调 用 。 现 在 我 们 使 用 协 程 把 这 两 步 合 并 ： 8 .   1 0 .   1 3 .   9 .                   s e l e c t o r . r e g i s t e r ( s e l f . s o c k . f i l e n o ( ) , 1 0 .                                                       E V E N T _ W R I T E , 1 1 .                                                       s e l f . c o n n e c t e d ) 1 3 .           d e f   c o n n e c t e d ( s e l f ,   k e y ,   m a s k ) : 1 4 .                   p r i n t ( ' c o n n e c t e d ! ' ) 1 5 .                   #   A n d   s o   o n . . . . f e t c h c o n n e c t e d 1 .           d e f   f e t c h ( s e l f ) : 2 .                   s o c k   =   s o c k e t . s o c k e t ( ) 3 .                   s o c k . s e t b l o c k i n g ( F a l s e ) 4 .                   t r y : 5 .                           s o c k . c o n n e c t ( ( ' x k c d . c o m ' ,   8 0 ) ) 6 .                   e x c e p t   B l o c k i n g I O E r r o r : 7 .                           p a s s 9 .                   f   =   F u t u r e ( ) 1 1 .                   d e f   o n _ c o n n e c t e d ( ) : 1 2 .                           f . s e t _ r e s u l t ( N o n e ) 1 4 .                   s e l e c t o r . r e g i s t e r ( s o c k . f i l e n o ( ) , 1 5 .                                                       E V E N T _ W R I T E , 1 6 .                                                       o n _ c o n n e c t e d ) 1 7 .                   y i e l d   f 1 8 .                   s e l e c t o r . u n r e g i s t e r ( s o c k . f i l e n o ( ) ) 1 9 .                   p r i n t ( ' c o n n e c t e d ! ' )
回复

举报

高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

使用Markdown编辑器编辑 使用富文本编辑器编辑

Archiver| 手机版| 小黑屋|
Powered by Discuz! X3.4 Copyright © 2001-2020, Tencent Cloud. 商业源码建议获取授权，如侵犯您的权益，请联系客服处理