搜索

[27421] 2019-10-10_Puppeteer用来做爬虫太Low了！但用在这里很合适！

文档创建者：s7ckTeam
浏览次数：58
最后更新：2025-01-19
2019-10-10_Puppeteer用来做爬虫太Low了！但用在这里很合适！ P u p p e t e e r   用 来 做 爬 虫 太   L o w   了 ！ 但 用 在 这 里 很 合 适 ！ 原 创   N i g h t T e a m 团 队   N i g h t T e a m   2 0 1 9 - 1 0 - 1 0 " N i g h t T e a m " 一 个 值 得 加 星 标 的 公 众 号 。 文 章 作 者 ： 「 夜 幕 团 队   N i g h t T e a m 」   -   张 冶 青 润 色 、 校 对 ： 「 夜 幕 团 队   N i g h t T e a m 」   -   L o c o 前 言 前 言 自 动 化 测 试 对 于 软 件 开 发 来 说 是 一 个 很 重 要 也 很 方 便 的 东 西 ， 但 是 自 动 化 测 试 工 具 除 了 能 用 来 做 测 试 以 外 ， 还 能 被 用 来 做 一 些 模 拟 人 类 操 作 的 事 情 ， 所 以 一 些   E 2 E   自 动 化 测 试 工 具 （ 例 如 ： S e l e n i u m 、 P u p p e t e e r 、 A p p i u m ） 因 为 其 强 大 的 模 拟 功 能 ， 经 常 还 被 爬 虫 工 程 师 们 用 来 抓 取 数 据 。 网 上 有 很 多 将 自 动 化 测 试 工 具 作 为 爬 虫 的 抓 取 教 程 ， 不 过 仅 仅 都 限 于 如 何 获 取 数 据 ， 而 我 们 知 道 这 些 基 于 浏 览 器 的 解 这 些 基 于 浏 览 器 的 解 决 方 案 都 有 较 大 的 性 能 开 销 ， 而 且 效 率 不 高 ， 并 不 是 爬 虫 的 最 佳 选 择 决 方 案 都 有 较 大 的 性 能 开 销 ， 而 且 效 率 不 高 ， 并 不 是 爬 虫 的 最 佳 选 择 。 本 篇 文 章 将 介 绍 自 动 化 测 试 工 具 的 另 一 种 用 法 ， 也 就 是 用 来 自 动 化 一 些 人 工 操 作 自 动 化 一 些 人 工 操 作 。 我 们 使 用 的 工 具 是 谷 歌 开 发 并 开 源 的 测 试 框 架   P u p p e t e e r   ， 它 会 操 作   C h r o m i u m   （ 谷 歌 开 发 的 开 源 浏 览 器 ） 来 完 成 自 动 化 。 我 们 将 一 步 一 步 介 绍 如 何 利 用 P u p p e t e e r   在 掘 金 上 自 动 发 布 文 章 。 自 动 化 测 试 工 具 的 原 理 自 动 化 测 试 工 具 的 原 理
自 动 化 测 试 工 具 的 原 理 是 通 过 程 式 化 地 操 作 浏 览 器 ， 与 其 进 行 模 拟 交 互 （ 例 如 点 击 、 打 字 、 导 航 等 等 ） 来 控 制 要 抓 取 的 网 页 。 自 动 化 测 试 工 具 通 常 也 能 获 取 网 页 的   D O M   或   H T M L ， 因 此 也 可 以 轻 松 的 获 取 网 页 数 据 。 此 外 ， 对 于 一 些 动 态 网 站 来 说 ， J S   动 态 渲 染 的 数 据 通 常 不 能 轻 松 获 取 ， 而 自 动 化 测 试 工 具 则 可 以 轻 松 的 做 到 ， 因 为 它 是 将   H T M L   输 入 浏 览 器 里 运 行 的 。 P u p p e t e e r   简 介 简 介 这 里 摘 抄   P u p p e t e e r   的   G i t h u b   主 页 上 的 定 义 （ 英 文 ） 。 P u p p e t e e r   i s   a   N o d e   l i b r a r y   w h i c h   p r o v i d e s   a   h i g h - l e v e l   A P I   t o   c o n t r o l   C h r o m e   o r   C h r o m i u m   o v e r   t h e   D e v T o o l s P r o t o c o l .   P u p p e t e e r   r u n s   h e a d l e s s   b y   d e f a u l t ,   b u t   c a n   b e   c o n f i g u r e d   t o   r u n   f u l l   ( n o n - h e a d l e s s )   C h r o m e   o r   C h r o m i u m . 翻 译 过 来 大 致 是 ： P u p p e t e e r   是 一 个   N o d e . j s   库 ， 提 供 了 高 级   A P I   来 控 制   C h r o m e   或   C h r o m i u m   （ 通 过 开 发 工 具 协 议 ） ； P u p p e t e e r   默 认 的 运 行 模 式 是 无 头 的 ， 但 是 可 以 被 配 置 成 非 无 头 的 模 式 。 L o c o 注 ： 无 头 指 的 是 不 显 示 浏 览 器 的 G U I ， 是 为 了 提 升 性 能 而 设 计 的 ， 因 为 渲 染 图 像 是 一 件 很 消 耗 资 源 的 事 情 。 以 下 是   P u p p e t e e r   可 以 做 的 事 情 ： • 生 成 截 图 和 页 面   P D F   ； • 抓 取 单 页 应 用 ， 产 生 预 渲 染 内 容 （ 即   S S R   ， 服 务 端 渲 染 ） ； • 自 动 化 表 单 提 交 、   U I   测 试 、 键 盘 输 入 等 等 ； • 创 建 一 个 最 新 的 、 自 动 化 的 测 试 环 境 ； • 捕 获 网 站 的 时 间 线 来 帮 助 诊 断 性 能 问 题 ； • 测 试   C h r o m e   插 件 ； • . . . P u p p e t e e r   安 装 安 装 安 装   P u p p e t e e r   并 不 难 ， 只 需 要 保 证 你 的 环 境 上 安 装 了   N o d e . j s   以 及 能 够 运 行   N P M 。
由 于 官 方 的 安 装 教 程 没 有 考 虑 到 已 经 安 装 了   C h r o m i u m   的 情 况 ， 我 们 这 里 使 用 一 个 第 三 方 库   ， 它 能 够 自 定 义 化   P u p p e t e e r   以 及 管 理   C h r o m i u m   的 下 载 情 况 。 运 行 以 下 命 令 安 装   P u p p e t e e r ：   的 详 细 用 法 请 参 照 官 网 ： h t t p s : / / w w w . n p m j s . c o m / p a c k a g e / p u p p e t e e r - c h r o m i u m - r e s o l v e r 。 P u p p e t e e r   常 用 命 令 常 用 命 令 P u p p e t e e r   的 官 方 A P I 文 档 是   h t t p s : / / p p t r . d e v /   ， 文 档 里 有 详 细 的   P u p p e t e e r   的 开 放 接 口 ， 可 以 进 行 参 考 ， 这 里 我 们 只 列 出 一 些 常 用 的 接 口 命 令 。 生 成 生 成 / 关 闭 浏 览 器 关 闭 浏 览 器 生 成 页 面 生 成 页 面 导 航 导 航 等 待 等 待 p u p p e t e e r - c h r o m i u m - r e s o l v e r n p m   i n s t a l l   p u p p e t e e r - c h r o m i u m - r e s o l v e r   - - s a v e p u p p e t e e r - c h r o m i u m - r e s o l v e r / /   引 入 p u p p e t e e r - c h r o m i u m - r e s o l v e r c o n s t   P C R   =   r e q u i r e ( ' p u p p e t e e r - c h r o m i u m - r e s o l v e r ' ) / /   生 成 P C R 实 例 c o n s t   p c r   =   a w a i t   P C R ( {         r e v i s i o n :   ' ' ,         d e t e c t i o n P a t h :   ' ' ,         f o l d e r N a m e :   ' . c h r o m i u m - b r o w s e r - s n a p s h o t s ' ,         h o s t s :   [ ' h t t p s : / / s t o r a g e . g o o g l e a p i s . c o m ' ,   ' h t t p s : / / n p m . t a o b a o . o r g / m i r r o r s ' ] ,         r e t r y :   3 ,         s i l e n t :   f a l s e } ) / /   生 成 浏 览 器 c o n s t   b r o w s e r   =   a w a i t   p c r . p u p p e t e e r . l a u n c h ( { . . . } ) / /   关 闭 浏 览 器 a w a i t   b r o w s e r . c l o s e ( ) c o n s t   p a g e   =   a w a i t   b r o w s e r . n e w P a g e ( ) a w a i t   p a g e . g o t o ( ' h t t p s : / / b a i d u . c o m ' )
获 取 页 面 元 素 获 取 页 面 元 素 点 击 元 素 点 击 元 素 输 入 内 容 输 入 内 容 执 行 执 行 C o n s o l e 代 码 （ 重 点 ） 代 码 （ 重 点 ） 这 应 该 是   P u p p e t e e r   中 最 强 大 的   A P I   了 。 任 何 熟 悉 前 端 技 术 的 开 发 者 都 应 该 了 解   C h r o m e   开 发 者 工 具 中 的   C o n s o l e ， 任 何   J S   的 代 码 都 可 以 在 这 里 被 运 行 ， 其 中 包 括 点 击 事 件 、 获 取 元 素 、 增 删 改 元 素 等 等 。 我 们 的 自 动 发 文 程 序 将 大 量 用 到 这 个   A P I   。 可 以 看 到     方 法 可 以 接 受 一 些 参 数 ， 并 作 为 回 调 函 数 中 的 参 数 作 用 在 前 端 代 码 中 。 这 让 我 们 可 以 将 后 端 的 任 何 数 据 注 入 到 前 端 D O M   中 ， 例 如 文 章 标 题 和 文 章 内 容 等 等 。 另 外 ， 回 调 函 数 中 的 返 回 值 可 以 作 为     的 返 回 值 ， 赋 值 给   ， 这 经 常 被 用 作 数 据 抓 取 。 注 意 ， 上 面 的 这 些 代 码 都 用 了     这 个 关 键 字 ， 这 其 实 是   E S 7   中 的     新 语 法 ， 是   E S 6   的     的 语 法 糖 ， 让 异 步 代 码 更 容 易 阅 读 和 理 解 。 如 果 对   a w a i t   p a g e . w a i t F o r ( 3 0 0 0 ) a w a i t   p a g e . g o t o ( ' h t t p s : / / b a i d u . c o m ' ) c o n s t   e l   =   a w a i t   p a g e . $ ( s e l e c t o r ) a w a i t   e l . c l i c k ( ) a w a i t   e l . t y p e ( t e x t ) c o n s t   r e s   =   a w a i t   p a g e . e v a l u a t e ( ( a r g 1 ,   a r g 2 ,   a r g 3 )   = >   {         / /   a n y t h i n g   f r o n t e n d         r e t u r n   ' f r o n t e n d   a w e s o m e ' } ,   a r g 1 ,   a r g 2 ,   a r g 3 ) e v a l u a t e e v a l u a t e r e s a w a i t a s y n c / a w a i t P r o m i s e a s y n c / a w a i t
  不 理 解 的 同 学 ， 可 以 参 考 这 篇 文 章 ： h t t p s : / / j u e j i n . i m / p o s t / 5 9 6 e 1 4 2 d 5 1 8 8 2 5 4 b 5 3 2 c e 2 d a 。 P u p p e t e e r   实 战 ： 在 掘 金 上 自 动 发 布 文 章 实 战 ： 在 掘 金 上 自 动 发 布 文 章 常 言 说 ： T a l k   i s   c h e a p ,   s h o w   m e   t h e   c o d e 。 下 面 ， 我 们 将 用 一 个 自 动 发 文 章 的 例 子 来 展 示   P u p p e t e e r   的 功 能 。 本 文 中 用 来 作 为 示 例 的 平 台 是 掘 金 。 为 什 么 选 择 掘 金 呢 ？ 这 是 因 为 掘 金 的 登 录 并 不 像 其 他 某 些 网 站 （ 例 如   C S D N   ） 要 求 输 入 验 证 码 （ 这 会 增 大 复 杂 度 ） ， 只 要 求 输 入 账 户 名 和 密 码 就 可 以 登 录 了 。 为 了 方 便 新 手 理 解 ， 我 们 将 从 爬 虫 基 本 结 构 开 始 讲 解 。 （ 限 于 篇 幅 考 虑 ， 我 们 将 略 过 浏 览 器 和 页 面 的 初 始 化 ， 只 挑 重 点 讲 解 ） 基 础 结 构 基 础 结 构 为 了 让 爬 虫 显 得 不 那 么 乱 七 八 糟 ， 我 们 将 发 布 文 章 的 各 个 步 骤 抽 离 了 出 来 ， 形 成 了 一 个 基 类 （ 因 为 我 们 可 能 不 止 掘 金 一 个 平 台 要 抓 取 ， 使 用 面 向 对 象 的 思 想 编 写 代 码 的 话 ， 其 他 平 台 只 需 要 继 承 基 类 就 可 以 了 ） 。 这 个 爬 虫 基 类 大 致 的 结 构 如 下 ：

我 们 不 用 理 解 所 有 的 方 法 ， 只 需 要 知 道 我 们 启 动 的 入 口 是     这 个 方 法 就 好 了 。 所 有 方 法 都 加 上 了   ， 表 示 这 个 方 法 将 返 回   ， 如 果 需 要 以 同 步 的 形 式 调 用 ， 必 须 加 上     这 个 关 键 字 。   方 法 的 内 容 如 下 ： r u n a s y n c P r o m i s e a w a i t r u n     a s y n c   r u n ( )   {         / /   初 始 化         a w a i t   t h i s . i n i t ( )         i f   ( t h i s . t a s k . a u t h T y p e   = = =   c o n s t a n t s . a u t h T y p e . L O G I N )   {             / /   登 陆             a w a i t   t h i s . l o g i n ( )         }   e l s e   {
可 以 看 到 ， 爬 虫 将 首 先 初 始 化 ， 完 成 一 些 基 础 配 置 ； 然 后 根 据 任 务 的 验 证 类 别 （   ） 来 决 定 是 否 采 用 登 录 或   C o o k i e   的 方 式 来 通 过 网 站 验 证 （ 本 文 只 考 虑 登 录 验 证 的 情 况 ） ； 接 下 来 就 是 导 航 至 编 辑 器 ， 然 后 输 入 编 辑 器 内 容 ； 接 着 ， 发 布 文 章 ； 最 后 关 闭 浏 览 器 ， 发 布 任 务 完 成 。 登 录 登 录         }   e l s e   {             / /   使 用 C o o k i e             a w a i t   t h i s . s e t C o o k i e s ( )         }         / /   导 航 至 编 辑 器         a w a i t   t h i s . g o T o E d i t o r ( )         / /   输 入 编 辑 器 内 容         a w a i t   t h i s . i n p u t E d i t o r ( )         / /   发 布 文 章         a w a i t   t h i s . p u b l i s h ( )         / /   关 闭 浏 览 器         a w a i t   t h i s . b r o w s e r . c l o s e ( )     } a u t h T y p e     a s y n c   l o g i n ( )   {         l o g g e r . i n f o ( ` l o g g i n g   i n . . .   n a v i g a t i n g   t o   $ { t h i s . u r l s . l o g i n } ` )         a w a i t   t h i s . p a g e . g o t o ( t h i s . u r l s . l o g i n )         l e t   e r r N u m   =   0         w h i l e   ( e r r N u m   <   1 0 )   {             t r y   {                 a w a i t   t h i s . p a g e . w a i t F o r ( 1 0 0 0 )                 c o n s t   e l U s e r n a m e   =   a w a i t   t h i s . p a g e . $ ( t h i s . l o g i n S e l . u s e r n a m e )                 c o n s t   e l P a s s w o r d   =   a w a i t   t h i s . p a g e . $ ( t h i s . l o g i n S e l . p a s s w o r d )                 c o n s t   e l S u b m i t   =   a w a i t   t h i s . p a g e . $ ( t h i s . l o g i n S e l . s u b m i t )                 a w a i t   e l U s e r n a m e . t y p e ( t h i s . p l a t f o r m . u s e r n a m e )                 a w a i t   e l P a s s w o r d . t y p e ( t h i s . p l a t f o r m . p a s s w o r d )                 a w a i t   e l S u b m i t . c l i c k ( )                 a w a i t   t h i s . p a g e . w a i t F o r ( 3 0 0 0 )                 b r e a k             }   c a t c h   ( e )   {                 e r r N u m + +             }         }         / /   查 看 是 否 登 陆 成 功         t h i s . s t a t u s . l o g g e d I n   =   e r r N u m   ! = =   1 0         i f   ( t h i s . s t a t u s . l o g g e d I n )   {             l o g g e r . i n f o ( ' L o g g e d   i n ' )
掘 金 的 登 录 地 址 是   h t t p s : / / j u e j i n . i m / l o g i n ， 我 们 先 将 浏 览 器 导 航 至 这 个 地 址 。 这 里 我 们 循 环   1 0   次 ， 尝 试 输 入 用 户 名 和 密 码 ， 如 果   1 0   次 都 失 败 了 ， 就 设 置 登 录 状 态 为   ； 反 之 ， 则 设 置 为   。 接 着 ， 我 们 用 到 了     和     这 两 个   A P I   ， 分 别 用 于 获 取 元 素 和 输 入 内 容 。 而 最 后 的     是 提 交 表 单 的 操 作 。 编 辑 文 章 编 辑 文 章 这 里 我 们 略 过 了 跳 转 到 文 章 编 辑 器 的 步 骤 ， 因 为 这 个 很 简 单 ， 只 需 要 调 用     就 可 以 了 ， 后 面 会 贴 出 源 码 地 址 供 大 家 参 考 。 输 入 编 辑 器 的 代 码 如 下 ：             l o g g e r . i n f o ( ' L o g g e d   i n ' )         }     } f a l s e t r u e p a g e . $ ( s e l e c t o r ) e l . t y p e ( t e x t ) e l S u b m i t . c l i c k ( ) p a g e . g o t o ( u r l )     a s y n c   i n p u t E d i t o r ( )   {         l o g g e r . i n f o ( ` i n p u t   e d i t o r   t i t l e   a n d   c o n t e n t ` )         / /   输 入 标 题         a w a i t   t h i s . p a g e . e v a l u a t e ( t h i s . i n p u t T i t l e ,   t h i s . a r t i c l e ,   t h i s . e d i t o r S e l ,   t h i s . t a s k )         a w a i t   t h i s . p a g e . w a i t F o r ( 3 0 0 0 )         / /   输 入 内 容         a w a i t   t h i s . p a g e . e v a l u a t e ( t h i s . i n p u t C o n t e n t ,   t h i s . a r t i c l e ,   t h i s . e d i t o r S e l )         a w a i t   t h i s . p a g e . w a i t F o r ( 3 0 0 0 )         / /   输 入 脚 注         a w a i t   t h i s . p a g e . e v a l u a t e ( t h i s . i n p u t F o o t e r ,   t h i s . a r t i c l e ,   t h i s . e d i t o r S e l )         a w a i t   t h i s . p a g e . w a i t F o r ( 3 0 0 0 )         a w a i t   t h i s . p a g e . w a i t F o r ( 1 0 0 0 0 )         / /   后 续 处 理         a w a i t   t h i s . a f t e r I n p u t E d i t o r ( )
首 先 输 入 标 题 ， 调 用 了     这 个 前 端 执 行 函 数 ， 传 入     输 入 标 题 这 个 回 调 函 数 ， 以 及 其 他 参 数 ； 接 着 同 样 的 原 理 ， 调 用 输 入 内 容 回 调 函 数 ； 然 后 是 输 入 脚 注 ； 最 后 ， 调 用 后 续 处 理 函 数 。 下 面 我 们 详 细 看 看     这 个 函 数 ： 我 们 首 先 通 过 前 端 的 公 开 接 口     获 取 标 题 的 元 素 ， 为 了 防 止 标 题 有   p l a c e h o l d e r ， 我 们 用   （ 获 取 焦 点 ） 、 （ 全 选 ） 、 （ 删 除 ） 来 删 除 已 有 的   p l a c e h o l d e r 。 然 后 我 们 通 过   来 输 入 标 题 内 容 。 接 下 来 ， 是 输 入 内 容 ， 代 码 如 下 （ 它 的 原 理 与 输 入 标 题 类 似 ） ： 有 人 可 能 会 问 ， 为 什 么 不 用       } p a g e . e v a l u a t e t h i s . i n p u t T i t l e t h i s . i n p u t T i t l e     a s y n c   i n p u t T i t l e ( a r t i c l e ,   e d i t o r S e l ,   t a s k )   {         c o n s t   e l   =   d o c u m e n t . q u e r y S e l e c t o r ( e d i t o r S e l . t i t l e )         e l . f o c u s ( )         e l . s e l e c t ( )         d o c u m e n t . e x e c C o m m a n d ( ' d e l e t e ' ,   f a l s e )         d o c u m e n t . e x e c C o m m a n d ( ' i n s e r t T e x t ' ,   f a l s e ,   t a s k . t i t l e   | |   a r t i c l e . t i t l e )     } d o c u m e n t . q u e r y S e l e c t o r ( s e l e c t o r ) e l . f o c u s ( ) e l . s e l e c t ( ) d o c u m e n t . e x e c C o m m a n d ( ' d e l e t e ' ,   f a l s e ) d o c u m e n t . e x e c C o m m a n d ( ' i n s e r t T e x t ' ,   f a l s e ,   t e x t )     a s y n c   i n p u t C o n t e n t ( a r t i c l e ,   e d i t o r S e l )   {         c o n s t   e l   =   d o c u m e n t . q u e r y S e l e c t o r ( e d i t o r S e l . c o n t e n t )         e l . f o c u s ( )         e l . s e l e c t ( )         d o c u m e n t . e x e c C o m m a n d ( ' d e l e t e ' ,   f a l s e )         d o c u m e n t . e x e c C o m m a n d ( ' i n s e r t T e x t ' ,   f a l s e ,   a r t i c l e . c o n t e n t )     } e l . t y p e ( t e x t )
回复

举报

高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

Archiver| 手机版| 小黑屋|
Powered by Discuz! X3.4 Copyright © 2001-2020, Tencent Cloud. 商业源码建议获取授权，如侵犯您的权益，请联系客服处理