搜索

[27402] 2019-07-25_听说这个爬虫面试题很难？看完你就知道怎么做了

文档创建者：s7ckTeam
浏览次数：53
最后更新：2025-01-19
2019-07-25_听说这个爬虫面试题很难？看完你就知道怎么做了 听 说 这 个 爬 虫 面 试 题 很 难 ？ 看 完 你 就 知 道 怎 么 做 了 原 创   L o c o   N i g h t T e a m   2 0 1 9 - 0 7 - 2 5 迁 移 自 我 的 知 乎 专 栏 《 手 把 手 教 你 写 爬 虫 》 此 面 试 题 网 站 已 被 作 者 关 闭 ， 但 处 理 方 式 依 然 可 以 拿 来 参 考 。 最 近 （ 2 0 1 9 年 6 月 ） 有 一 个 爬 虫 面 试 题 （ h t t p : / / s h a o q . c o m : 7 7 7 7 / e x a m ） 在 圈 内 看 起 来 挺 火 的 ， 经 常 在 各 个 爬 虫 群 里 看 到 它 被 提 到 ， 而 几 乎 所 有 提 到 这 个 面 试 题 的 人 在 题 目 限 制 的 条 件 下 就 不 知 道 该 怎 么 办 了 ， 但 这 题 目 其 实 真 的 并 不 难 ， 甚 至 可 以 说 应 该 只 是 为 了 在 招 人 时 再 过 滤 一 遍 只 会 写 解 析 ， 拿 着 S e l e n i u m 和 代 理 池 硬 怼 的 人 罢 了 （ 之 前 招 人 的 时 候 见 过 很 多 ， 甚 至 有 很 多 2 - 3 年 经 验 还 处 于 这 个 水 平 ） 。 造 成 爬 虫 圈 子 现 在 这 个 情 况 的 原 因 我 觉 得 可 能 是 因 为 各 种 爬 虫 书 籍 / 培 训 班 / 网 课 都 没 有 讲 到 过 关 于 逆 向 方 面 的 知 识 ， 他 们 的 教 学 更 倾 向 于 P y t h o n 语 法 、 正 则 表 达 式 、 X P a t h 这 些 非 常 基 础 的 东 西 和 常 见 爬 虫 框 架 / 工 具 的 简 单 用 法 ， 而 读 者 / 学 员 学 完 之 后 的 水 平 充 其 量 也 就 只 能 爬 爬 豆 瓣 之 类 的 简 单 网 站 ， 面 对 有 点 简 单 反 爬 的 就 一 脸 懵 逼 ， 只 能 拿 着 S e l e n i u m 和 代 理 池 硬 怼 。 那 么 为 了 提 升 一 下 爬 虫 圈 内 的 平 均 水 平 ， 写 点 别 人 没 讲 或 者 不 想 讲 的 东 西 并 分 享 出 来 就 很 有 必 要 了 ， 这 个 专 栏 也 是 因 此 而 生 的 。 扯 远 了 ， 开 始 讲 这 个 面 试 题 吧 ， 请 站 稳 扶 好 ， 老 司 机 要 开 始 飙 车 了 。 首 先 做 好 以 下 准 备 ， 等 会 儿 会 用 上 ， 括 号 内 是 文 中 所 使 用 的 工 具 名 或 版 本 号 ： 1 .   浏 览 器 （ C h r o m e ） 2 .   F i d d l e r / C h a r l e s 之 类 的 抓 包 工 具 （ F i d d l e r ） 3 .   P y t h o n 和 J a v a S c r i p t 的 I D E 或 编 辑 器 （ P y c h a r m   +   W e b S t o r m ） 4 .   P y t h o n 3 . x 和 N o d e J S （ P y t h o n 3 . 6 . 5   +   N o d e J S 1 0 . 1 5 . 1 ） 5 .   P y t h o n 库 ： p y e x e c j s 、 a i o h t t p 、 a i o h t t p _ r e q u e s t s 、 l x m l （ 最 新 版 本 ） 6 .   N o d e J S 库 ： j s d o m （ 最 新 版 本 ） 准 备 好 了 之 后 就 可 以 开 始 了 ， 先 抓 个 包 看 看 题 目 是 啥 样 的 。 先 是 一 个 跳 转 页 。 然 后 会 跳 转 到 内 容 页 ， 已 经 可 以 看 到 需 要 的 文 字 了 。 看 起 来 好 像 只 需 要 拿 到 跳 转 后 的 H T M L 就 行 了 ？ 实 际 并 不 是 ， 这 里 可 以 看 到 上 面 这 一 行 字 里 除 了 “ p y t h o n ” 和 “ 题 ” 以 外 ， 其 他 的 标 签 在 H T M L 中 都 是 没 有 文 本 内 容 的 ， 对 应 的 内 容 全 都 显 示 在 了 右 边 的 C S S 样 式 中 。
但 是 抓 包 的 时 候 也 没 看 到 C S S ， 是 不 是 把 C S S 嵌 在 了 H T M L 中 呢 ？ 打 开 这 个 H T M L 的 代 码 看 看 ， 一 大 坨 一 大 坨 加 密 的 J S 一 眼 可 见 ， 也 并 没 有 看 到 s t y l e 标 签 ， 显 然 这 个 C S S 是 通 过 J S 生 成 后 加 进 去 的 。 很 多 人 对 J S 逆 向 毫 无 了 解 ， 看 到 这 里 已 经 懵 逼 了 ， 碰 到 这 种 情 况 还 不 让 用 S e l e n i u m 之 类 的 工 具 ， 又 要 爬 到 内 容 ， 似 乎 完 全 没 办 法 了 啊 。 那 应 该 怎 么 办 呢 ？ 其 实 很 简 单 ， 看 完 这 篇 文 章 你 就 知 道 应 该 怎 么 做 了 ， 下 面 我 将 用 代 码 对 这 个 面 试 题 的 考 点 逐 个 击 破 （ 完 整 代 码 将 在 文 章 结 尾 处 放 出 ） 。 先 请 求 一 下 这 个 U R L 看 看 会 返 回 什 么 结 果 。 提 示 ： a i o h t t p _ r e q u e s t s 库 能 让 你 在 用 a i o h t t p 进 行 请 求 时 能 使 用 类 似 于 r e q u e s t s 库 的 语 法 ， 并 且 能 正 常 使 用 s e s s i o n 功 能 ， 而 不 需 要 写 一 层 接 一 层 的 。 a s y n c   w i t h   x x x x x x x
请 求 返 回 的 结 果 是 最 开 始 的 跳 转 页 ， 距 离 真 正 的 内 容 页 还 差 一 点 距 离 。 断 点 断 下 来 看 看 r e s p ， 已 经 可 以 看 到 一 个 名 为 s e s s i o n 的 C o o k i e 被 s e t 了 ， 之 前 抓 包 的 时 候 也 是 有 看 到 服 务 器 返 回 这 个 C o o k i e 的 。 那 么 直 接 带 着 这 个 C o o k i e 再 次 请 求 是 不 是 就 可 以 拿 到 那 个 内 容 页 了 呢 ？ 我 们 将 代 码 改 一 下 ， 对 这 个 U R L 再 次 请 求 ：
咦 ？ 有 了 这 个 C o o k i e 之 后 的 请 求 怎 么 还 是 返 回 这 个 跳 转 页 呢 ？ 现 在 再 回 到 抓 包 工 具 中 仔 细 看 看 ， 是 不 是 发 现 抓 到 的 浏 览 器 请 求 里 这 两 个 请 求 之 间 是 有 一 堆 图 片 的 ， 且 第 二 次 请 求 时 ， 请 求 头 里 的 东 西 也 没 有 啥 变 化 ？ 是 这 样 的 ， 其 实 它 的 服 务 端 对 客 户 端 是 否 加 载 了 图 片 进 行 了 判 断 ， 如 果 客 户 端 没 有 加 载 图 片 就 直 接 开 始 取 内 容 ， 那 除 了 网 速 慢 和 刻 意 关 闭 了 图 片 的 人 以 外 ， 基 本 就 可 以 确 定 是 爬 虫 了 ， 所 以 这 是 一 个 简 单 粗 暴 的 反 爬 措 施 。 知 道 了 这 个 考 点 之 后 就 很 简 单 了 ， 取 出 图 片 的 U R L 并 和 浏 览 器 一 样 进 行 请 求 就 好 了 。 再 次 修 改 代 码 ： 提 示 ： 因 为 这 里 重 用 h o s t 部 分 的 次 数 很 多 ， 我 把 h o s t 部 分 写 成 了 一 个 常 量 。 提 示 ： 是 f o r m a t   s t r i n g ， p y t h o n 3 的 一 个 语 法 糖 ， 最 开 始 有 这 个 语 法 糖 的 版 本 已 经 记 不 清 了 ， 如 果 你 发 现 这 段 代 码 在 你 的 环 境 里 无 法 运 行 ， 可 以 把 这 里 改 成 。 提 示 ： 是 a s y n c i o 库 的 并 发 执 行 任 务 函 数 ， 传 入 的 是 一 个 协 程 函 数 列 表 ， 所 以 里 面 的 不 需 要 加 a w a i t 。 f " { H O S T } { i m a g e . g e t ( ' s r c ' ) } " " { } { } " . f o r m a t ( H O S T ,   i m a g e . g e t ( " s r c " ) ) a s y n c i o . g a t h e r r e q u e s t s . g e t
可 以 看 到 已 经 取 到 了 内 容 页 的 H T M L ， 第 一 个 考 点 我 们 已 经 跨 过 去 了 ， 接 下 来 要 想 想 怎 么 拿 到 那 个 C S S 的 部 分 了 。 那 么 这 个 J S 要 怎 么 处 理 呢 ？ 其 实 我 们 可 以 使 用 P y t h o n 调 用 J S 的 方 式 去 执 行 它 页 面 中 的 那 段 代 码 ， 从 而 生 成 出 标 签 中 对 应 文 字 部 分 的 C S S 。 这 里 推 荐 使 用 p y e x e c j s 库   +   N o d e J S 来 执 行 J S 代 码 ， p y e x e c j s 库 可 以 说 是 目 前 最 好 的 P y t h o n 执 行 J S 代 码 的 库 了 ， 另 外 一 个 比 较 常 见 的 库 — — P y V 8 ， 存 在 严 重 的 内 存 泄 漏 ， 存 在 严 重 的 内 存 泄 漏 B U G ， 不 建 议 使 用 。 ， 不 建 议 使 用 。 但 是 直 接 执 行 这 段 J S 代 码 是 不 可 能 有 用 的 ， 我 们 还 需 要 分 析 一 下 它 的 内 容 并 按 我 们 的 使 用 方 式 修 改 一 下 。 先 把 那 段 J S 复 制 出 来 ， 打 开 J a v a S c r i p t   I D E / 编 辑 器 ， 并 把 它 丢 进 去 进 行 分 析 。
此 处 省 略 几 百 行 变 量 。 可 以 看 到 s c r i p t 标 签 里 是 一 个 匿 名 函 数 ， 传 入 了 一 个 d o c u m e n t
参 数 （ 函 数 内 的 ） ， 而 实 际 这 个 匿 名 函 数 的 主 要 流 程 代 码 非 常 地 少 ， 只 有 两 个 部 分 。 一 个 是 开 头 的 这 里 ， 一 个 是 靠 近 结 尾 位 置 的 这 里 。 第 一 部 分 没 有 做 什 么 操 作 ， 只 是 创 建 了 一 个 e l e m e n t ， 那 么 核 心 部 分 应 该 就 是 第 二 部 分 ， 跳 到 它 调 用 的 函 数 看 看 。 提 示 ： W e b S t o r m 中 可 以 用 鼠 标 中 键 或 C t r l + 鼠 标 左 键 点 击 ， 跳 转 到 对 应 的 函 数 位 置 这 个 是 这 么 一 坨 看 不 懂 的 东 西 ， 看 不 懂 就 没 法 搞 了 ， 怎 么 办 呢 ？ 仔 细 看 看 上 面 那 些 用 到 的 变 量 ， 是 不 是 都 是 那 一 坨 给 变 量 赋 值 的 地 方 出 来 的 ？ 那 么 我 们 只 需 要 把 那 一 串 加 起 来 的 东 西 写 成 一 个 新 的 变 量 ， 打 个 断 点 在 下 面 然 后 运 行 一 下 ， 就 能 直 接 看 出 它 是 啥 了 。 （ 更 高 级 的 加 密 J S 在 还 原 时 需 要 用 到 A S T 解 析 库 和 相 关 知 识 写 工 具 处 理 而 非 手 动 处 理 ， 这 里 暂 时 还 不 需 要 用 ） 等 一 等 ， 现 在 你 还 不 能 运 行 这 段 代 码 ， 因 为 你 没 有 d o c u m e n t ， d o c u m e n t 是 浏 览 器 中 特 有 的 一 个 全 局 变 量 ， 而 N o d e J S 中 是 不 存 在 d o c u m e n t 这 东 西 的 ， 是 不 是 觉 得 事 情 有 点 麻 烦 了 起 来 ？ 没 关 系 ， 问 题 不 大 ， 既 然 N o d e J S 中 没 有 ， 那 我 们 就 自 己 造 一 个 ， 这 里 使 用 j s d o m 库 来 模 拟 浏 览 器 中 的 d o m 部 分 ， 从 而 做 到 在 N o d e J S 中 使 用 d o c u m e n t 的 操 作 。 当 然 你 如 果 想 要 自 己 造 也 是 可 以 的 ， 只 需 要 按 着 报 错 提 示 一 个 一 个 地 实 现 这 段 J S 代 码 中 调 用 的 d o c u m e n t . x x x 即 可 。 这 个 j s d o m 库 的 使 用 方 式 很 简 单 ， 只 需 要 按 照 文 档 上 的 说 明 导 入 j s d o m ， 再 n e w 一 个 d o m 实 例 就 可 以 了 。 d o c u m e n t u H j E _ j E _ j E _
B a s i c   u s a g e   T o   u s e   j s d o m ,   y o u   w i l l   p r i m a r i l y   u s e   t h e c o n s t r u c t o r ,   w h i c h   i s   a   n a m e d   e x p o r t   o f   t h e   j s d o m   m a i n   m o d u l e .   P a s s   t h e   c o n s t r u c t o r   a   s t r i n g .   Y o u   w i l l   g e t   b a c k   a o b j e c t ,   w h i c h   h a s   a   n u m b e r   o f   u s e f u l   p r o p e r t i e s ,   n o t a b l y : 注 意 了 ， 这 里 的 d o m 变 量 还 并 不 是 我 们 要 的 d o c u m e n t 变 量 ， 真 正 的 d o c u m e n t 变 量 是 ， 所 以 我 们 的 代 码 可 以 这 样 写 ： 执 行 一 下 看 看 效 果 。 原 来 上 面 的 两 个 参 数 分 别 是 和 ， 我 们 把 后 面 那 段 一 眼 就 能 看 出 是 经 过 u r l e n c o d e 的 字 符 串 还 原 一 下 看 看 。 1 c o n s t   j s d o m   =   r e q u i r e ( " j s d o m " ) ; 2 c o n s t   {   J S D O M   }   =   j s d o m ; J S D O M J S D O M w i n d o w 1 c o n s t   d o m   =   n e w   J S D O M ( ` < ! D O C T Y P E   h t m l > < p > H e l l o   w o r l d < / p > ` ) ; 2 c o n s o l e . l o g ( d o m . w i n d o w . d o c u m e n t . q u e r y S e l e c t o r ( " p " ) . t e x t C o n t e n t ) ;   / /   " H e l l o   w o r l d " d o m . w i n d o w . d o c u m e n t d e c o d e U R I C o m p o n e n t % E 6 % 8 1 % A F % E 6 % 9 5 % B 0 % E 9 % 9 D % A 2 % E 7 % 8 8 % A C % E 8 % 9 9 % A B % E 4 % B F % A 1 % E 6 % 8 A % 8 0 % E 5 % 8 8 % 9 B % E 8 % A F % 9 5 % E 7 % A 7 % 9 1
嗯 … 其 实 就 是 页 面 上 的 那 句 话 了 ， 只 不 过 它 是 乱 序 的 ， 我 们 接 着 往 下 执 行 看 看 它 还 做 了 什 么 操 作 。 往 下 执 行 时 报 错 了 ， 看 起 来 是 缺 少 了 这 个 函 数 ， 那 前 面 的 那 个 又 是 什 么 呢 ？ 用 同 样 的 方 式 可 以 看 到 ， 其 实 是 。 也 就 是 说 这 句 代 码 还 原 成 正 常 的 样 子 其 实 就 是 ， 而 N o d e J S 的 并 不 在 中 ， 所 以 我 们 还 是 需 要 通 过 最 开 始 造 的 操 作 ， 再 给 它 弄 一 个 ， 代 码 很 简 单 ， 改 成 这 样 即 可 ： d e c o d e U R I C o m p o n e n t d e c o d e U R I C o m p o n e n t u c _ w i n d o w t h i s . w i n d o w . d e c o d e U R I C o m p o n e n t ( " % E 6 % 8 1 % A F % E 6 % 9 5 % B 0 % E 9 % 9 D % A 2 % E 7 % 8 8 % A C % E 8 % 9 9 % A B % E 4 % B F % A 1 % E 6 % 8 A % 8 0 % E 5 % 8 8 % 9 B % E 8 % A F % 9 5 % E 7 % A 7 % 9 1 " ) d e c o d e U R I C o m p o n e n t t h i s . w i n d o w d o c u m e n t t h i s . w i n d o w . d e c o d e U R I C o m p o n e n t
然 后 我 们 再 执 行 一 遍 。 这 次 就 能 正 常 运 行 完 毕 了 ， 但 是 我 们 要 的 东 西 去 哪 儿 了 呢 ？ 我 们 继 续 往 下 打 断 点 看 ， 是 乱 序 的 文 字 ， 是 一 个 里 面 只 有 数 字 的 数 组 ， 则 只 有 两 个 空 字 符 串 ， 函 数 没 有 进 行 赋 值 ， 而 最 后 的 r e t u r n 其 实 是 没 有 任 何 作 用 的 ， 因 为 在 主 流 程 中 是 最 后 一 个 被 执 行 的 函 数 ， 它 返 回 的 值 赋 给 了 后 并 不 会 被 使 用 。 所 以 这 里 似 乎 只 有 和 比 较 可 疑 了 ， 断 点 进 入 给 赋 值 的 函 数 看 看 。 看 来 这 个 函 数 并 不 会 做 什 么 ， 那 么 我 们 要 的 核 心 部 分 可 以 确 定 就 是 这 个 函 数 了 。 接 着 追 到 下 面 的 函 数 。 v z _ t i _ S E _ K I _ j E _ x e _ S E _ K I _ S E _ E r _ E r _ K I _ K I _
回复

举报

高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

Archiver| 手机版| 小黑屋|
Powered by Discuz! X3.4 Copyright © 2001-2020, Tencent Cloud. 商业源码建议获取授权，如侵犯您的权益，请联系客服处理