搜索

[27469] 2020-11-30_成千上万个站点，日数据过亿的大规模爬虫是怎么实现的？

文档创建者：s7ckTeam
浏览次数：54
最后更新：2025-01-19
2020-11-30_成千上万个站点，日数据过亿的大规模爬虫是怎么实现的？ 成 千 上 万 个 站 点 ， 日 数 据 过 亿 的 大 规 模 爬 虫 是 怎 么 实 现 的 ？ 原 创   N i g h t T e a m 团 队   N i g h t T e a m   2 0 2 0 - 1 1 - 3 0 " N i g h t T e a m " ， 一 个 值 得 加 星 标 的 公 众 号 。 我 们 身 边 接 触 最 频 繁 、 同 时 也 是 最 大 的 爬 虫 莫 过 于 几 大 搜 索 引 擎 。 但 是 搜 索 引 擎 的 爬 取 方 式 和 我 们 爬 虫 工 程 师 接 触 的 方 式 差 异 比 较 大 ， 没 有 太 大 的 参 考 价 值 ， 我 们 今 天 要 讲 的 是 舆 情 方 向 的 爬 虫 （ 架 构 以 及 关 键 技 术 原 理 ） ， 主 要 涉 及 ： 1 . 网 页 文 本 智 能 提 取 ； 2 . 分 布 式 爬 虫 ； 3 . 爬 虫   D A T A / U R L   去 重 ； 4 . 爬 虫 部 署 ； 5 . 分 布 式 爬 虫 调 度 ； 6 . 自 动 化 渲 染 技 术 ； 7 . 消 息 队 列 在 爬 虫 领 域 的 应 用 ； 8 . 各 种 各 样 形 式 的 反 爬 虫 ； 请 大 家 买 好 瓜 子 、 搬 好 凳 子 坐 下 学 习 ， 并 准 备 好 争 夺 文 末 赠 送 的 奖 品 ！ 一 、 网 页 文 本 智 能 提 取 一 、 网 页 文 本 智 能 提 取 舆 情 其 实 就 是 舆 论 情 况 ， 要 掌 握 舆 情 ， 那 么 就 必 须 掌 握 足 够 多 的 内 容 资 讯 。 除 了 一 些 开 放 了 商 业 接 口 的 大 型 内 容 / 社 交 类 平 台 （ 例 如 微 博 ） 之 外 ， 其 他 都 需 要 依 靠 爬 虫 去 采 集 。 因 此 ， 舆 情 方 向 的 爬 虫 工 程 师 需 要 面 对 的 是 千 千 万 万 个 内 容 和 结 构 都 不 同 的 站 点 。 我 们 用 一 个 图 来 表 示 他 们 面 对 的 问 题 ：
没 错 ， 他 们 的 采 集 器 必 须 要 能 够 适 配 千 千 万 万 个 站 点 的 结 构 ， 从 风 格 迥 异 的   H T M L   文 本 中 提 取 出 主 体 内 容 — — 标 题 、 正 文 、 发 布 时 间 和 作 者 。 如 果 是 你 ， 你 会 用 什 么 样 的 设 计 来 满 足 业 务 需 求 呢 ？ 曾 经 我 也 设 想 过 这 样 的 问 题 ， 在 技 术 群 里 也 看 到 有 群 友 提 出 类 似 的 问 题 ， 但 是 很 难 得 到 满 意 的 答 案 。 有 的 人 说 ： 1 . 用 归 类 法 ， 相 似 的 内 容 归 类 到 一 起 ， 然 后 给 一 类 内 容 配 置 提 取 规 则 ； 2 . 用 正 则 ， 提 取 指 定 标 签 中 的 内 容 ； 3 . 用 深 度 学 习 ， N L P   语 义 分 析 出 哪 里 是 有 意 义 的 内 容 ， 提 取 出 来 ； 4 . 用 计 算 机 视 觉 ， 让 人 去 点 击 ， 然 后 按 照 页 面 相 似 度 分 类 提 取 （ 其 实 就 是 归 类 法 的 自 动 化 版 本 ） ； 5 . 用 算 法 ， 计 算 出 文 本 的 密 度 ， 然 后 提 取 ； 总 之 各 种 各 样 的 想 法 层 出 不 穷 ， 但 是 最 后 都 没 有 听 到 实 际 应 用 的 消 息 。 目 前 来 说 ， 大 部 分 公 司 使 用 的 都 是 人 工 配 置   X P A T H   规 则 的 方 式 ， 采 集 的 时 候 通 过 网 址 来 匹 配 对 应 的 提 取 规 则 ， 然 后 调 用 规 则 来 实 现 多 站 点 的 爬 取 。 这 种 方 法 很 有 效 ， 而 且 在 企 业 中 应 用 已 久 ， 比 较 稳 定 ， 但 缺 点 也 显 而 易 见 — — 费 时 间 、 费 人 工 、 费 钱 ！ 偶 有 一 天 ， 我 在 微 信 技 术 群 里 看 到 有 人 （ 优 秀 的   P y t h o n   工 程 师 青 南 ） 发 表 了 一 个 用 于 自 动 化 提 取 文 本 的 算 法 库 ， G e n e r a l N e w s E x t r a c t o r [ 1 ]   （ 以 下 简 称   G N E ） 。 这 个 库 参 考 了 武 汉 邮 电 科 学 研 究 院 洪 鸿 辉 、 丁 世 涛 、 黄 傲 、 郭 致 远 等 人 编 写 的 论 文 — — 《 基 于 文 本 及 符 号 密 度 的 网 页 正 文 提 取 方 法 》 ， 并 在 论 文 的 基 础 上 用   P y t h o n   代 码 进 行 了 具 体 实 现 ， 也 就 是   G N E 。 它 的 原 理 是 通 过 提 取 网 页   D O M   中 的 文 本 以 及 其 中 的 标 点 符 号 ， 以 文 本 中 标 点 符 号 的 密 度 作 为 基 础 ， 使 用 算 法 从 一 句 话 延 伸 到 一 段 文 字 和 一 篇 文 章 。
G N E   能 够 有 效 排 除 正 文 以 外 的 的 广 告 、 推 荐 栏 、 介 绍 栏 等 “ 噪 声 ” 内 容 ， 准 确 识 别 出 网 页 正 文 ， 且 识 别 率 高 达   9 9 % （ 测 试 选 用 的 内 容 为 国 内 主 流 门 户 / 媒 体 平 台 中 的 文 章 ） 。 G N E   的 具 体 算 法 细 节 以 及 源 码 解 析 请 翻 阅 《 P y t h o n 3   网 络 爬 虫 宝 典 》 第   5   章 。 有 了 它 ， 基 本 上 就 可 以 解 决   9 0 %   以 上 的 舆 情 方 向 爬 虫 解 析 的 需 求 ， 剩 下 的   1 0 %   可 以 基 于 提 取 规 则 进 行 针 对 性 调 整 或 者 完 全 定 制 化 开 发 ， 解 放 了 一 大 波   X P A T H   工 程 师 。 二 、 爬 虫 二 、 爬 虫   D A T A / U R L   去 重 去 重 舆 情 业 务 必 须 紧 盯 网 站 是 否 有 新 的 内 容 发 布 ， 要 求 是 越 快 越 好 ， 但 由 于 各 项 软 硬 件 限 制 ， 通 常 会 要 求 在   3 0   分 钟 内 或 者   1 5   分 钟 内 监 听 到 新 内 容 。 要 实 现 对 目 标 网 站 内 容 变 化 的 监 听 ， 那 么 我 们 可 以 选 择 的 比 较 好 的 方 式 就 是 轮 询 。 不 停 地 访 问 网 页 ， 并 且 判 断 是 否 有 “ 新 内 容 ” 出 现 ， 如 果 有 的 话 就 执 行 爬 取 ， 没 有 “ 新 内 容 ” 就 不 爬 取 。 那 么 问 题 来 了 ， 应 用 程 序 如 何 知 道 哪 些 内 容 是 “ 新 的 ” 、 哪 些 内 容 又 是 “ 旧 的 ” 的 呢 ？ 问 题 拆 解 一 下 ， “ 新 内 容 ” 就 是 没 有 爬 过 的 内 容 。 这 时 候 我 们 需 要 用 一 个 东 西 来 记 录 这 篇 文 章 是 否 被 爬 取 过 ， 每 次 有 要 爬 取 的 文 章 时 就 比 对 一 下 ， 这 就 是 解 决 这 个 问 题 的 办 法 。 那 又 依 靠 什 么 来 进 行 比 对 呢 ？ 我 们 都 知 道 文 章 的   U R L   几 乎 都 是 不 变 且 不 会 重 复 的 ， 因 此 可 以 选 择 文 章 的   U R L   作 为 判 定 的 依 据 ， 也 就 是 把 爬 取 过 的   U R L   放 到
一 个 类 似 列 表 一 样 的 容 器 里 存 储 起 来 ， 每 次 有 待 爬 取 的   U R L   就 判 断 它 是 否 已 经 被 存 在 容 器 里 ， 如 果 在 就 说 明 已 经 爬 过 了 ， 直 接 丢 弃 ， 进 入 下 一 个   U R L   的 判 断 流 程 。 整 体 逻 辑 就 像 下 面 这 张 图 一 样 ： 这 就 是 爬 虫 领 域 的 “ 去 重 ” 。 实 际 上 去 重 可 以 粗 略 的 分 为 内 容 （ D A T A ） 去 重 和 链 接 （ U R L ） 去 重 ， 这 里 我 们 讲 的 只 是 舆 情 方 向 的 去 重 需 求 ， 如 果 是 电 商 方 向 的 去 重 ， 那 么 就 不 能 用   U R L   作 为 判 断 依 据 ， 因 为 电 商 爬 虫 （ 例 如 比 价 软 件 ） 的 目 的 主 要 是 判 断 价 格 的 变 化 ， 这 时 候 判 断 变 化 的 依 据 应 该 是 商 品 的 关 键 信 息 （ 例 如 价 格 、 折 扣 ） ， 也 就 是   D A T A   去 重 。 去 重 的 原 理 明 白 了 ， 那 用 什 么 东 西 作 为 存 放 去 重 依 据 的 容 器 呢 ？ M y S Q L ？ R e d i s ？ M o n g o D B ？ 内 存 ？ 实 际 上 大 部 分 工 程 师 都 选 择   R e d i s   作 为 存 放 去 重 依 据 的 容 器 ， 但 实 际 上   M y S Q L 、 M o n g o D B   和 内 存 都 是 可 以 充 当 容 器 的 ， 至 于 为 什 么 会 选 择   R e d i s ， 它 又 比 其 他 数 据 存 储 好 在 哪 里 ？ 你 可 以 翻 阅 《 P y t h o n 3   网 络 爬 虫 宝 典 》 的 第   3   章 。 三 、 分 布 式 爬 虫 三 、 分 布 式 爬 虫 无 论 是 舆 情 方 向 的 爬 虫 还 是 电 商 方 向 的 爬 虫 ， 要 承 担 的 爬 取 量 都 是 非 常 大 的 。 少 则 每 日 百 万 数 据 ， 多 则 每 日 数 十 亿 数 据 。 以 往 大 家 了 解 的 单 机 爬 虫 ， 在 性 能 和 资 源 方 面 都 无 法 满 足 需 求 。 既 然   1   个 满 足 不 了 ， 那 就   1 0   个 、 1 0 0   个 ！ 这 就 是 分 布 式 爬 虫 出 现 的 背 景 。 众 所 周 知 ， 分 布 式 和 单 机 要 面 对 的 问 题 是 有 差 异 的 ， 除 了 业 务 目 标 是 相 同 的 之 外 ， 分 布 式 还 要 考 虑 多 个 个 体 之 间 的 协 作 ， 尤 其 是 资 源 的 共 享 和 竞 争 。 在 只 有   1   个 爬 虫 应 用 的 时 候 ， 也 只 有 它   1   个 读 取 待 爬 队 列 、 只 有   1   个 存 储 数 据 、 只 有 它   1   个 判 断   U R L   是 否 重 复 。 但 有 几 十 几
百 个 爬 虫 应 用 的 时 候 ， 就 需 要 区 分 先 后 顺 序 ， 避 免 出 现 多 个 爬 虫 应 用 访 问 同 一 个   U R L   的 情 况 （ 因 为 这 不 仅 浪 费 时 间 ， 还 浪 费 资 源 ） 。 而 且 ， 只 有   1   个 爬 虫 应 用 的 时 候 只 需 要 把 它 放 在   1   台 计 算 机 （ 服 务 器 ） 上 运 行 就 可 以 了 ， 但 是 爬 虫 应 用 突 然 变 得 这 么 多 ， 又 应 该 如 何 部 署 到 不 同 的 计 算 机 上 呢 ？ 手 动 一 个 个 上 传 ， 然 后 一 个 个 启 动 吗 ？ 资 源 问 题 资 源 问 题 先 说 资 源 共 享 和 竞 争 的 情 况 ， 为 了 解 决   U R L   待 爬 队 列 和 已 经 爬 队 列 的 共 享 ， 那 么 必 须 将 队 列 （ 也 就 是 上 面 提 到 的 存 放   U R L   的 容 器 ） 放 到 一 个 可 以 公 开 （ 多 个 爬 虫 应 用 ） 访 问 的 地 方 ， 例 如 部 署 在 服 务 器 上 的   R e d i s 。 这 时 候 又 出 现 一 个 新 状 况 ， 随 着 数 据 量 越 来 越 大 ， 要 存 储 的   U R L   越 来 越 多 ， 后 面 很 有 可 能 出 现 因 为 存 储 空 间 需 求 过 大 而 导 致 成 本 递 增 的 问 题 。 因 为   R e d i s   是 利 用 内 存 来 存 储 数 据 的 ， 所 以 存 放 的   U R L   越 多 就 需 要 越 多 的 内 存 ， 而 内 存 又 是 硬 件 设 备 里 价 格 相 对 较 高 的 硬 件 ， 所 以 不 得 不 考 虑 这 个 问 题 。 好 在 一 个 叫 做 布 隆 的 人 发 明 了 一 种 算 法 — — B l o o m   F i l t e r （ 布 隆 过 滤 器 ） ， 这 种 算 法 通 过 哈 希 映 射 的 方 式 来 标 记 一 个 对 象 （ 这 里 是   U R L ） 是 否 存 在 ， 这 样 可 以 将 内 存 的 占 用 率 大 大 降 低 ， 按   1   亿 条 长 度 为   3 2   字 符 的   U R L   M D 5   值 来 计 算 ， 使 用   B l o o m   F i l t e r 前 后 的 差 距 大 约 在   3 0 倍 。 关 于   B l o o m   F i l t e r   的 算 法 原 理 和 代 码 实 现 解 读 可 翻 阅 《 P y t h o n 3   网 络 爬 虫 宝 典 》 第   3   章   。 部 署 问 题 部 署 问 题 一 个 个 文 件 上 传 ， 一 次 次 手 动 运 行 爬 虫 实 在 是 太 累 了 。 你 可 以 向 运 维 同 事 寻 求 技 术 支 持 ， 但 也 可 以 自 己 探 寻 这 些 能 够 减 轻 你 工 作 量 的 自 动 化 部 署 方 式 。 目 前 业 内 知 名 的 持 续 集 成 和 部 署 莫 过 于   G i t L a b   的   G i t L a b   R u n n e r   和   G i t H u b   A c t i o n ， 又 或 者 是 借 助   K 8 S 的 容 器 化 来 实 现 。 但 它 们 只 能 帮 助 你 实 现 部 署 和 启 动 ， 而 爬 虫 应 用 的 一 些 管 理 功 能 就 指 望 不 上 了 。 遂 ， 今 天 要 给 大 家 介 绍 的 是 另 一 种 实 现 方 式 — — 使 用   C r a w l a b 。 C r a w l a b   是 一 款 由 知 名 外 企 工 程 师 开 发 的 分 布 式 爬 虫 管 理 平 台 ， 它 不 仅 支 持   P y t h o n   语 言 编 写 的 爬 虫 ， 几 乎 可 以 兼 容 大 部 分 编 程 语 言 和 应 用 程 序 。 借 助   C r a w l a b ， 我 们 可 以 将 爬 虫 应 用 分 散 到 不 同 的 计 算 机 （ 服 务 器 ） 上 ， 而 且 能 够 在 可 视 化 界 面 设 定 定 时 任 务 、 查 看 平 台 上 爬 虫 应 用 的 状 态 以 及 环 境 依 赖 等 信 息 。 具 体 如 下 图 所 示 ： 面 对 一 款 如 此 实 用 的 平 台 工 具 ， 作 为 工 程 师 的 我 们 不 禁 想 问 ： 1 . 它 是 如 何 把 文 件 分 散 到 不 同 计 算 机 的 ？ 2 . 它 如 何 实 现 不 同 计 算 机 （ 多 节 点 ） 之 间 通 信 的 ？ 3 . 它 是 如 何 实 现 多 语 言 兼 容 的 ？ 4 . … … 其 中 我 们 比 较 关 注 的 多 节 点 通 信 是 借 助   R e d i s   实 现 的 ， 文 件 分 散 同 步 是 借 助   M o n g o D B   实 现 的 。 更 多 细 节 可 翻 阅 《 P y t h o n 3   网 络 爬 虫 宝 典 》   第   6   章 。
除 了 这 样 的 平 台 之 外 ， P y t h o n   爬 虫 工 程 师 常 常 接 触 的 莫 过 于   S c r a p y   框 架 以 及 相 关 衍 生 的 库 。 S c r a p y   团 队 官 方 开 发 了 一 个 名 为 S c r a p y d   的 库 ， 它 专 门 用 来 部 署   S c r a p y   框 架 开 发 的 爬 虫 应 用 。 在 部 署   S c r a p y   应 用 时 ， 我 们 通 常 只 需 要 执 行   1   行 命 令 就 可 以 把 爬 虫 程 序 部 署 到 服 务 器 上 。 你 想 不 想 知 道 背 后 的 逻 辑 ： 1 . 程 序 以 什 么 样 的 形 式 上 传 到 服 务 器 的 ？ 2 . 程 序 在 服 务 器 上 如 何 运 行 的 ？ 3 . 为 什 么 可 以 查 看 到 每 个 任 务 运 行 的 开 始 时 间 和 结 束 时 间 ？ 4 . 中 途 取 消 任 务 执 行 的 功 能 是 怎 么 实 现 的 ？ 5 . 它 的 版 本 控 制 是 怎 么 实 现 的 ？ 6 . 如 果 不 是   S c r a p y   框 架 编 写 的   P y t h o n   应 用 ， 能 实 现 像 上 面 几 点 那 样 的 监 控 和 操 作 吗 ？ 实 际 上   S c r a p y   应 用 会 被 打 包 成 为 一 个 后 缀 为 “ . e g g ”   的 压 缩 包 ， 以   H T T P   的 形 式 上 传 到 服 务 器 上 。 当 服 务 端 程 序 需 要 执 行 这 个 程 序 时 ， 先 将 它 复 制 到 操 作 系 统 的 临 时 文 件 夹 ， 执 行 时 将 其 导 入 到 当 前   P y t h o n   环 境 ， 执 行 完 毕 后 删 除 该 文 件 。 至 于 它 的 执 行 时 间 和 中 断 操 作 ， 实 际 上 借 助 了   P y t h o n   进 程 接 口 ， 具 体 细 节 翻 阅 《 P y t h o n 3   网 络 爬 虫 宝 典 》   第   6   章 。 四 、 自 动 化 渲 染 技 术 四 、 自 动 化 渲 染 技 术 为 了 实 现 炫 酷 的 效 果 ， 或 者 说 为 了 节 省 静 态 资 源 对 带 宽 的 占 用 ， 很 多 网 站 都 是 借 助   J a v a S c r i p t   来 实 现 对 页 面 内 容 的 优 化 。 P y t h o n   程 序 本 身 是 无 法 解 释   J a v a S c r i p t   和   H T M L   代 码 的 ， 因 此 无 法 获 得 我 们 在 浏 览 器 中 “ 看 到 ” ， 但 实 际 上 并 不 是 “ 真 实 存 在 ” 的 内 容 ， 因 为 这 些 内 容 都 是 由 浏 览 器 渲 染 出 来 的 ， 只 存 在 于 浏 览 器 中 ， H T M L   文 档 里 面 还 是 那 些 文 本 、 J a v a S c r i p t   文 件 中 还 是 那 些 代 码 ， 图 片 、 视 频 和 那 些 特 效 并 不 会 出 现 在 代 码 中 ， 我 们 看 到 的 一 切 都 是 浏 览 器 的 功 劳 。 由 于   P y t h o n   也 无 法 获 取 浏 览 器 渲 染 后 的 内 容 ， 所 以 当 我 们 像 往 常 一 样 写 代 码 爬 取 上 面 的 数 据 时 ， 就 会 发 现 拿 到 的 数 据 和 看 到 的 并 不 一 样 ， 任 务 它 就 失 败 了 。 这 时 候 我 们 就 需 要 用 到 自 动 化 渲 染 技 术 了 ， 实 际 上 像   C h r o m e   和   F i r e F o x   这 样 的 浏 览 器 都 开 放 了 接 口 ， 允 许 其 他 编 程 语 言 按 照 协 议 规 范 操 控 浏 览 器 。 基 于 这 样 的 技 术 背 景 ， 有 团 队 开 发 出 了 像   S e l e n i u m   和   P u p p e t e e r   这 样 的 工 具 ， 然 后 我 们 就 可 以 用   P y t h o n （ 其 他 语 言 也 可 以 ） 代 码 来 操 作 浏 览 器 了 。 让 浏 览 器 帮 助 我 们 做 一 些 用 户 名 密 码 输 入 、 登 录 按 钮 点 击 、 文 本 和 图 片 渲 染 、 验 证 码 滑 动 等 操 作 ， 从 而 打 破   P y t h o n   与 浏 览 器 本 身 的 差 异 壁 垒 ， 借 助 浏 览 器 渲 染 内 容 后 再 返 回 给   P y t h o n   程 序 ， 然 后 拿 到 和 我 们 在 网 页 上 看 到 的 一 样 的 内 容 。 除 了 浏 览 器 ， A P P   也 有 类 似 的 情 况 。 具 体 操 作 实 践 和 案 例 细 节 可 翻 阅 《 P y t h o n 3   网 络 爬 虫 宝 典 》   第   2   章 。
五 、 消 息 队 列 在 爬 虫 领 域 的 应 用 五 、 消 息 队 列 在 爬 虫 领 域 的 应 用 之 前 的 描 述 中 ， 我 们 并 没 有 提 到 爬 取 时 候 的 细 节 。 假 设 这 样 一 个 正 常 的 爬 虫 场 景 ： 爬 虫 先 访 问 网 站 的 文 章 列 表 页 ， 然 后 根 据 列 表 页 的   U R L   进 入 详 情 页 进 行 爬 取 。 这 里 要 注 意 ， 文 章 详 情 页 的 数 量 一 定 是 比 列 表 页 的 数 量 多   N   倍 的 ， 如 果 列 表 展 示 的 是   2 0   条 内 容 ， 那 么 就 是 多   2 0   倍 。 如 果 我 们 需 要 爬 取 的 网 站 很 多 ， 那 么 就 会 用 到 分 布 式 爬 虫 。 如 果 分 布 式 爬 虫 只 是 把   1   个 爬 虫 程 序 复 制 出   N   份 来 运 行 ， 那 么 就 会 出 现 资 源 分 配 不 均 衡 的 情 况 ， 因 为 在 上 面 提 到 的 这 种 情 况 下 ， 每   1   个 爬 虫 都 需 要 这 么 干 活 。 实 际 上 我 们 可 以 有 更 好 的 搭 配 方 式 ， 让 它 们 的 资 源 得 到 最 大 利 用 。 例 从 列 表 页 到 详 情 页 可 以 抽 象 为 生 产 者 和 消 费 者 模 型 ： 4   号 和   5   号 爬 虫 应 用 只 负 责 将 列 表 页 中 抽 取 详 情 页 的   U R L ， 然 后 推 送 到 一 个 队 列 中 ， 另 外 几 个 爬 虫 程 序 从 队 列 中 取 出 详 情 页 的 U R L   进 行 爬 取 。 当 列 表 页 和 详 情 页 数 量 差 距 比 较 大 的 时 候 ， 我 们 可 以 增 加 右 侧 的 爬 虫 程 序 数 量 ， 差 距 较 小 的 时 候 就 减 少 右 侧 的 爬 虫 程 序 （ 或 者 增 加 左 侧 的 爬 虫 程 序 ， 具 体 视 情 况 定 ） 。 左 侧 的 爬 虫 程 序 相 对 于 队 列 这 条 “ 数 据 采 集 生 产 线 ” 来 说 ， 它 就 是 生 产 者 ， 右 侧 爬 虫 程 序 的 就 是 消 费 者 。 有 了 这 样 的 结 构 ， 我 们 就 可 以 根 据 实 际 情 况 对 生 产 者 或 者 消 费 者 的 熟 练 进 行 调 整 ， 实 现 资 源 的 最 大 化 利 用 。 另 外 一 个 好 处 是 当 生 产 者 拿 到 的   U R L   越 来 越 多 ， 但 消 费 者 一 时 消 费 不 过 来 时 ， U R L   会 一 直 存 放 在 队 列 中 ， 等 消 费 能 力 上 升 时 就 能 够 再 次 实 现 均 衡 。 有 了 这 样 的 生 产 线 ， 我 们 就 不 用 担 心 一 下 突 然 涌 来 很 多 的   U R L   或 者 一 下 突 然 把 队 列 的   U R L   消 费 一 空 ， 队 列 这 种 削 峰 填 谷 的 能 力 除 了 在 后 端 应 用 中 大 放 异 彩 之 外 ， 在 爬 虫 应 用 中 也 发 挥 了 很 大 的 作 用 。 关 于 爬 虫 （ 以 及 分 布 式 爬 虫 ） 程 序 接 入 消 息 队 列 的 具 体 实 现 和 细 节 可 翻 阅 《 P y t h o n 3   网 络 爬 虫 宝 典 》   第   4   章 。 六 、 各 种 各 样 形 式 的 反 爬 虫 六 、 各 种 各 样 形 式 的 反 爬 虫 你 想 要 我 偏 不 给 ！ 网 站 可 不 会 轻 易 让 你 爬 取 站 点 上 面 的 内 容 ， 它 们 往 往 会 从 网 络 协 议 、 浏 览 器 特 征 、 编 程 语 言 差 异 、 人 机 差 异 等 方 面 给 爬 虫 工 程 师 设 置 障 碍 ， 常 见 的 有 滑 块 验 证 码 、 拼 图 验 证 码 、 封   I P 、 检 查   C O O K I E 、 要 求 登 录 、 设 定 复 杂 的 加 密 逻 辑 、 混 淆 前 端 代 码 等 。 水 来 土 掩 、 兵 来 将 挡 ！ 爬 虫 工 程 师 与 目 标 网 站 的 工 程 师 你 来 我 往 的 过 招 就 像 兵 家 尔 虞 我 诈 一 般 精 彩 。 《 P y t h o n 3   反 爬 虫 原 理 与 绕 过 实 战 》 一 书 囊 括 了 市 面 上   8 0 %   以 上 的 反 爬 虫 手 段 和 爬 虫 技 巧 ， 详 细 解 读 双 方 所 用 招 术 ， 使 各 位 看 客 从 中 学 到 不 少 使 用 招 式 。 具 体 细 节 可 翻 阅 该 书 ， 领 略 技 术 领 域 的 江 湖 ！
小 结 小 结 今 天 我 们 一 起 学 习 了 日 数 据 量 过 亿 的 大 规 模 爬 虫 实 践 路 上 的 关 键 技 术 点 ， 包 括 文 本 智 能 提 取 、 分 布 式 爬 虫 、 爬 虫 部 署 和 调 度 、 去 重 、 自 动 化 渲 染 等 。 学 会 了 这 些 技 术 并 融 会 贯 通 ， 那 么 实 现 日 数 据 过 亿 的 爬 虫 就 不 是 问 题 了 。 这 些 经 验 都 来 自 一 线 爬 虫 工 程 师 ， 同 时 这 些 技 术 和 设 计 都 经 过 了 长 期 的 工 作 验 证 ， 能 够 直 接 应 用 在 工 作 当 中 。 活 动 活 动 上 面 多 次 提 到 了 《 P y t h o n 3   网 络 爬 虫 宝 典 》 和 《 P y t h o n 3   反 爬 虫 原 理 与 绕 过 实 战 》 ， 小 编 购 买 了 几 本 书 用 来 感 谢 大 家 对 小 编 的 支 持 。 想 要 书 的 朋 友 请 在 评 论 区 留 言 ， 说 一 说 你 为 什 么 想 要 这 本 书 ， 就 可 以 参 与 本 次 的 送 书 活 动 。 活 动 规 则 ：
1 、 评 论 区 点 赞 数 量 排 名 靠 前 的   N   位 朋 友 将 获 得 本 次 活 动 赠 送 的   1   本 书 （ 可 自 选 ） ， 数 量 有 限 （ 两 书 各   2   本 ） ， 排 名 靠 前 的 可 以 先 选 ， 大 家 以 评 论 点 赞 排 名 取 胜 ； 2 、 参 与 活 动 的 朋 友 请 转 发 本 文 到 朋 友 圈 ， 开 奖 时 小 编 会 前 往 核 对 ， 没 有 转 发 的 话 ， 奖 品 顺 延 到 下 一 位 ； 3 、 活 动 时 间 为 文 章 发 布 时 间 ～ 2 0 2 0 - 1 2 - 0 3   1 8 : 0 0 ； 4 、 活 动 赠 书 将 由 出 版 社 （ 7   个 工 作 日 ） 邮 寄 ， 开 奖 后 小 编 将 联 系 中 奖 的 朋 友 提 供 收 获 地 址 ； R e f e r e n c e s   G e n e r a l N e w s E x t r a c t o r :   h t t p s : / / g i t h u b . c o m / k i n g n a m e / G e n e r a l N e w s E x t r a c t o r 注 ： 本 次 活 动 最 终 解 释 权 归 本 公 众 号 所 有 ；
回复

举报

高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

Archiver| 手机版| 小黑屋|
Powered by Discuz! X3.4 Copyright © 2001-2020, Tencent Cloud. 商业源码建议获取授权，如侵犯您的权益，请联系客服处理