搜索

[519] 2017-05-05_浅谈Python网络爬虫

文档创建者：s7ckTeam
浏览次数：8
最后更新：2025-01-16
2017-05-05_浅谈Python网络爬虫 浅 谈 P y t h o n 网 络 爬 虫 X H J   A r k T e a m   2 0 1 7 - 0 5 - 0 5 一 一   、 相 关 背 景 、 相 关 背 景 网 络 爬 虫 ( W e b   S p i d e r ) 又 称 网 络 蜘 蛛 、 网 络 机 器 人 ， 是 一 段 用 来 自 动 化 采 集 网 站 数 据 的 程 序 。 网 络 爬 虫 不 仅 能 够 为 搜 索 引 擎 采 集 网 络 信 息 ， 而 且 还 可 以 作 为 定 向 信 息 采 集 器 ， 定 向 采 集 某 些 网 站 下 的 特 定 信 息 ， 如 ： 汽 车 票 价 ， 招 聘 信 息 ， 租 房 信 息 ， 微 博 评 论 等 。 二 、 二 、   应 用 场 景 应 用 场 景 图 1   应 用 场 景 爬 虫 技 术 在 科 学 研 究 、 W e b 安 全 、 产 品 研 发 、 舆 情 监 控 等 领 域 可 以 做 很 多 事 情 。 如 ： 在 数 据 挖 掘 、 机 器 学 习 、 图 像 处 理 等 科 学 研 究 领 域 ， 如 果 没 有 数 据 ， 则 可 以 通 过 爬 虫 从 网 上 抓 取 ； 在 W e b 安 全 方 面 ， 使 用 爬 虫 可 以 对 网 站 是 否 存 在 某 一 漏 洞 进 行 批 量 验 证 、 利 用 ； 在 产 品 研 发 方 面 ， 可 以 采 集 各 个 商 城 物 品 价 格 ， 为 用 户 提 供 市 场 最 低 价 ； 在 舆 情 监 控 方 面 ， 可 以 抓 取 、 分 析 新 浪 微 博 的 数 据 ， 从 而 识 别 出 某 用 户 是 否 为 水 军 。 三 、 三 、   本 文 目 的 本 文 目 的 本 文 简 要 介 绍 对 于 定 向 信 息 采 集 所 需 了 解 基 本 知 识 和 相 关 技 术 ， 以 及 p y t h o n 中 与 此 相 关 的 库 。 参 考 地 址 ： h t t p s : / / g i t h u b . c o m / x i n h a o j i n g / C r a w l e r 四 、 四 、   运 行 流 程 运 行 流 程 对 于 定 向 信 息 的 爬 取 ， 爬 虫 主 要 包 括 数 据 抓 取 、 数 据 解 析 、 数 据 入 库 等 操 作 流 程 。 其 中 : （ 1 ） 数 据 抓 取 ： 发 送 构 造 的 H T T P 请 求 ， 获 得 包 含 所 需 数 据 的 H T T P 响 应 ； （ 2 ） 数 据 解 析 ： 对 H T T P 响 应 的 原 始 数 据 进 行 分 析 、 清 洗 以 提 取 出 需 要 的 数 据 ； （ 3 ） 数 据 入 库 ： 将 数 据 进 一 步 保 存 到 数 据 库 （ 或 文 本 文 件 ） ， 构 建 知 识 库 。
图 2 . 1   基 本 运 行 流 程 图 2 . 2   详 细 运 行 流 程 五 、 五 、   相 关 技 术 相 关 技 术 爬 虫 的 相 关 技 术 包 括 ： （ 1 ） 数 据 抓 取 ： 了 解 H T T P 请 求 和 响 应 中 各 字 段 的 含 义 ； 了 解 相 关 的 网 络 分 析 工 具 ， 主 要 用 于 分 析 网 络 流 量 ， 如 ： b u r p s u i t 等 。 一 般 情 况 ， 使 用 浏 览 器 的 开 发 者 模 式 即 可 ； （ 2 ） 数 据 解 析 ： 了 解 H T M L 结 构 、 J S O N 和 X M L 数 据 格 式 ， C S S 选 择 器 、 X p a t h 路 径 表 达 式 、 正 则 表 达 式 等 ， 目 的 是 从 响 应 中 提 取 出 所 需 的 数 据 ； （ 3 ） 数 据 入 库 ： M y S Q L ， S Q L i t e 、 R e d i s 等 数 据 库 ， 便 于 数 据 的 存 储 ； 以 上 是 学 习 爬 虫 的 基 本 要 求 ， 在 实 际 的 应 用 中 ， 也 应 考 虑 如 何 使 用 多 线 程 提 高 效 率 、 如 何 做 任 务 调 度 、 如 何 应 对 反 爬 虫 ，
如 何 实 现 分 布 式 爬 虫 等 等 。 本 文 介 绍 的 比 较 有 限 ， 仅 供 参 考 。 图 3   相 关 技 术 六 、 六 、   P y t h o n 相 关 库 相 关 库 在 爬 虫 实 现 上 ， 除 了 s c r a p y 框 架 之 外 ， p y t h o n 有 许 多 与 此 相 关 的 库 可 供 使 用 。 其 中 ， 在 数 据 抓 取 方 面 包 括 ： u r l l i b 2 （ u r l l i b 3 ） 、 r e q u e s t s 、 m e c h a n i z e 、 s e l e n i u m 、 s p l i n t e r ； 在 数 据 解 析 方 包 括 ： l x m l 、 b e a u t i f u l s o u p 4 、 r e 、 p y q u e r y 。 对 于 数 据 抓 取 ： u r l l i b 2 （ u r l l i b 3 ） 、 r e q u e s t s 、 m e c h a n i z e 用 来 获 取 U R L 对 应 的 原 始 响 应 内 容 ； 而 s e l e n i u m 、 s p l i n t e r 通 过 加 载 浏 览 器 驱 动 ， 获 取 浏 览 器 渲 染 之 后 的 响 应 内 容 ， 模 拟 程 度 更 高 。 对 于 数 据 解 析 ： 常 用 方 法 有 ： x p a t h 路 径 表 达 式 、 C S S 选 择 器 、 正 则 表 达 式 等 。 其 中 ， x p a t h 路 径 表 达 式 、 C S S 选 择 器 主 要 用 于 提 取 结 构 化 的 数 据 ， 而 正 则 表 达 式 主 要 用 于 提 取 非 结 构 化 的 数 据 。 相 应 的 库 有 l x m l 、 b e a u t i f u l s o u p 4 、 r e 、 p y q u e r y 。
表 1   相 关 库 文 档 七 、 七 、   反 爬 虫 反 爬 虫 1 .   基 本 的 反 爬 虫 手 段 ： 主 要 是 检 测 请 求 头 中 的 字 段 ， 比 如 ：   U s e r - A g e n t 、 R e f e r e r 等 。 针 对 这 种 情 况 ， 只 要 在 请 求 中 带 上 对 应 的 字 段 即 可 。 所 构 造 h t t p 请 求 的 各 个 字 段 最 好 跟 在 浏 览 器 中 发 送 的 完 全 一 样 ， 但 也 不 是 必 须 。 2 .   基 于 用 户 行 为 的 反 爬 虫 手 段 :   主 要 是 在 后 台 对 访 问 的 I P （ 或 U s e r - A g e n t ） 进 行 统 计 ， 当 超 过 某 一 设 定 的 阈 值 ， 给 予 封 锁 。 针 对 这 种 情 况 ， 可 通 过 使 用 代 理 服 务 器 解 决 ， 每 隔 几 次 请 求 ， 切 换 一 下 所 用 代 理 的 I P 地 址 （ 或 通 过 使 用 U s e r - A g e n t 列 表 解 决 ， 每 次 从 列 表 里 随 机 选 择 一 个 使 用 ） 。 这 样 的 反 爬 虫 方 法 可 能 会 误 伤 用 户 。 3 .   基 于 J a v a S c r i p t 的 反 爬 虫 手 段 ： 主 要 是 在 响 应 数 据 页 面 之 前 ， 先 返 回 一 段 带 有 J a v a S c r i p t 代 码 的 页 面 ， 用 于 验 证 访 问 者 有 无 J a v a S c r i p t 的 执 行 环 境 ， 以 确 定 使 用 的 是 不 是 浏 览 器 。 通 常 情 况 下 ， 这 段 J S 代 码 执 行 后 ， 会 发 送 一 个 带 参 数 k e y 的 请 求 ， 后 台 通 过 判 断 k e y 的 值 来 决 定 是 响 应 真 实 的 页 面 ， 还 是 响 应 伪 造 或 错 误 的 页 面 。 因 为 该 k e y 参 数 是 动 态 生 成 的 ， 每 次 都 不 一 样 ， 难 以 分 析 出 其 生 成 方 法 ， 使 得 无 法 构 造 对 应 的 h t t p 请 求 。 针 对 这 样 的 反 爬 虫 方 法 ， 爬 虫 方 面 需 要 能 够 解 析 执 行 J a v a S c r i p t ， 具 体 的 方 法 可 使 用 s e l e n i u m 或 s p l i n t e r , 通 过 加 载 浏 览 器 来 实 现 。 更 详 细 的 反 爬 虫 技 术 和 应 对 方 法 可 参 考 ： 1   h t t p s : / / z h u a n l a n . z h i h u . c o m / p / 2 0 5 2 0 3 7 0 2   h t t p s : / / s e g m e n t f a u l t . c o m / a / 1 1 9 0 0 0 0 0 0 5 8 4 0 6 7 2 3   h t t p : / / v . q q . c o m / p a g e / j / o / t / j 0 3 0 8 h y k v o t . h t m l 八 、 八 、   参 考 参 考 1   h t t p : / / w w w . t e s t 4 0 4 . c o m / p o s t - 8 0 2 . h t m l 2   h t t p : / / b l o g . c s d n . n e t / s h a n z h i z i / a r t i c l e / d e t a i l s / 5 0 9 0 3 7 4 8 3   h t t p : / / b l o g . c h i n a u n i x . n e t / u i d - 2 8 9 3 0 3 8 4 - i d - 3 7 4 5 4 0 3 . h t m l 4   h t t p : / / b l o g . c s d n . n e t / c n m i l a n / a r t i c l e / d e t a i l s / 9 1 9 9 1 8 1 5   h t t p s : / / z h u a n l a n . z h i h u . c o m / p / 2 0 5 2 0 3 7 0
6   h t t p s : / / s e g m e n t f a u l t . c o m / a / 1 1 9 0 0 0 0 0 0 5 8 4 0 6 7 2 7   h t t p s : / / w w w . v 2 e x . c o m / t / 2 6 9 3 3 7 更 多 精 彩 内 容 ， 请 关 注 ： 1 .   A r k T e a m 官 方 微 信 官 方 微 信 — 公 众 账 号 名 称 ： A r k T e a m 2 .   A r k T e a m 官 方 微 博 ： 官 方 微 博 ： 昵 称 ： A r k T e a m 网 址 ： h t t p : / / w w w . w e i b o . c o m / a r k t e a m 阅 读 原 文
回复

举报

高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

使用Markdown编辑器编辑 使用富文本编辑器编辑

Archiver| 手机版| 小黑屋|
Powered by Discuz! X3.4 Copyright © 2001-2020, Tencent Cloud. 商业源码建议获取授权，如侵犯您的权益，请联系客服处理