搜索

[12042] 2017-11-23_使用Python以及C++简单绕过反爬虫机制

文档创建者：s7ckTeam
浏览次数：53
最后更新：2025-01-18
2017-11-23_使用Python以及C++简单绕过反爬虫机制 使 用 P y t h o n 以 及 C + + 简 单 绕 过 反 爬 虫 机 制 我 的 g t r 弹 射 起 步   F r e e B u f   2 0 1 7 - 1 1 - 2 3 0 x 0 0   某 些 网 站 有 反 爬 虫 的 机 制 某 些 网 站 有 反 爬 虫 的 机 制 对 于 刚 学 习 了 几 天 p y t h o n 的 我 ， 对 爬 虫 颇 有 兴 趣 ， 但 是 某 些 “ 想 要 的 ” 网 站 上 具 有 反 爬 虫 机 制 ， 如 果 说 使 用 延 迟 或 者 代 理 , 这 样 的 效 率 并 不 高 ， 于 是 想 了 一 种 奇 异 的 办 法 来 高 效 率 的 绕 过 爬 虫 机 制 。 （ 大 佬 口 下 留 情 ） 0 x 0 1   写 个 爬 虫 （ 简 单 的 介 绍 一 下 ， 各 位 都 是 爬 虫 大 佬 ） 写 个 爬 虫 （ 简 单 的 介 绍 一 下 ， 各 位 都 是 爬 虫 大 佬 ） 我 找 了 一 个 比 较 典 型 的 网 站 来 进 行 爬 虫 ， （ 已 经 打 码 ） 第 一 页 第 二 页 只 是 m o r e _ X X . h t m l 中 X X 的 改 变 。 用 p y t h o n 写 一 个 生 成 不 同 页 面 的 函 数 ， 如 下 图 所 示 ： 分 析 一 下 网 页 的 源 码
我 们 还 需 要 获 取 一 层 链 接 ， 如 果 生 来 的 话 就 是 简 单 的 缩 略 图 。 写 了 一 个 这 样 的 正 则 具 体 找 到 这 层 链 接 的 代 码 如 下 ： 这 层 链 接 里 面 就 是 需 要 的 高 清 大 图 ， 如 下 图 ：
再 写 一 个 正 则 ： 函 数 如 下 ： 接 下 来 原 本 以 为 用 u r l l i b . r e q u e s t . u r l r e t r i e v e 就 可 以 直 接 下 载 了 ， 但 是 没 想 到 。 原 来 是 做 防 爬 机 制 。 0 x 0 2 解 决 问 题 解 决 问 题 我 想 到 的 是 哪 里 的 东 西 写 错 了 么 ？
我 们 输 出 一 下 正 则 匹 配 过 后 的 东 西 。 修 改 如 下 ： 没 问 题 啊 ！ ！ 怎 么 办 呢 ？ 想 到 了 一 个 感 觉 可 以 实 行 的 办 法 。 把 连 接 保 存 到 T X T 里 面 ， 用 迅 雷 批 量 ？ 修 改 一 下 代 码 重 要 的 问 题 就 是 这 样 的 行 为 太 傻 了 。 导 出 来 的 是 U R L ， 是 否 能 够 通 过 U R L 直 接 下 载 ？ （ 导 出 了 4 个 页 面 的 ） 我 想 到 了 C + + 的 一 个 U R L 下 载 的 函 数 。
U R L d o w n l o a d t o f i l e 以 下 是 我 写 的 一 个 下 载 函 数 两 个 参 数 分 别 是 u r l 地 址 ， 第 二 个 是 保 存 路 径 格 式 。 这 样 的 想 法 是 能 够 快 速 的 爬 出 来 我 们 想 要 的 东 西 ， 因 为 如 果 说 使 用 代 理 的 话 ， 或 者 是 延 迟 爬 虫 ， 这 样 影 响 效 率 ， （ 只 是 个 人 的 感 觉 ） 。 0 x 0 3   效 果 效 果 感 觉 速 度 很 快 ！ 1 1 2 8 个 图 片 ， 用 了 3 分 钟 ， 还 没 做 优 化 ， 就 是 单 一 的 下 载 。 我 们 来 看 看 是 否 下 载 成 功 。 只 能 说 是 可 能 还 有 更 好 的 解 决 方 案 ， 作 为 一 个 刚 入 门 的 新 手 爬 虫 ， 只 能 想 到 这 样 的 解 决 方 法 。
大 佬 们 有 什 么 建 议 可 以 提 供 给 我 ， 或 者 更 好 的 解 决 方 案 ， 可 以 私 下 沟 通 一 下 。 * 本 文 作 者 ： 我 的 g t r 弹 射 起 步 ， 转 载 请 注 明 来 自 F r e e B u f . C O M 阅 读 原 文
回复

举报

高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

Archiver| 手机版| 小黑屋|
Powered by Discuz! X3.4 Copyright © 2001-2020, Tencent Cloud. 商业源码建议获取授权，如侵犯您的权益，请联系客服处理