搜索

[12529] 2018-03-30_那些年绕过的反爬手段

文档创建者：s7ckTeam
浏览次数：1
最后更新：2025-01-18
2018-03-30_那些年绕过的反爬手段 那 些 年 绕 过 的 反 爬 手 段 m a n w u 9 1   F r e e B u f   2 0 1 8 - 0 3 - 3 0 笔 者 第 一 份 工 作 就 是 以 笔 者 第 一 份 工 作 就 是 以 j a v a 工 程 师 的 名 义 写 爬 虫 ， 不 得 不 说 第 一 份 工 作 很 重 要 啊 ， 现 在 除 了 爬 虫 不 会 干 别 的 ， 工 程 师 的 名 义 写 爬 虫 ， 不 得 不 说 第 一 份 工 作 很 重 要 啊 ， 现 在 除 了 爬 虫 不 会 干 别 的 ， 到 现 在 已 经 干 了 近 到 现 在 已 经 干 了 近 5 年 了 ， 期 间 经 历 了 不 少 与 反 爬 策 略 的 斗 争 。 最 近 又 耗 时 两 周 成 功 搞 定 了 某 网 站 的 反 爬 策 略 年 了 ， 期 间 经 历 了 不 少 与 反 爬 策 略 的 斗 争 。 最 近 又 耗 时 两 周 成 功 搞 定 了 某 网 站 的 反 爬 策 略 后 ， 心 里 有 点 莫 名 的 惆 怅 。 今 日 无 心 工 作 ， 就 总 结 下 这 些 年 与 网 站 互 怼 的 经 验 吧 。 后 ， 心 里 有 点 莫 名 的 惆 怅 。 今 日 无 心 工 作 ， 就 总 结 下 这 些 年 与 网 站 互 怼 的 经 验 吧 。 无 反 爬 裸 站 无 反 爬 裸 站 现 在 一 个 网 站 或 多 或 少 都 会 配 置 一 定 的 反 爬 措 施 ， 毕 竟 现 在 一 台 笔 记 本 的 性 能 比 某 些 小 站 的 服 务 器 都 强 ， 如 果 不 加 以 限 制 ， 分 分 钟 就 能 把 你 的 资 源 耗 尽 。 前 两 年 的 工 商 网 站 有 个 省 份 没 有 限 制 ， 没 多 久 就 把 服 务 器 抓 瘫 了 ( 只 能 说 服 务 器 配 置 太 太 太 次 了 ) ； 如 果 你 服 务 器 能 抗 那 就 更 好 了 ， 用 不 了 多 久 就 能 把 你 全 站 数 据 抓 下 来 。 记 得 两 年 前 收 集 企 业 名 录 ， 一 个 网 站 几 百 万 条 用 了 不 到 两 个 小 时 就 抓 完 了 。 但 现 在 心 态 变 了 ， 如 果 遇 到 一 个 没 有 验 证 码 的 网 站 ， 我 都 会 尽 量 抓 得 慢 一 点 。 毕 竟 都 是 搞 编 程 的 ， 你 如 果 把 人 家 抓 急 了 ， 逼 得 他 改 网 站 ， 改 完 后 自 己 还 得 跟 着 改 ， 冤 冤 相 报 何 时 了 ？ 在 此 也 希 望 大 家 能 手 下 留 情 ， 不 要 遇 见 个 好 欺 负 的 就 往 死 里 整 ， 毕 竟 咱 们 要 的 是 数 据 ， 又 不 是 来 寻 仇 的 。 验 证 码 验 证 码 验 证 码 可 以 说 是 最 基 本 最 常 见 的 反 爬 策 略 了 ， 但 在 某 种 程 度 上 也 是 最 容 易 破 解 的 。 弱 验 证 码 弱 验 证 码 这 里 说 的 弱 验 证 码 就 是 那 种 直 接 扔 给 t e s s e r a c t 就 能 识 别 出 来 的 ， 或 者 经 过 简 单 处 理 。 比 如
上 面 两 种 验 证 码 ， 第 一 种 不 用 任 何 处 理 直 接 用 p y t e s s e r a c t 就 可 以 识 别 。 第 二 种 经 过 简 单 的 灰 度 变 换 - > 二 值 化 后 能 得 到 比 较 干 净 清 晰 的 图 像 ， 再 用 t e s s e r a c t 就 可 以 识 别 了 。 如 下 图 假 验 证 码 假 验 证 码 假 验 证 码 就 是 那 种 用 来 吓 唬 人 的 验 证 码 。 比 如 之 前 某 汽 活 动 页 上 面 的 验 证 码 会 隐 藏 在 页 面 中 ， 点 击 提 交 时 会 用 j s 判 断 验 证 码 是 否 正 确 。 还 有 的 网 站 验 证 码 就 是 摆 设 ， 提 交 的 表 单 中 根 本 就 没 有 验 证 码 参 数 。 强 验 证 码 强 验 证 码
像 下 面 这 种 验 证 码 可 以 算 是 正 常 的 验 证 码 了 ， 由 于 有 变 形 与 粘 连 ， 简 单 的 处 理 已 经 无 法 识 别 了 。 对 于 这 种 验 证 码 用 神 经 网 络 可 以 达 到 很 高 的 识 别 率 ， 但 训 练 耗 时 较 长 ( 如 果 有 g p u 会 快 很 多 ) ， 而 且 需 要 大 量 标 注 的 样 本 。 笔 者 用 了 2 万 个 样 本 做 训 练 ， 识 别 率 能 达 到 8 6 % 左 右 。 神 经 网 络 有 个 缺 陷 是 只 能 识 别 “ 学 习 ” 过 的 样 本 ， 对 于 英 文 加 数 字 来 说 除 去 大 小 写 只 有 3 6 种 可 能 ， 所 以 识 别 率 会 很 高 。 但 识 别 难 度 与 训 练 强 度 会 随 着 分 类 数 量 成 指 数 级 提 高 。 所 以 笔 者 认 为 ， 使 用 中 文 做 验 证 码 并 对 图 像 做 混 淆 粘 连 处 理 后 就 可 以 算 是 强 验 证 码 了 ( 话 不 能 说 太 满 ， 毕 竟 我 只 是 个 数 学 很 差 的 专 科 生 ) 。 请 求 限 制 请 求 限 制 即 对 请 求 速 度 有 限 制 ， 或 封 禁 的 手 段 伪 封 伪 封 i p 为 什 么 要 加 个 “ 伪 ” 字 呢 ？ 因 为 对 于 某 些 网 站 ， 它 们 会 将 某 些 请 求 头 中 的 i p 看 作 用 户 的 真 实 i p ， 比 如 ,   ,   。 对 于 这 种 网 站 该 怎 么 做 不 用 我 多 说 了 吧 。 之 前 某 些 省 份 的 工 商 网 站 就 用 了 这 种 手 段 。 u a 限 制 限 制 即 U s e r - A g e n t ， 有 些 网 站 用 U s e r - A g e n t 当 作 用 户 的 惟 一 标 识 ， 这 种 手 段 会 有 很 大 的 误 伤 ， 所 以 很 少 见 ， 一 般 只 出 现 在 小 网 站 上 。 c o o k i e 某 些 网 站 会 通 过 s e t - c o o k i e 将 请 求 次 数 写 在 用 户 的 c o o k i e 里 ， 写 代 码 时 只 要 禁 用 c o o k i e 就 行 了 。 加 密 加 密 常 用 的 加 密 算 法 也 就 那 几 种 : 对 称 加 密 的 A E S ,   D E S ； 消 息 摘 要 的 m d 5 ,   s h a 1 ； 此 外 还 有 使 用 定 制 的 b a s e 6 4 编 码 ； 笔 者 在 网 页 中 还 没 见 过 到 使 用 非 对 称 加 密 的 ， 在 a p p 中 也 很 少 见 到 。 对 于 对 称 加 密 只 要 找 到 密 钥 就 没 事 了 ， 如 果 A E S 使 用 的 C B C 模 式 ， 还 需 要 找 出 i v 。 关 于 A E S 的 E C B ,   C B C 工 作 模 式 大 家 可 以 百 度 下 。 消 息 摘 要 一 般 用 来 作 签 名 ， 服 务 端 会 用 它 判 断 请 求 参 数 是 否 被 非 法 篡 改 。 这 也 不 难 ， 一 般 是 把 参 数 值 ( 有 时 也 包 含 参 数 X - F o r w a r d e d - F o r X - R e a l - I P V i a
名 ) 按 一 定 顺 序 再 加 上 某 些 计 算 就 能 得 到 。 对 于 定 制 的 b a s e 6 4 ， 只 要 找 出 未 公 开 的 码 表 就 行 了 ， 这 个 之 前 有 人 分 享 过 。 好 像 新 版 的 极 验 里 就 有 用 到 。 非 对 称 加 密 一 般 很 少 见 ， 但 现 在 的 a p p 更 多 的 会 用 到 S S L   C e r t i f i c a t e   P i n n i n g 技 术 。 不 知 大 家 有 没 有 遇 到 过 某 些 a p p ， 一 使 用 b u r p   s u i t e 或 f i d d l e r 抓 包 就 无 法 联 网 ， 关 上 代 理 后 就 正 常 了 ， 这 就 是 s s l 证 书 绑 定 ， 简 单 来 说 就 是 a p p 使 用 自 签 名 的 证 书 与 服 务 端 建 立 s s l 。 h t t p s 协 议 在 建 立 连 接 之 前 客 户 端 会 将 预 置 的 公 钥 和 服 务 端 返 回 的 证 书 做 比 较 。 如 果 一 致 ， 就 建 立 连 接 ， 否 则 就 拒 绝 连 接 ， 从 而 导 致 程 序 无 法 联 网 。 关 于 S S L   p i n n i n g 的 详 情 与 破 解 可 以 参 考 这 篇 文 章 突 破 h t t p s — — h t t p s 抓 包 其 他 渠 道 其 他 渠 道 有 时 网 站 的 反 爬 做 得 比 较 厉 害 ， 继 续 怼 的 话 要 么 太 费 时 要 么 太 费 力 ， 这 时 不 妨 换 个 路 子 。 比 如 去 年 有 段 时 间 裁 判 文 书 网 用 了 某 数 的 w a f ， 分 析 了 将 近 一 个 月 没 有 成 果 ， 但 发 现 该 网 站 还 有 个 a p p ， 做 得 特 别 l o w ， 经 过 简 单 抓 包 逆 向 后 成 功 拿 到 数 据 ， 而 且 数 据 还 是 j s o n 格 式 化 后 的 ， 连 解 析 都 省 了 。 还 有 的 网 站 p c 端 是 w w w . x x x . c o m ， 如 果 换 成 移 动 端 的 u a 会 变 成 m . x x x . c o m ， 而 一 般 移 动 端 的 页 面 比 较 简 洁 ， 反 爬 策 略 可 能 与 主 站 不 一 样 。 通 过 查 找 子 域 名 可 能 会 有 收 获 。 以 上 是 暂 时 想 到 的 一 些 经 验 ， 希 望 能 有 所 帮 助 ， 同 时 也 希 望 大 家 在 抓 数 据 的 时 候 能 够 手 留 情 别 抓 得 太 狠 ， 如 果 把 一 个 数 据 源 抓 废 了 对 大 家 都 不 好 ， 正 好 那 句 话 说 的 ， I T 人 何 苦 为 难 I T 人 。 * 本 文 原 创 作 者 ： 本 文 原 创 作 者 ： m a n w u 9 1 ， 本 文 属 ， 本 文 属 F r e e B u f 原 创 奖 励 计 划 ， 未 经 许 可 禁 止 转 载 原 创 奖 励 计 划 ， 未 经 许 可 禁 止 转 载 阅 读 原 文
回复

举报

高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

使用Markdown编辑器编辑 使用富文本编辑器编辑

Archiver| 手机版| 小黑屋|
Powered by Discuz! X3.4 Copyright © 2001-2020, Tencent Cloud. 商业源码建议获取授权，如侵犯您的权益，请联系客服处理