搜索

[11592] 2017-07-27_反击“猫眼电影”网站的反爬虫策略

文档创建者：s7ckTeam
浏览次数：1
最后更新：2025-01-18
2017-07-27_反击“猫眼电影”网站的反爬虫策略 反 击 “ 猫 眼 电 影 ” 网 站 的 反 爬 虫 策 略 数 月 亮 的 孩 子   F r e e B u f   2 0 1 7 - 0 7 - 2 7 *   本 文 作 者 ： 数 月 亮 的 孩 子 ， 本 文 属 F r e e B u f 原 创 奖 励 计 划 ， 未 经 许 可 禁 止 转 载 0 x 0 1   前 言 前 言 前 两 天 在 百 家 号 上 看 到 一 篇 名 为 《 反 击 爬 虫 ， 前 端 工 程 师 的 脑 洞 可 以 有 多 大 ？ 》 的 文 章 ， 文 章 从 多 方 面 结 合 实 前 两 天 在 百 家 号 上 看 到 一 篇 名 为 《 反 击 爬 虫 ， 前 端 工 程 师 的 脑 洞 可 以 有 多 大 ？ 》 的 文 章 ， 文 章 从 多 方 面 结 合 实 际 情 况 列 举 了 包 括 猫 眼 电 影 、 美 团 、 去 哪 儿 等 际 情 况 列 举 了 包 括 猫 眼 电 影 、 美 团 、 去 哪 儿 等 大 型 电 商 网 站 的 反 爬 虫 机 制 。 的 确 ， 如 文 章 所 说 ， 对 于 一 张 网 大 型 电 商 网 站 的 反 爬 虫 机 制 。 的 确 ， 如 文 章 所 说 ， 对 于 一 张 网 页 ， 我 们 往 往 希 望 它 是 结 构 良 好 ， 内 容 清 晰 的 ， 这 样 搜 索 引 擎 才 能 准 确 地 认 知 它 ； 而 反 过 来 ， 又 有 一 些 情 景 ， 页 ， 我 们 往 往 希 望 它 是 结 构 良 好 ， 内 容 清 晰 的 ， 这 样 搜 索 引 擎 才 能 准 确 地 认 知 它 ； 而 反 过 来 ， 又 有 一 些 情 景 ， 我 们 不 希 望 内 容 能 被 轻 易 获 取 ， 比 方 说 电 商 网 站 的 交 易 额 ， 高 等 学 校 网 站 的 题 目 等 。 因 为 这 些 内 容 ， 往 往 是 一 我 们 不 希 望 内 容 能 被 轻 易 获 取 ， 比 方 说 电 商 网 站 的 交 易 额 ， 高 等 学 校 网 站 的 题 目 等 。 因 为 这 些 内 容 ， 往 往 是 一 个 产 品 的 生 命 线 ， 必 须 做 到 有 效 地 保 护 。 这 就 是 爬 虫 与 反 爬 虫 这 一 话 题 的 由 来 。 本 文 就 以 做 的 较 好 的 个 产 品 的 生 命 线 ， 必 须 做 到 有 效 地 保 护 。 这 就 是 爬 虫 与 反 爬 虫 这 一 话 题 的 由 来 。 本 文 就 以 做 的 较 好 的 “ 猫 眼 电 猫 眼 电 影 影 ” 网 站 为 例 ， 搞 定 他 的 反 爬 虫 机 制 ， 轻 松 爬 去 我 们 想 要 的 数 据 ！ 网 站 为 例 ， 搞 定 他 的 反 爬 虫 机 制 ， 轻 松 爬 去 我 们 想 要 的 数 据 ！ 0 x 0 2   常 见 反 爬 虫 常 见 反 爬 虫 从 功 能 上 来 讲 ， 爬 虫 一 般 分 为 数 据 采 集 ， 处 理 ， 储 存 三 个 部 分 。 而 作 为 程 序 员 的 我 们 只 关 心 数 据 采 集 部 分 ， 处 理 什 么 的 还 是 交 给 那 些 数 据 分 析 师 去 搞 吧 。 一 般 来 说 ， 大 多 数 网 站 会 从 三 个 方 面 反 爬 虫 ： 用 户 请 求 的 H e a d e r s ， 用 户 行 为 ， 网 站 目 录 和 数 据 加 载 方 式 。 前 两 种 比 较 容 易 遇 到 ， 大 多 数 网 站 都 从 这 些 角 度 来 反 爬 虫 ， 而 第 三 种 则 相 对 比 较 特 殊 ， 一 些 应 用 a j a x 的 网 站 会 采 用 ， 这 样 无 疑 会 增 大 了 爬 虫 爬 取 的 难 度 。 然 而 ， 这 三 种 反 爬 虫 策 略 则 早 已 有 应 对 的 方 法 和 策 略 。 如 果 遇 到 了 从 用 户 请 求 的 H e a d e r s 反 爬 虫 机 制 ， 可 以 直 接 在 爬 虫 中 添 加 H e a d e r s ， 将 浏 览 器 的 U s e r - A g e n t 复 制 到 爬 虫 的 H e a d e r s 中 ； 或 者 将 R e f e r e r 值 修 改 为 目 标 网 站 域 名 。 对 于 检 测 H e a d e r s 的 反 爬 虫 ， 在 爬 虫 中 修 改 或 者 添 加 H e a d e r s 就 能 很 好 的 绕 过 。 对 于 基 于 用 户 行 为 的 反 爬 虫 其 实 就 是 通 过 限 制 同 一 I P 短 时 间 内 多 次 访 问 同 一 页 面 ， 应 对 策 略 也 是 很 粗 暴 — — 使 用 I P 代 理 ， 可 以 专 门 写 一 个 爬 虫 ， 爬 取 网 上 公 开 的 代 理 i p ， 检 测 后 全 部 保 存 起 来 。 有 了 大 量 代 理 i p 后 可 以 每 请 求 几 次 更 换 一 个 i p ， 即 可 绕 过 这 种 反 爬 虫 机 制 。 对 于 最 后 一 种 动 态 页 面 反 爬 虫 机 制 来 讲 ，   s e l e n i u m + p h a n t o m J S 框 架 能 够 让 你 在 无 界 面 的 浏 览 器 中 模 拟 加 载 网 页 的 动 态 请 求 ， 毕 竟 s e l e n i u m 可 是 自 动 化 渗 透 的 神 器 。 0 x 0 3   猫 眼 反 爬 虫 介 绍 猫 眼 反 爬 虫 介 绍 介 绍 完 常 见 的 反 爬 虫 机 制 ， 我 们 回 过 头 看 看 我 们 今 天 的 主 角 ： 猫 眼 电 影 的 反 爬 虫 是 什 么 样 的 。 对 于 每 日 的 电 影 院 票 价 这 一 重 要 数 据 ， 源 代 码 中 展 示 的 并 不 是 纯 粹 的 数 字 。 而 是 在 页 面 使 用 了 f o n t - f a c e 定 义 了 字 符 集 ， 并 通 过 u n i c o d e 去 映 射 展 示 。 简 单 介 绍 下 这 种 新 型 的 w e b - f o n g t 反 爬 虫 机 制 ： 使 用 w e b - f o n t 可 以 从 网 络 加 载 字 体 ， 因 此 我 们 可 以 自 己 创 建 一 套 字 体 ， 设 置 自 定 义 的 字 符 映 射 关 系 表 。 例 如 设 置 0 x e f a b 是 映 射 字 符 1 ， 0 x e b a 2 是 映 射 字 符 2 ，
以 此 类 推 。 当 需 要 显 示 字 符 1 时 ， 网 页 的 源 码 只 会 是 0 x e f a b ， 被 采 集 的 也 只 会 是   0 x e f a b ， 并 不 是 1 ： 因 此 采 集 者 采 集 不 到 正 确 的 票 价 数 据 ： 采 集 者 只 能 获 取 到 类 似 的 数 据 ， 并 不 能 知 道 ” ” 映 射 的 字 符 是 什 么 ， 实 现 了 数 据 防 采 集 。 而 对 于 正 常 访 问 的 用 户 则 没 有 影 响 ， 因 为 浏 览 器 会 加 载 c s s 中 的 f o n t 字 体 为 我 们 渲 染 好 ， 实 时 显 示 在 网 页 中 。 也 就 是 说 ， 除 去 图 像 识 别 ， 必 须 同 时 爬 取 字 符 集 ， 才 能 识 别 出 数 字 。 查 看 猫 眼 的 网 站 源 文 件 正 是 如 此 ： 所 有 的 票 价 信 息 都 是 由 动 态 f o n t 字 体 “ 加 密 ” 后 得 到 的 。 既 然 知 道 了 原 理 ， 我 们 就 继 续 发 掘 ， 通 过 分 析 网 站 H T M L 结 构 ， 我 们 发 现 网 站 每 次 渲 染 票 价 的 f o n t 字 体 都 可 以 在 网 页 的 s c r i p t 标 签 中 被 找 到 ：
字 体 是 由 b a s e 6 4 加 密 后 存 储 在 网 页 中 的 ， 于 是 乎 ， 上 p y t h o n ： 我 们 在 爬 取 时 将 f o n t 文 件 解 密 后 存 储 在 本 地 存 储 为 t t f 文 件 ， 留 做 备 用 。 前 文 提 到 过 这 种 w e b - f o n t 定 义 了 字 符 集 ， 要 通 过 u n i c o d e 去 映 射 展 示 ， 所 以 ， 我 们 要 构 建 t t f 字 体 文 件 中 u n i c o d e 映 射 出 来 的 字 符 字 典 ： p y t h o n 代 码 ： # 将 b a s e 6 4 加 密 的 f o n t 文 件 解 密 转 存 本 地 f o n t   =   r e . f i n d a l l ( r " s r c :   u r l ( d a t a : a p p l i c a t i o n / f o n t - w o f f ; c h a r s e t = u t f - 8 ; b a s e 6 4 , ( . * ? ) )   f o r m a t " , r e s p o n s e _ a l l ) [ 0 ] f o n t d a t a = b a s e 6 4 . b 6 4 d e c o d e ( f o n t )     f i l e = o p e n ( ' / h o m e / j a s o n / w o r k s p a c e / 1 . t t f ' , ' w b ' )     f i l e . w r i t e ( f o n t d a t a )     f i l e . c l o s e ( ) i m p o r t   f o n t f o r g e d e f   t f f 2 U n i c o d e ( ) : # 将 字 体 映 射 为 u n i c o d e 列 表         f i l e n a m e   =   ' / h o m e / j a s o n / w o r k s p a c e / 1 . t t f '         f n t   =   f o n t f o r g e . o p e n ( f i l e n a m e )         f o r   i   i n   f n t . g l y p h s ( ) :                 p r i n t   i . u n i c o d e
我 们 猜 测 映 射 关 系 如 下 ： 还 记 得 嘛 ， 第 三 张 图 我 们 爬 取 到 的 数 据 是 “ 绣 春 刀 · 修 罗 战 场   3 4 1 1 8 9   2 0 1 7 - 0 7 - 2 0   6 号 厅   2 D   国 语   1 1 : 1 0   ” ， 我 们 将 “ & # ” 替 换 成 “ 0 ” 后 对 应 上 表 得 出 的 票 价 不 是 刚 好 是 “ 2 9 ” 嘛 ！ p y t h o n 代 码 ： 好 的 ， 到 此 ， 我 们 已 经 可 以 说 已 经 完 成 了 对 票 价 “ 加 密 ” 数 据 的 破 解 啦 ~ 还 是 有 点 小 小 的 成 就 感 呢 ！ 但 是 ， 这 里 面 还 是 有 个 很 坑 的 地 方 ： 开 发 者 已 经 想 到 采 集 者 可 以 通 过 分 析 ， 知 道 每 一 个 映 射 代 表 的 意 思 ， 从 而 进 行 采 集 后 转 换 处 理 ， 所 以 我 们 每 次 访 问 都 是 随 机 得 到 一 种 字 体 ， 而 且 开 发 者 还 定 期 更 新 一 批 字 体 文 件 和 映 射 表 用 来 加 大 采 集 的 难 度 ， 所 以 我 们 在 采 集 的 过 程 中 不 得 不 每 采 集 一 个 页 面 就 更 新 一 次 本 地 的 该 网 页 的 w e b - f o n t 字 体 ， 无 疑 会 大 大 增 加 爬 虫 的 爬 取 成 本 和 爬 取 效 率 ， 所 以 从 一 定 意 义 上 确 实 实 现 了 反 爬 虫 。 t m p _ d i c = { } t t f _ l i s t   =   [ ] d e f   c r e a t T m p D i c ( ) : # 创 建 映 射 字 典         t m p _ d i c = { }         t t f _ l i s t   =   [ ]         n u m _ l i s t   =   [ - 1 , - 1 , 0 , 1 , 2 , 3 , 4 , 5 , 6 , 7 , 8 , 9 ]         f i l e n a m e   =   ' / h o m e / j a s o n / w o r k s p a c e / 1 . t t f '         f n t   =   f o n t f o r g e . o p e n ( f i l e n a m e )         t t f _ l i s t   =   [ ]         f o r   i   i n   f n t . g l y p h s ( ) :                 t t f _ l i s t . a p p e n d ( i . u n i c o d e )         t m p _ d i c   =   d i c t ( z i p ( t t f _ l i s t , n u m _ l i s t ) ) # 构 建 字 典         r e t u r n   t m p _ d i c , t t f _ l i s t d e f   t f f 2 p r i c e ( p a r a   =   " ; " , t m p _ d i c = { } , t t f _ l i s t   =   [ ] ) : # 将 爬 取 的 字 符 映 射 为 字 典 中 的 数 字         t m p _ r e t u r n   =   " "         f o r   j   i n   p a r a . s p l i t ( " ; " ) :                 i f   j   ! =   " " :                         s s   =   j . r e p l a c e ( " & # " , " 0 " )                         f o r   g   i n   t t f _ l i s t :                                 i f   ( h e x ( g )   = =   s s ) :                                         t m p _ r e t u r n + = s t r ( t m p _ d i c [ g ] )         r e t u r n   t m p _ r e t u r n
参 考 文 献 [ 点 击 原 文 ] *   本 文 作 者 ： 数 月 亮 的 孩 子 ， 本 文 属 F r e e B u f 原 创 奖 励 计 划 ， 未 经 许 可 禁 止 转 载 阅 读 原 文
回复

举报

高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

使用Markdown编辑器编辑 使用富文本编辑器编辑

Archiver| 手机版| 小黑屋|
Powered by Discuz! X3.4 Copyright © 2001-2020, Tencent Cloud. 商业源码建议获取授权，如侵犯您的权益，请联系客服处理