搜索

[27440] 2019-12-31_激情上演头文字D发夹弯漂移？你是真的骚！

文档创建者：s7ckTeam
浏览次数：2
最后更新：2025-01-19
2019-12-31_激情上演头文字D发夹弯漂移？你是真的骚！ 激 情 上 演 头 文 字   D   发 夹 弯 漂 移 ？ 你 是 真 的 骚 ！ 原 创   韦 世 东   N i g h t T e a m   2 0 1 9 - 1 2 - 3 1 内 容 选 自 即 将 出 版 即 将 出 版 的 《 P y t h o n 3   反 爬 虫 原 理 与 绕 过 实 战 》 ， 本 次 公 开 书 稿 范 围 为 第   6   章 — — 文 本 混 淆 反 爬 虫 。 本 篇 为 第 6   章 中 的 第   2   小 节 ， 第   3 、 4   小 节 《 S V G   反 爬 虫 》 、 《 字 体 反 爬 虫 》 已 发 布 ， 其 余 小 节 将 逐 步 放 送 逐 步 放 送 。 C S S   偏 移 反 爬 虫 偏 移 反 爬 虫 C S S   偏 移 反 爬 虫 指 的 是 利 用   C S S   样 式 将 乱 序 的 文 字 排 版 为 人 类 正 常 阅 读 顺 序 的 行 为 。 这 个 概 念 不 是 很 好 理 解 ， 我 们 可 以 通 过 对 比 两 段 文 字 来 加 深 对 这 个 概 念 的 理 解 。 • H T M L   文 本 中 的 文 字 ： 我 的 学 号 是   1 3 0 8 2 0 5 ， 我 在 北 京 大 学 读 书 。 • 浏 览 器 显 示 的 文 字 ： 我 的 学 号 是   1 3 8 0 2 0 5 ， 我 在 北 京 大 学 读 书 。 爬 虫 提 取 到 的 学 号 是   1 3 0 8 2 0 5 ， 但 用 户 在 浏 览 器 中 看 到 的 却 是   1 3 8 0 2 0 5 。 如 果 不 细 心 观 察 ， 爬 虫 工 程 师 很 容 易 被 爬 取 结 果 糊 弄 。 这 种 混 淆 方 法 和 图 片 伪 装 一 样 ， 是 不 会 影 响 用 户 阅 读 的 。 让 人 好 奇 的 是 ， 浏 览 器 如 何 将   H T M L   文 本 中 的 数 字 按 照 开 发 者 的 意 愿 排 序 或 放 置 呢 ？ 这 种 放 置 规 则 是 如 何 运 作 的 呢 ？ 我 们 可 以 通 过 一 个 具 体 的 例 子 来 了 解   C S S   偏 移 反 爬 虫 的 应 用 和 绕 过 方 法 。 6 . 2 . 1   C S S   偏 移 反 爬 虫 绕 过 实 战 偏 移 反 爬 虫 绕 过 实 战 示 例   5 ： C S S   偏 移 反 爬 虫 示 例 。 网 址 ： h t t p : / / w w w . p o r t e r s . v i p / c o n f u s i o n / f l i g h t . h t m l 。 任 务 ： 爬 取 航 班 查 询 和 机 票 销 售 网 站 页 面 中 的 航 站 名 称 、 所 属 航 空 公 司 和 票 价 ， 页 面 内 容 如 图   6 - 4   所 示 。
图   6 - 4   示 例   5   页 面 在 编 写   P y t h o n   代 码 之 前 ， 我 们 需 要 确 定 目 标 数 据 的 元 素 定 位 。 航 空 公 司 名 称 元 素 定 位 如 图   6 - 5   所 示 。 图   6 - 5   航 空 公 司 名 称 元 素 定 位 结 果 航 空 公 司 名 称 包 裹 在 没 有 属 性 的   s p a n   标 签 中 ， 但 该   s p a n   标 签 包 裹 在   c l a s s   属 性 为   a i r   g - t i p s   的   d i v   标 签 中 。 接 下 来 我 们 看 一 下 航 站 名 称 的 元 素 定 位 ， 定 位 结 果 如 图   6 - 6   所 示 。
图   6 - 6   航 站 名 称 元 素 定 位 结 果 航 站 名 称 包 裹 在 没 有 属 性 的   h 2   标 签 中 ， h 2   标 签 包 裹 在   c l a s s   为   s e p - l f   的   d i v   标 签 中 。 我 们 再 看 一 下 票 价 的 元 素 定 位 ， 定 位 结 果 如 图   6 - 7   所 示 。 图   6 - 7   票 价 的 元 素 定 位 结 果
页 面 中 显 示 的 票 价 为   4 6 7 ， 但 是 在 网 页 中 却 有 两 组 不 同 的 数 字 ， 其 中 一 组 是 [ 7 ,   7 ,   7 ] ， 而 另 一 组 是   [ 6 ,   4 ] ， 这 看 起 来 就 有 点 奇 怪 了 。 难 道 是 网 页 显 示 有 问 题 ？ 按 照 正 常 排 序 来 说 ， 这 架 航 班 的 票 价 应 该 是   7 7   7 6 4   才 对 。 我 们 可 以 查 看 第 二 架 航 班 信 息 的 价 格 ， 思 考 是 网 页 显 示 问 题 还 是 做 了 什 么 反 爬 虫 措 施 。 第 二 架 航 班 的 票 价 元 素 定 位 结 果 如 图   6 - 8   所 示 。 图   6 - 8   第 二 架 航 班 的 票 价 元 素 定 位 结 果 结 果 与 第 一 架 航 班 的 票 价 显 示 有 同 样 的 问 题 ： 网 页 显 示 内 容 和   H T M L   代 码 中 的 内 容 不 一 致 。 我 们 分 析 一 下   H T M L   代 码 ， 看 一 看 是 否 能 找 到 什 么 线 索 。 第 一 架 航 班 票 价 的   H T M L   代 码 为 ： 代 码 中 有   3   对   b   标 签 ， 第   1   对   b   标 签 中 包 含   3   对   i   标 签 ， i   标 签 中 的 数 字 都 是   7 ， 也 就 是 说 第   1   对   b   标 签 的 显 示 结 果 应 < s p a n   c l a s s = " p r c _ w p "   s t y l e = " w i d t h : 4 8 p x " >           < e m   c l a s s = " r e l " >                   < b   s t y l e = " w i d t h : 4 8 p x ; l e f t : - 4 8 p x " >                           < i   s t y l e = " w i d t h :   1 6 p x ; " > 7 < / i >                           < i   s t y l e = " w i d t h :   1 6 p x ; " > 7 < / i >                           < i   s t y l e = " w i d t h :   1 6 p x ; " > 7 < / i >                   < / b >                   < b   s t y l e = " w i d t h :   1 6 p x ; l e f t : - 3 2 p x " > 6 < / b >                   < b   s t y l e = " w i d t h :   1 6 p x ; l e f t : - 4 8 p x " > 4 < / b >           < / e m >   < / s p a n >
该 是   7 7 7 。 而 第   2   对   b   标 签 中 的 数 字 是   6 ， 第   3   对   b   标 签 中 的 数 字 是   4 。 这 些 数 字 与 页 面 所 显 示 票 价   4 6 7   的 关 系 是 什 么 呢 ？ 这 一 步 找 到 的 标 签 和 数 字 有 可 能 是 数 据 源 ， 但 是 数 字 的 组 合 有 很 多 种 可 能 ， 如 图   6 - 9   所 示 。 图   6 - 9   数 字 组 合 推 测 5   个 数 字 的 组 合 结 果 太 多 了 ， 我 们 必 须 找 出 其 中 的 规 律 ， 这 样 就 能 知 道 网 页 为 什 么 显 示   4 6 7   而 不 是   7 6 4   或 者   7 7 6   。 在 仔 细 查 看 过 后 ， 发 现 每 个 带 有 数 字 的 标 签 都 设 定 了 样 式 。 第   1   对   b   标 签 的 样 式 为 ： 第   2   对   b   标 签 的 样 式 为 ： 第   3   对   b   标 签 的 样 式 为 ： i   标 签 对 的 样 式 是 相 同 的 ， 都 是 ： 另 外 ， 还 注 意 到 最 外 层 的   s p a n   标 签 对 的 样 式 为 ： w i d t h : 4 8 p x ; l e f t : - 4 8 p x w i d t h :   1 6 p x ; l e f t : - 3 2 p x w i d t h :   1 6 p x ; l e f t : - 4 8 p x w i d t h :   1 6 p x ; w i d t h : 4 8 p x
如 果 按 照   C S S   样 式 这 条 线 索 来 分 析 的 话 ， 第   1   对   b   标 签 中 的   3   对   i   标 签 刚 好 占 满   s p a n   标 签 对 的 位 置 ， 其 位 置 如 图   6 - 1 0   所 示 。 图   6 - 1 0   s p a n   标 签 对 和   i   标 签 对 位 置 图 此 时 网 页 中 显 示 的 价 格 应 该 是   7 7 7 ， 但 是 由 于 第   2   和 第   3   对   b   标 签 中 有 值 ， 所 以 我 们 还 需 要 计 算 它 们 的 位 置 。 此 时 标 签 位 置 的 变 化 如 图   6 - 1 1   所 示 。 图   6 - 1 1   标 签 位 置 变 化 右 侧 是 标 签 位 置 变 化 后 的 结 果 ， 由 于 第   2   对   b   标 签 的 位 置 样 式 是   l e f t : - 3 2 p x ， 所 以 第   2   对   b   标 签 中 的 值   6   就 会 覆 盖 原 来 第   1   对   b   标 签 中 的 中 的 第   2   个 数 字   7 ， 此 时 页 面 应 该 显 示 的 数 字 是   7 6 7 。
按 此 规 律 推 算 ， 第   3   对   b   标 签 的 位 置 样 式 是   l e f t : - 4 8 p x ， 这 个 标 签 的 值 会 覆 盖 第   1   对   b   标 签 中 的 第   1   个 数 字   7 ， 覆 盖 结 果 如 图   6 - 1 2   所 示 ， 最 后 显 示 的 票 价 是   4 6 7 。 图   6 - 1 2   覆 盖 结 果 根 据 结 果 来 看 这 种 算 法 是 合 理 的 ， 不 过 我 们 还 需 要 对 其 进 行 验 证 ， 现 在 将 第 二 架 航 班 的   H T M L   值   和   C S S   样 式 按 照 这 个 规 律 进 行 推 算 。 最 后 推 算 得 到 的 结 果 与 页 面 显 示 结 果 相 同 ， 说 明 这 个 位 置 偏 移 的 计 算 方 法 是 正 确 的 ， 这 样 我 们 就 可 以 编 写   P y t h o n   代 码 获 取 网 页 中 的 票 价 信 息 了 。 因 为   b   标 签 包 裹 在   c l a s s   属 性 为   r e l   的   e m   标 签 下 ， 所 以 我 们 要 定 位 所 有 的 e m   标 签 。 对 应 的   P y t h o n   代 码 如 下 ： 接 着 定 位 所 有 的   b   标 签 。 由 于   b   标 签 中 还 有   i   标 签 ， 而 且   i   标 签 的 值 是 基 准 数 据 ， 所 以 可 以 直 接 提 取 。 对 应 的   P y t h o n 代 码 如 下 ： i m p o r t   r e q u e s t s   i m p o r t   r e   f r o m   p a r s e l   i m p o r t   S e l e c t o r   u r l   =   ' h t t p : / / w w w . p o r t e r s . v i p / c o n f u s i o n / f l i g h t . h t m l '   r e s p   =   r e q u e s t s . g e t ( u r l )   s e l   =   S e l e c t o r ( r e s p . t e x t )   e m   =   s e l . c s s ( ' e m . r e l ' ) . e x t r a c t ( ) f o r   e l e m e n t   i n   e m :           e l e m e n t   =   S e l e c t o r ( e l e m e n t )           #   定 位 所 有 的 < b > 标 签         e l e m e n t _ b   =   e l e m e n t . c s s ( ' b ' ) . e x t r a c t ( )           b 1   =   S e l e c t o r ( e l e m e n t _ b . p o p ( 0 ) )           #   获 取 第   1   对 < b > 标 签 中 的 值 ( 列 表 )  
接 下 来 要 提 取 其 他   b   标 签 的 偏 移 量 和 数 字 。 对 应 的   P y t h o n   代 码 如 下 ： 然 后 根 据 偏 移 量 决 定 基 准 数 据 列 表 的 覆 盖 元 素 ， 实 际 上 是 完 成 图   6 - 1 1   中 的 操 作 。 最 后 将 数 据 列 表 打 印 出 来 ， 得 到 的 输 出 结 果 为 ： 令 人 感 到 奇 怪 的 是 ， 输 出 结 果 中 第 一 组 票 价 数 字 与 页 面 中 显 示 的 相 同 ， 但 第 二 组 却 不 同 。 这 是 因 为 第 二 架 航 班 的 票 价 基 准 数 据 有   4   个 值 。 航 班 票 价 对 应 的   H T M L   代 码 如 下 ：         b a s e _ p r i c e   =   b 1 . c s s ( ' i : : t e x t ' ) . e x t r a c t ( ) a l t e r n a t e _ p r i c e   =   [ ]   f o r   e b   i n   e l e m e n t _ b :         e b   =   S e l e c t o r ( e b )         #   提 取 < b > 标 签 的   s t y l e   属 性 值       s t y l e   =   e b . c s s ( ' b : : a t t r ( " s t y l e " ) ' ) . g e t ( )         #   获 得 具 体 的 位 置       p o s i t i o n   =   ' ' . j o i n ( r e . f i n d a l l ( ' l e f t : ( . * ) p x ' ,   s t y l e ) )         #   获 得 该 标 签 下 的 数 字       v a l u e   =   e b . c s s ( ' b : : t e x t ' ) . g e t ( )         #   将 < b > 标 签 的 位 置 信 息 和 数 字 以 字 典 的 格 式 添 加 到 替 补 票 价 列 表 中       a l t e r n a t e _ p r i c e . a p p e n d ( { ' p o s i t i o n ' :   p o s i t i o n ,   ' v a l u e ' :   v a l u e } ) f o r   a l   i n   a l t e r n a t e _ p r i c e :         p o s i t i o n   =   i n t ( a l . g e t ( ' p o s i t i o n ' ) )         v a l u e   =   a l . g e t ( ' v a l u e ' )         #   判 断 位 置 的 数 值 是 否 正 整 数       p l u s   =   T r u e   i f   p o s i t i o n   > =   0   e l s e   F a l s e         #   计 算 下 标 ， 以   1 6 p x   为 基 准       i n d e x   =   i n t ( p o s i t i o n   /   1 6 )         #   替 换 第 一 对 < b > 标 签 值 列 表 中 的 元 素 ， 也 就 是 完 成 值 覆 盖 操 作       b a s e _ p r i c e [ i n d e x ]   =   v a l u e   p r i n t ( b a s e _ p r i c e ) [ ' 4 ' ,   ' 6 ' ,   ' 7 ' ]   [ ' 8 ' ,   ' 7 ' ,   ' 0 ' ,   ' 5 ' ] < e m   c l a s s = " r e l " >         < b   s t y l e = " w i d t h : 6 4 p x ; l e f t : - 6 4 p x " >                 < i   s t y l e = " w i d t h :   1 6 p x ; " > 8 < / i >                 < i   s t y l e = " w i d t h :   1 6 p x ; " > 3 < / i >                 < i   s t y l e = " w i d t h :   1 6 p x ; " > 9 < / i >                 < i   s t y l e = " w i d t h :   1 6 p x ; " > 5 < / i >       < / b >         < b   s t y l e = " w i d t h :   1 6 p x ; l e f t : - 3 2 p x " > 0 < / b >         < b   s t y l e = " w i d t h :   1 6 p x ; l e f t : - 4 8 p x " > 7 < / b >         < b   s t y l e = " w i d t h :   1 6 p x ; l e f t : - 1 6 p x " > 5 < / b >   < / e m >
覆 盖 操 作 是 根 据 由 偏 移 量 计 算 得 出 的 下 标 进 行 的 ， 实 际 上 就 是 列 表 元 素 的 替 换 。 当 基 准 数 据 列 表 的 元 素 数 量 超 过 包 裹 着 i   标 签 的   b   标 签 宽 度 时 ， 我 们 就 对 列 表 进 行 切 片 ， 否 则 按 照 原 来 的 替 换 规 则 进 行 。 因 此 ， 需 要 对 代 码 做 一 些 调 整 。 调 整 内 容 如 下 ： 如 果 列 表 中 元 素 的 数 量 超 过 标 签 宽 度 ， 那 么 后 面 的 元 素 是 不 会 显 示 的 。 比 如   w i d t h : 3 2 p x ， 每 个 标 签 占 位 宽 度   1 6   p x ， 那 么 即 使   b   标 签 下 有   5   个   i   标 签 （ b a s e _ p r i c e = [ 1 ,   2   , 3   , 4   ,   5 ] ） ， 在 页 面 中 也 仅 显 示 前 面 的 两 个 数 字 。 代 码 调 整 完 毕 后 ， 再 次 运 行 代 码 。 运 行 结 果 为 ： 第 二 架 航 班 的 票 价 结 果 仍 然 跟 页 面 显 示 的 内 容 不 同 ， 但 根 据   C S S   宽 度 规 则 ， 我 们 之 前 分 析 的 逻 辑 是 正 确 的 。 为 什 么 结 果 还 是 跟 页 面 显 示 的 不 一 样 呢 ？ 实 际 上 并 不 是 我 们 的 逻 辑 和 代 码 有 错 ， 而 是 页 面 显 示 错 误 。 要 注 意 的 是 ， 页 面 数 据 显 示 错 误 是 常 发 生 的 事 ， 我 们 只 需 要 按 照 正 确 的 逻 辑 编 写 代 码 即 可 。 6 . 2 . 2   去 哪 儿 网 反 爬 虫 案 例 去 哪 儿 网 反 爬 虫 案 例 去 哪 儿 网 是 中 国 领 先 的 在 线 旅 游 平 台 ， 覆 盖 全 球   6 8   万 余 条 航 线 ， 并 与 国 内 的 旅 游 景 点 和 航 空 公 司 进 行 了 深 度 的 合 作 。 去 哪 儿 网 也 有 用 到 类 似 的 反 爬 虫 手 段 ， 我 们 一 起 来 了 解 一 下 。 打 开 浏 览 器 并 访 问   h t t p s : / / d w z . c n / d 0 5 z N K y q ， 页 面 内 容 如 图   6 - 1 3   所 示 。 #   减 号 代 表 删 除 此 行 代 码 ， 加 号 代 表 新 增 代 码 +   i m p o r t   r e   -   b a s e _ p r i c e   =   b 1 . c s s ( ' i : : t e x t ' ) . e x t r a c t ( )   +   b 1 _ s t y l e   =   b 1 . c s s ( ' b : : a t t r ( " s t y l e " ) ' ) . g e t ( )   #   获 得 具 体 的 位 置 +   b 1 _ w i d t h   =   ' ' . j o i n ( r e . f i n d a l l ( ' w i d t h : ( . * ) p x ; ' ,   b 1 _ s t y l e ) )   +   n u m b e r   =   i n t ( i n t ( b 1 _ w i d t h )   /   1 6 )   #   获 取 第   1   对   < b >   标 签 中 的 值 ( 列 表 )   +   b a s e _ p r i c e   =   b 1 . c s s ( ' i : : t e x t ' ) . e x t r a c t ( ) [ : n u m b e r ] [ ' 4 ' ,   ' 6 ' ,   ' 7 ' ]   [ ' 8 ' ,   ' 7 ' ,   ' 0 ' ,   ' 5 ' ]
图   6 - 1 3   去 哪 儿 网 航 班 信 息 航 班 票 价 对 应 的   H T M L   代 码 如 图   6 - 1 4   所 示 。 图   6 - 1 4   去 哪 儿 网 航 班 票 价   H T M L   代 码 去 哪 儿 网 航 班 票 价 所 对 应 的   H T M L   代 码 结 构 和   C S S   与 我 们 在 示 例   5   中 见 到 的 类 似 。 我 们 可 以 大 胆 猜 测 ， 去 哪 儿 网 航 班 票 价 的 显 示 规 律 与 示 例   5   中 所 用 的 方 法 也 是 类 似 的 ， 感 兴 趣 的 同 学 可 以 按 照   6 . 2 . 1   节 的 思 路 进 行 票 价 推 算 。 去 哪 儿 网 航 班 票 价 中 第   1   对   b   标 签 下 的   i   标 签 数 量 与   w i d t h   是 相 匹 配 的 ， 并 未 出 现 显 示 错 误 的 问 题 。
回复

举报

高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

使用Markdown编辑器编辑 使用富文本编辑器编辑

Archiver| 手机版| 小黑屋|
Powered by Discuz! X3.4 Copyright © 2001-2020, Tencent Cloud. 商业源码建议获取授权，如侵犯您的权益，请联系客服处理