搜索

[27422] 2019-10-11_听说你碰到这种反爬就歇菜了？手把手教你秒杀它！

文档创建者：s7ckTeam
浏览次数：1
最后更新：2025-01-19
2019-10-11_听说你碰到这种反爬就歇菜了？手把手教你秒杀它！ 听 说 你 碰 到 这 种 反 爬 就 歇 菜 了 ？ 手 把 手 教 你 秒 杀 它 ！ 原 创   N i g h t T e a m 团 队   N i g h t T e a m   2 0 1 9 - 1 0 - 1 1 " N i g h t T e a m " 一 个 值 得 加 星 标 的 公 众 号 。 文 章 作 者 ： 「 夜 幕 团 队   N i g h t T e a m 」   -   戴 煌 金 润 色 、 校 对 ： 「 夜 幕 团 队   N i g h t T e a m 」   -   L o c o 什 么 是 隐 式 什 么 是 隐 式   S t y l e – C S S 先 来 唠 唠 什 么 是   : C S S 中 ， : : b e f o r e   创 建 一 个 伪 元 素 ， 其 将 成 为 匹 配 选 中 的 元 素 的 第 一 个 子 元 素 。 常 通 过   c o n t e n t   属 性 来 为 一 个 元 素 添 加 修 饰 性 的 内 容 。 引 用 自 ： h t t p s : / / d e v e l o p e r . m o z i l l a . o r g / z h - C N / d o c s / W e b / C S S / : : b e f o r e 上 面 的 这 段 话 对 于 没 做 过 前 端 开 发 的 朋 友 而 言 ， 看 着 可 能 会 有 点 难 懂 ， 没 关 系 ， 我 们 用 个 例 子 简 单 地 演 示 一 下 。 我 们 新 建 一 个   H T M L   文 件 输 入 下 面 这 样 的 内 容 ： 并 在 这 个   H T M L   中 引 用 下 面 这 个 样 式 文 件 ： 最 后 在 浏 览 器 中 展 示 的 内 容 是 这 样 的 ： 隐 式   S t y l e – C S S < q > 大 家 好 ， 我 是 咸 鱼 < / q > ， < q > 我 是   N i g h t T e a m   的 一 员 < / q > q : : b e f o r e   {       c o n t e n t :   " « " ;     c o l o r :   b l u e ; } q : : a f t e r   {       c o n t e n t :   " » " ;     c o l o r :   r e d ; }
可 以 看 到 在 上 面 的 例 子 里 ， 我 在   H T M L   源 码 里 隐 藏 了 文 字 前 后 的 符 号 ， 但 是 经 过 浏 览 器 渲 染 后 ， 文 字 前 后 的 符 号 就 出 现 了 ， 是 不 是 很 神 奇 ？ 目 前 很 多 小 说 网 站 都 使 用 了 类 似 这 样 的 反 爬 虫 技 术 ， 用 来 保 护 自 己 的 内 容 不 被 爬 虫 爬 取 。 实 例 讲 解 实 例 讲 解 那 么 类 似 这 样 的 反 爬 技 术 应 该 怎 么 处 理 呢 ？ 咸 鱼 准 备 了 一 个 例 子 简 单 实 战 一 下 ， 用 实 例 讲 讲 我 遇 到 这 类 反 爬 是 如 何 处 理 的 。 发 送 消 息 「 隐 式 发 送 消 息 「 隐 式 S t y l e - C S S 」 到 我 们 的 微 信 公 众 号 「 」 到 我 们 的 微 信 公 众 号 「 N i g h t T e a m 」 即 可 获 取 样 例 地 址 」 即 可 获 取 样 例 地 址 ~ 由 于 这 个 例 子 比 较 简 单 ， 所 以 这 里 我 就 省 略 掉 分 析 请 求 的 步 骤 了 ， 直 接 来 分 析 一 下 浏 览 器 看 到 的 效 果 与 源 码 分 别 长 什 么 样 ， 找 找 有 没 有 什 么 突 破 口 吧 。 这 是 浏 览 器 看 到 的 效 果 ： 浏 览 器 效 果 这 是 源 码 ：
H T M L   源 码 可 以 在 源 码 中 看 到 部 分 内 容 被     替 换 。 页 面 分 析 页 面 分 析 打 开 浏 览 器 的 ， 看 看 隐 藏 的 文 字 是 什 么 样 子 的 ： 可 以 看 到 在 上 图 中 ，   栏 （ 图 中 标 注   2   的 位 置 ， 意 为 元 素 对 应 的   C S S   信 息 ）   中     的 内 容 正 是   H T M L   中 被 隐 藏 的 内 容 （ 图 中 标 注   1   的 位 置 ） 。 这 正 符 合 我 们 在 本 文 第 一 部 分 中 所 看 到 的 例 子 的 效 果 。 那 么 我 们 只 需 要 把 被 替 换 掉 的     标 签 替 换 回   C S S   里 设 置 的     的 值 就 可 以 了 。 如 果 是 正 常 的 页 面 结 构 ， C S S   是 被 直 接 放 在   H T M L   源 码 里 或 某 个   < s p a n   c l a s s = " c o n t e x t _ k w x " > < / s p a n > 开 发 者 模 式 S t y l e s c o n t e n t s p a n c o n t e n t
  文 件 中 的 ， 我 们 只 需 要 在     栏 中 点 击 右 侧 的 文 件 名 就 可 以 直 接 跳 转 到   C S S   文 档 所 在 的 位 置 了 ， 如 下 图 ： 但 是 在 我 们 的 这 个 页 面 中 ，   栏 里 并 没 有 这 样 可 以 点 击 的 位 置 ， 这 代 表 了 这 个 部 分 的   C S S   不 是 直 接 放 在 某 个 文 件 里 的 ， 而 是 通 过 特 殊 手 段 动 态 添 加 上 去 的 ， 所 以 我 们 只 能 通 过 分 析     标 签 的 规 律 找 找 突 破 口 。 从   H T M L   源 码 中 可 以 看 到 ， 所 有 的     标 签 的 类 名 都 是     加 上 一 个 数 字 拼 接 的 ， 我 们 可 以 试 着 搜 索     看 看 。 于 是 我 们 就 搜 到 了 一 些     相 关 的   J S   代 码 ： 我 们 大 致 浏 览 一 下 整 段   J S   代 码 。 这 段   J S   通 过 功 能 分 为 两 个 部 分 ： . c s s S t y l e s S t y l e s s p a n s p a n c o n t e x t _ k w c o n t e x t _ k w c o n t e x t _ k w
第 一 部 分 ：   的 加 解 密 的 逻 辑 内 容 ， 可 以 忽 略 。 第 二 部 分 ： 经 过 混 淆 的 内 容 ， 第 二 部 分 的   J S   对 数 组 中 的 密 文 进 行 解 密 ， 并 操 作 了   D O M   ， 将   J S   与   C S S   结 合 ， 完 成 了 反 爬 最 主 要 的 逻 辑 。 J S   代 码 分 析 代 码 分 析 根 据 第 二 部 分 中 操 作   D O M   的 代 码 ， 我 们 找 到 关 键 变 量   。 再 继 续 找 到     变 量 声 明 的 地 方 。 按 照 这 个 方 法 ， 我 们 最 后 发 现   C S S   的   c o n t e n t   的 内 容 都 是 数 组     中 一 个 经 过 加 密 的 元 素 先 经 过     解 密 再 经 过 一 定 处 理 后 得 到 的 值 。 有 了 这 样 的 一 个 逻 辑 框 架 之 后 ， 我 们 就 可 以 开 始 抠 出 我 们 需 要 的   J S   代 码 了 。 C r y p t o J S w o r d s f o r   ( v a r   i   =   0 x 0 ;   i   <   w o r d s [ _ 0 x e a 1 2 ( ' 0 x 1 8 ' ) ] ;   i + + )   {                         t r y   {                                 d o c u m e n t [ _ 0 x e a 1 2 ( ' 0 x 2 a ' ) ] [ 0 x 0 ] [ _ 0 x e a 1 2 ( ' 0 x 2 b ' ) ] ( ' . c o n t e x t _ k w '   +   i   +   _ 0 x e a 1 2 ( ' 0 x 2 c ' ) ,   ' c o n t e n t : x 2 0 x 2 2 '   +   w o r d s [ i ]   +   ' x 2 2 ' ) ;                         }   c a t c h   ( _ 0 x 5 2 7 f 8 3 )   {                                 d o c u m e n t [ ' s t y l e S h e e t s ' ] [ 0 x 0 ] [ ' i n s e r t R u l e ' ] ( _ 0 x e a 1 2 ( ' 0 x 2 d ' )   +   i   +   _ 0 x e a 1 2 ( ' 0 x 2 e ' )   +   w o r d s [ i ]   +   ' x 2 2 } ' ,   d o c u m e n t [ _ 0 x e a 1 2 ( ' 0 x 2 a ' ) ] [ 0 x 0 ] [ _ 0 x e a 1 2 ( ' 0 x 2 f ' ) ] [ _ 0 x e a 1 2                         }                 } w o r d s v a r   s e c W o r d s   =   d e c r y p t e d [ _ 0 x e a 1 2 ( ' 0 x 1 6 ' ) ] ( C r y p t o J S [ ' e n c ' ] [ ' U t f 8 ' ] ) [ _ 0 x e a 1 2 ( ' 0 x 1 7 ' ) ] ( ' , ' ) ; v a r   w o r d s   =   n e w   A r r a y ( s e c W o r d s [ _ 0 x e a 1 2 ( ' 0 x 1 8 ' ) ] ) ; _ 0 x a 1 2 e A E S
J S   代 码 调 整 代 码 调 整 这 个 代 码 虽 然 经 过 混 淆 ， 但 还 是 比 较 简 单 的 ， 所 以 具 体 的 抠 代 码 步 骤 就 不 演 示 了 ， 这 里 提 示 一 下 在 抠 出 代 码 之 后 两 个 需 要 改 写 的 点 。 第 一 个 是 下 图 中 的 异 常 捕 获 ， 这 里 判 断 了 当 前 的   U R L   是 否 为 原 网 站 的 ， 但 是 我 们 在   N o d e   环 境 下 执 行 是 没 有   w i n d o w   属 性 的 ， 如 果 不 做 修 改 会 出 现 异 常 ， 所 以 需 要 把 这 里 的   i f   判 断 语 句 注 释 掉 。 第 二 个 是 下 图 中 在 返 回 时 的 判 断 语 句 ， 同 样 是 对   N o d e   中 不 存 在 的 属 性 进 行 判 断 ， 所 以 也 需 要 在 这 里 进 行 相 应 的 修 改 。 第 二 个 修 改 点 可 以 像 这 样 改 ： 以 上 两 点 修 改 完 后 就 可 以 获 取 到 所 有 被 替 换 过 的 字 符 了 ， 接 下 来 只 需 要 把 它 们 替 换 进   H T M L   里 就 可 以 还 原 出 正 常 的 页 面 。 替 换 的 步 骤 这 里 就 不 再 演 示 了 ， 因 为 非 常 简 单 ， 一 看 就 会 。 总 结 总 结 本 文 简 单 介 绍 了 隐 式   S t y l e – C S S   在 反 爬 虫 中 的 应 用 ， 并 通 过 一 个 简 单 的 实 例 学 习 了 如 何 应 对 这 种 情 况 ， 相 信 尝 试 过 的 你 已 经 清 楚 地 知 道 下 次 碰 到 这 种 反 爬 的 时 候 该 如 何 破 解 了 。 当 然 呢 ， 这 个 例 子 还 不 够 完 善 ， 没 有 完 全 覆 盖 到 隐 式   S t y l e – C S S   在 反 爬 虫 中 的 所 有 应 用 方 式 ， 如 果 读 者 朋 友 对 这 类 反 爬 虫 有 兴 趣 的 话 ， 不 妨 多 找 几 个 例 子 自 己 动 手 试 试 ， 也 欢 迎 通 过 留 言 区 与 我 交 流 讨 论 。 发 送 消 息 「 隐 式 发 送 消 息 「 隐 式 S t y l e - C S S 」 到 我 们 的 微 信 公 众 号 「 」 到 我 们 的 微 信 公 众 号 「 N i g h t T e a m 」 即 可 获 取 样 例 地 址 」 即 可 获 取 样 例 地 址 ~ 夜 幕 团 队 成 立 于   2 0 1 9   年 ， 团 队 包 括 崔 庆 才 、 周 子 淇 、 陈 祥 安 、 唐 轶 飞 、 冯 威 、 蔡 晋 、 戴 煌 金 、 张 冶 青 和 韦 世 东 。 涉 猎 的 编 程 语 言 包 括 但 不 限 于   P y t h o n 、 R u s t 、 C + + 、 G o ， 领 域 涵 盖 爬 虫 、 深 度 学 习 、 服 务 研 发 、 对 象 存 储 等 。 团 队 非 正 亦 非 邪 ， 只 做 认 为 对 的 事 情 ， 请 大 家 小 心 。 _ 0 x 1 5 3 2 b 6 [ _ 0 x e a 1 2 ( ' 0 x 2 6 ' ) ] ( _ 0 x 4 9 0 c 8 0 ,   0 x 3   *   + ! ( ' o b j e c t '   = = =   _ 0 x e a 1 2 ( ' 0 x 2 7 ' ) ) )
回复

举报

高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

使用Markdown编辑器编辑 使用富文本编辑器编辑

Archiver| 手机版| 小黑屋|
Powered by Discuz! X3.4 Copyright © 2001-2020, Tencent Cloud. 商业源码建议获取授权，如侵犯您的权益，请联系客服处理