搜索

[27400] 2019-07-23_当你写爬虫抓不到APP请求包的时候该怎么办？【初级篇】

文档创建者：s7ckTeam
浏览次数：50
最后更新：2025-01-19
2019-07-23_当你写爬虫抓不到APP请求包的时候该怎么办？【初级篇】 当 你 写 爬 虫 抓 不 到 A P P 请 求 包 的 时 候 该 怎 么 办 ？ 【 初 级 篇 】 原 创   L o c o   N i g h t T e a m   2 0 1 9 - 0 7 - 2 3 迁 移 自 我 的 知 乎 专 栏 《 手 把 手 教 你 写 爬 虫 》 文 中 均 为 A n d r o i d 环 境 下 ， 实 战 中 可 以 尝 试 降 低 A P P 版 本 或 是 尝 试 抓 一 下 i O S 版 A P P 的 包 （ 如 果 有 ） ， 但 不 建 议 太 过 依 赖 i O S 版 A P P 助 人 为 乐 的 我 又 来 了 ， 这 次 又 是 在 逛 v 2 e x 时 看 到 的 一 个 求 助 帖 。 帖 子 内 容 ： 最 近 在 抓 包 一 个   A P P ： 淘 最 热 点 一 款 新 闻   A P P 抓 不 到 新 闻 列 表 内 容 只 抓 到 了 新 闻 图 片 其 他 同 类 型 的   A P P   也 抓 过 没 出 现 这 种 问 题 用 的   c h a r l e s   抓 的 ， 证 书 设 置 没 问 题 不 知 道 是 不 是 这 个   A P P   的 新 闻 列 表 走 了 其 他 协 议 有 大 佬 帮 忙 抓 下 看 看 嘛 看 起 来 这 位 同 学 是 遇 到 了 一 个 A P P 的 请 求 不 走 代 理 ， 以 至 于 出 现 抓 包 时 看 不 到 关 键 的 请 求 的 问 题 ， 我 们 先 来 把 这 个 A P P 装 上 ， 抓 个 包 看 看 具 体 情 况 吧 。
没 有 抓 到 新 闻 列 表 的 请 求 抓 到 的 包 里 确 实 没 有 看 到 新 闻 列 表 的 请 求 ， 除 了 图 中 的 这 些 部 分 以 外 全 都 是 图 片 以 及 C O N N E C T 请 求 。 插 播 一 个 小 提 示 ： F i d d l e r 在 这 个 地 方 可 以 移 除 图 片 、 C O N N E C T 类 型 的 请 求 等 干 扰 项 哦 。
移 除 C O N N E C T 类 型 的 请 求 移 除 返 回 内 容 为 图 片 类 型 的 请 求 如 果 抓 不 到 包 的 话 就 没 法 继 续 写 爬 虫 了 ， 那 么 这 种 情 况 应 该 怎 么 办 呢 ？ 不 要 慌 ， 看 完 这 篇 文 章 后 你 就 能 轻 松 通 杀 9 0 % 以 上 无 法 通 过 直 接 设 置 系 统 代 理 就 抓 到 包 无 法 通 过 直 接 设 置 系 统 代 理 就 抓 到 包 的 A P P 。 这 里 说 两 种 非 常 简 单 的 方 案 吧 ： 1 .   使 用 强 制 全 局 代 理 这 里 选 用 P r o x y   D r o i d 这 个 工 具 来 实 现 强 制 全 局 代 理 的 效 果 。 注 意 ： 需 要 有 注 意 ： 需 要 有 R O O T 权 限 才 能 使 用 权 限 才 能 使 用 P r o x y   D r o i d 的 原 理 是 通 过 i p t a b l e s 将 所 有 T C P 连 接 重 定 向 到 代 理 服 务 器 上 ， 强 制 性 地 让 A P P 的 H T T P 请 求 通 过 代 理 。
在 安 装 P r o x y   D r o i d 时 可 以 选 择 c l o n e 一 份 G i t H u b 仓 库 的 代 码 然 后 自 己 编 译 安 装 ， 也 可 以 选 择 直 接 在 应 用 商 店 下 载 安 装 ， 推 荐 在 G o o g l e P l a y 上 下 载 ， 如 果 你 没 有 科 学 上 网 的 话 ， 在 其 他 应 用 商 店 比 如 U p T o D o w n 和 A p k H e r e 上 也 可 以 下 载 到 。 （ 安 装 完 之 后 安 装 完 之 后 记 得 要 给 它 记 得 要 给 它 R O O T 权 限 权 限 ） 使 用 方 法 很 简 单 ， 设 置 好 系 统 代 理 后 设 置 好 系 统 代 理 后 打 开 P r o x y   D r o i d 并 设 置 好 代 理 服 务 器 的 I P 和 端 口 ， 然 后 点 击 开 启 按 钮 。
开 启 P r o x y   D r o i d 此 时 再 抓 包 就 能 抓 到 这 个 A P P 的 列 表 页 请 求 了 。 成 功 抓 到 新 闻 列 表 的 请 求 2 .   使 用 V P N 抓 包 如 果 使 用 强 制 全 局 代 理 方 案 的 时 候 发 现 A P P 内 请 求 速 度 明 显 变 慢 很 多 或 是 完 全 无 效 的 话 ， 可 以 尝 试 一 下 使 用 V P N 抓 包 ， 这 里 使 用 P a c k e t   C a p t u r e 来 实 现 。 注 意 ： 这 个 注 意 ： 这 个 A P P 不 需 要 不 需 要 R O O T 权 限 权 限 P a c k e t   C a p t u r e 的 原 理 是 在 本 地 创 建 一 个 V P N ， 使 所 有 请 求 都 从 V P N 中 流 过 ， 从 而 实 现 不 适 用 代 理 抓 包 的 效 果 。 （ 这 个 A P P
不 是 开 源 的 ， 且 处 理 部 分 都 是 调 用 的 s o 库 ， A P P 本 身 只 是 一 个 壳 而 已 ， 想 要 看 代 码 的 话 需 要 有 一 定 的 A n d r o i d 逆 向 知 识 和 经 验 ） 因 为 没 有 开 源 ， 所 以 这 个 A P P 只 能 在 应 用 商 店 里 下 载 ， 推 荐 在 G o o g l e P l a y 上 下 载 ， 如 果 没 有 科 学 上 网 话 酷 安 也 是 有 的 。 界 面 展 示 ：
P a c k e t   C a p t u r e 未 开 启 状 态
P a c k e t   C a p t u r e 开 启 后 再 插 播 一 个 小 提 示 ： 使 用 P a c k e t   C a p t u r e 抓 包 时 可 以 只 看 某 个 A P P 的 请 求 ， 设 置 方 式 如 下 ： P a c k e t   C a p t u r e 指 定 查 看 某 个 A P P 点 击 图 中 画 框 的 图 标 ， 会 出 现 一 个 搜 索 界 面 ， 输 入 你 要 抓 包 的 A P P 名 并 点 击 一 下 就 会 开 始 抓 包 了 ， 会 过 滤 掉 其 他 无 关 A P P 的 请 求 ， 只 保 留 你 想 要 的 这 一 个 A P P 的 。
P a c k e t   C a p t u r e 指 定 查 看 淘 最 热 点 那 么 我 们 来 试 试 它 的 效 果 吧 ， 打 开 抓 包 后 ， 在 淘 最 热 点 的 新 闻 列 表 里 随 便 翻 几 下 页 。

回复

举报

高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

Archiver| 手机版| 小黑屋|
Powered by Discuz! X3.4 Copyright © 2001-2020, Tencent Cloud. 商业源码建议获取授权，如侵犯您的权益，请联系客服处理