搜索

[27401] 2019-07-24_当你写爬虫抓不到APP请求包的时候该怎么办？【中级篇】

文档创建者：s7ckTeam
浏览次数：3
最后更新：2025-01-19
2019-07-24_当你写爬虫抓不到APP请求包的时候该怎么办？【中级篇】 当 你 写 爬 虫 抓 不 到 A P P 请 求 包 的 时 候 该 怎 么 办 ？ 【 中 级 篇 】 原 创   L o c o   N i g h t T e a m   2 0 1 9 - 0 7 - 2 4 迁 移 自 我 的 知 乎 专 栏 《 手 把 手 教 你 写 爬 虫 》 文 中 均 为 A n d r o i d 环 境 下 ， i O S 实 现 同 样 的 操 作 需 要 越 狱 ， 复 杂 度 比 A n d r o i d 高 得 多 ， 强 烈 建 议 使 用 A n d r o i d 机 进 行 调 试 大 家 新 年 好 啊 ， 我 又 回 来 了 ， 难 得 有 空 可 以 搞 事 情 ， 就 把 前 面 挖 的 坑 给 填 了 吧 ， 这 次 的 中 级 篇 就 拿 初 级 篇 里 C o a n d e 同 学 和 不 应 该 呀 同 学 提 到 的 酷 安 和 小 红 书 这 两 个 A P P 来 开 刀 吧 。 首 先 说 一 下 中 级 篇 的 主 要 内 容 ， 中 级 篇 要 处 理 的 是 A P P 开 启 S S L   P i n n i n g 后 导 致 出 现 的 初 级 篇 通 杀 方 案 失 效 的 问 题 。 那 么 什 么 是 S S L   P i n n i n g 呢 ？ 简 单 地 说 一 下 ， S S L   P i n n i n g 是 一 种 防 止 中 间 人 攻 击 （ M I T M ） 的 技 术 ， 主 要 的 机 制 是 在 客 户 端 发 起 请 求 - > 收 到 服 务 器 发 来 的 证 书 这 一 步 之 后 ， 对 收 到 的 证 书 进 行 校 验 ， 如 果 收 到 的 证 书 不 被 客 户 端 所 信 任 ， 就 直 接 断 开 连 接 不 继 续 请 求 。 所 以 在 遇 到 对 关 键 请 求 开 启 了 S S L   P i n n i n g 的 A P P 时 ， 我 们 抓 包 就 只 能 看 到 A P P 上 提 示 无 法 连 接 网 络 或 者 请 求 失 败 之 类 的 提 示 ； 而 在 抓 包 工 具 的 界 面 上 ， 要 么 就 只 能 是 看 到 一 排 C O N N E C T 请 求 ， 获 取 到 了 证 书 后 却 没 有 后 续 了 ， 要 么 就 只 有 一 些 无 关 的 请 求 ， 找 不 到 自 己 想 要 的 那 个 接 口 。 无 法 抓 到 包 的 效 果 图 ： 无 法 抓 到 包 的 效 果 图 1
无 法 抓 到 包 的 效 果 图 2 这 个 问 题 是 怎 么 产 生 的 呢 ？ 是 这 样 ， 当 我 们 使 用 抓 包 工 具 抓 包 时 ， 抓 包 工 具 在 拦 截 了 服 务 端 返 回 的 内 容 并 重 发 给 客 户 端 的 时 候 使 用 的 证 书 并 不 是 服 务 端 原 来 的 证 书 ， 而 是 抓 包 工 具 自 己 的 ， 抓 包 工 具 自 己 的 证 书 并 不 是 A P P 开 发 者 设 定 的 服 务 端 原 本 的 证 书 ， 于 是 就 构 成 了 中 间 人 攻 击 ， 触 发 S S L   P i n n i n g 的 机 制 导 致 连 接 被 中 断 ， 所 以 我 们 无 法 直 接 抓 到 包 。 那 应 该 怎 么 办 呢 ？ 别 急 ， 办 法 很 多 而 且 也 很 简 单 ， 先 了 解 一 下 常 见 的 情 况 吧 ， 常 见 的 开 启 了 S S L   P i n n i n g 的 A P P 大 致 分 为 两 种 操 作 ： 1 .   服 务 端 使 用 了 某 个 权 威 证 书 颁 发 机 构 （ C A ） 颁 发 的 证 书 ， 并 在 A P P 中 校 验 证 书 的 C A 是 否 是 正 常 的 。 2 .   服 务 端 使 用 了 C A 颁 发 的 证 书 或 是 自 己 给 自 己 颁 发 的 证 书 ， 并 在 A P P 中 校 验 证 书 本 身 是 不 是 正 常 的 ， 需 要 将 证 书 与 A P P 本 体 一 同 下 发 。 有 把 证 书 混 淆 在 代 码 里 藏 起 来 的 ， 也 有 直 接 放 在 资 源 目 录 下 的 。 不 过 呢 ， 这 两 种 操 作 都 是 能 被 通 杀 的 ， 下 面 我 将 告 诉 你 如 何 处 理 。 本 篇 同 样 提 供 多 种 通 杀 方 案 ， 请 读 者 自 行 根 据 自 己 所 持 设 备 的 情 况 使 用 。 1 .   直 接 使 用 低 版 本 系 统 的 A n d r o i d 手 机 （ 低 于 7 . 0 ） a n d r o i d   7 . 0   +   使 用 系 统 原 生 锁 定 方 案 , 而 7 . 0   N o u g a t 之 前 则 T r u s t K i t 自 己 逻 辑 实 现 锁 定 . 瘦 蛟 舞 瘦 蛟 舞 大 佬 在 这 篇 文 章 中 有 提 到 ， A n d r o i d 7 . 0 以 后 是 有 系 统 原 生 的 方 案 提 供 的 ， 有 些 A P P 抓 不 到 包 的 时 候 其 实 是 因 为 版 本 比 较 高 ， 用 上 了 原 生 的 方 案 。 所 以 只 要 使 用 低 于 A n d r o i d 7 . 0 版 本 系 统 的 手 机 ， 就 可 以 轻 松 绕 过 大 部 分 A P P 的 S S L   P i n n i n g ， 但 这 个 方 法 毕 竟 不 能 彻 底 通 杀 ， 有 些 A P P （ 也 有 可 能 是 使 用 的 请 求 库 ） 有 自 己 实 现 的 S S L   P i n n i n g 方 案 ， 所 以 对 低 版 本 系 统 也 会 有 效 ， 建 议 配 合 第 二 个 方 案 使 用 。 如 图 所 示 ， 在 A n d r o i d   8 下 ， 抓 包 时 无 法 抓 到 任 何 的 有 用 的 请 求 。

A n d r o i d 8 手 机 信 息 在 A n d r o i d 8 下 抓 包 - 酷 安 在 A n d r o i d 8 下 抓 包 - 小 红 书 但 在 A n d r o i d 5 . 1 . 1 下 ， 却 没 有 任 何 问 题 。
A n d r o i d 8 手 机 信 息
在 A n d r o i d 8 下 抓 包 - 酷 安 在 A n d r o i d 8 下 抓 包 - 小 红 书 2 .   使 用 X p o s e d 或 兼 容 X p o s e d 的 框 架 + J u s t T r u s t M e 这 个 方 案 使 用 的 是 J u s t T r u s t M e 这 个 X p o s e d 模 块 ， 它 所 做 的 事 情 就 是 将 各 种 已 知 的 的 H T T P 请 求 库 中 用 于 校 验 证 书 的 A P I 都 进 行 H o o k ， 使 无 论 是 否 是 可 信 证 书 的 情 况 ， 校 验 结 果 返 回 都 为 正 常 状 态 ， 从 而 实 现 绕 过 证 书 检 查 的 效 果 。 具 体 操 作 的 时 候 唯 一 麻 烦 的 就 是 安 装 X p o s e d 框 架 ， 但 因 为 现 在 维 术 维 术 大 佬 的 太 极 A P P （ 关 注 他 的 公 众 号 《 虚 拟 框 架 》 下 载 ） 支 持 使 用 M a g i s k 挂 载 启 动 ， 实 现 了 几 乎 与 X p o s e d 框 架 同 样 的 使 用 方 式 和 效 果 ， 并 兼 容 了 很 多 X p o s e d 的 模 块 ， 所 以 如 果 觉 得 X p o s e d 框 架 安 装 太 过 麻 烦 或 是 担 心 砖 机 的 同 学 可 以 尝 试 使 用 太 极 - M a g i s k ， 直 接 解 了 B L 锁 之 后 刷 入 M a g i s k 并 在 M a g i s k - M a n a g e r 中 添 加 太 极 模 块 就 可 以 使 用 了 ， 安 装 和 使 用 教 程 后 续 会 再 写 一 篇 专 门 的 说 明 链 接 过 来 ， 等 不 及 的 同 学 也 可 以 直 接 看 太 极 的 文 档 进 行 操 作 。 效 果 呢 就 是 开 启 J u s t T r u s t M e 之 后 与 低 版 本 下 抓 包 一 致 ， 关 闭 后 打 回 原 形 ， 这 里 就 不 贴 图 了 。 注 意 ： 这 个 模 块 在 过 高 的 系 统 版 本 注 意 ： 这 个 模 块 在 过 高 的 系 统 版 本 ( 8 - 9 ) 下 偶 尔 会 出 现 导 致 所 有 下 偶 尔 会 出 现 导 致 所 有 H T T P 请 求 都 失 败 的 请 求 都 失 败 的 B U G ， 如 果 不 是 使 用 专 门 的 测 试 机 ， 如 果 不 是 使 用 专 门 的 测 试 机 安 装 这 个 模 块 的 话 ， 建 议 日 常 使 用 时 将 其 关 闭 ， 以 免 遇 到 奇 怪 的 问 题 。 安 装 这 个 模 块 的 话 ， 建 议 日 常 使 用 时 将 其 关 闭 ， 以 免 遇 到 奇 怪 的 问 题 。 注 意 ： 本 人 并 未 在 日 常 用 机 上 长 时 间 使 用 太 极 注 意 ： 本 人 并 未 在 日 常 用 机 上 长 时 间 使 用 太 极 - M a g i s k + J u s t T r u s t M e ， 不 清 楚 是 否 存 在 其 他 ， 不 清 楚 是 否 存 在 其 他 B U G ， 如 出 现 问 题 请 联 系 ， 如 出 现 问 题 请 联 系 维 术 或 维 术 或 J u s t T r u s t M e 作 者 。 作 者 。 3 .   将 抓 包 工 具 的 证 书 安 装 到 系 统 根 证 书 目 录 中 这 个 方 案 的 来 源 是 这 个 贴 子 中 l e t i t b e s q z r 所 提 到 的 第 二 种 方 案 ， 个 人 认 为 较 为 麻 烦 ， 不 推 荐 使 用 ， 毕 竟 有 权 限 往 s y s t e m 分 区 写 文 件 的 时 候 完 全 可 以 用 J u s t T r u s t M e 了 。
操 作 方 法 如 下 ： 系 统 证 书 的 目 录 是 ： / s y s t e m / e t c / s e c u r i t y / c a c e r t s / 每 个 证 书 的 命 名 规 则 为 ： . C e r t i f i c a t e _ H a s h   表 示 证 书 文 件 的   h a s h   值 ， N u m b e r   是 为 了 防 止 证 书 文 件 的   h a s h   值 一 致 而 增 加 的 后 缀 ; 证 书 的   h a s h   值 可 以 由 命 令 计 算 出 来 ， 在 终 端 输 入   o p e n s s l   x 5 0 9   - s u b j e c t _ h a s h _ o l d   - i n ， 其 中   C e r t i f i c a t e _ F i l e   为 证 书 路 径 ， 将 证 书 重 命 名 为   h a s h . 0   放 入 系 统 证 书 目 录 ， 之 后 你 就 可 以 正 常 抓 包 了 。 4 .   V i r t u a l X p o s e d （ V i r t u a l A p p ） 这 个 方 案 的 来 源 是 这 个 贴 子 中 l e t i t b e s q z r 所 提 到 的 第 三 种 方 案 。 原 理 不 明 ， 疑 似 V i r t u a l A p p 在 转 发 其 内 部 A P P 的 操 作 时 没 有 进 行 校 验 证 书 的 操 作 ？ 希 望 有 研 究 过 的 大 佬 解 释 一 下 具 体 原 理 。 使 用 这 个 方 案 时 直 接 安 装 V i r t u a l X p o s e d 即 可 ， 代 理 的 设 置 还 是 在 原 来 的 地 方 操 作 ， 只 需 要 将 需 要 抓 包 的 A P P 添 加 至 V i r t u a l X p o s e d 中 ， 再 打 开 它 内 部 的 那 一 个 对 应 的 A P P 就 可 以 抓 到 包 了 。 但 并 未 详 细 测 试 这 个 方 案 对 各 种 H T T P 请 求 库 的 兼 容 性 ， 所 以 不 清 楚 用 了 其 他 H T T P 请 求 库 的 A P P 是 否 也 会 是 同 样 的 效 果 。 效 果 如 下 ： 使 用 V i r t u a l X p o s e d 之 后 抓 包 - 小 红 书 1 使 用 V i r t u a l X p o s e d 之 后 抓 包 - 小 红 书 2
好 了 ， 学 会 了 这 四 招 之 后 ， 初 级 篇 里 的 9 0 % 占 比 就 被 提 升 至 9 9 % 了 ， 剩 下 的 那 一 小 撮 不 被 初 、 中 级 篇 的 方 案 破 掉 的 A P P 将 在 高 级 篇 中 讲 解 ， 但 应 该 是 没 有 能 做 到 通 杀 的 方 案 了 ， 毕 竟 每 家 的 处 理 方 式 都 不 同 。 欢 迎 提 供 高 级 篇 的 素 材 ， 在 评 论 或 私 信 里 告 知 我 都 可 以 。 这 个 时 代 各 种 东 西 变 化 太 快 ， 而 网 络 上 的 垃 圾 信 息 又 很 多 ， 你 需 要 有 一 个 良 好 的 知 识 获 取 渠 道 ， 很 多 时 候 早 就 是 一 种 优 势 ， 还 不 赶 紧 关 注 我 的 公 众 号 并 置 顶 / 星 标 一 波 ~
回复

举报

高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

使用Markdown编辑器编辑 使用富文本编辑器编辑

Archiver| 手机版| 小黑屋|
Powered by Discuz! X3.4 Copyright © 2001-2020, Tencent Cloud. 商业源码建议获取授权，如侵犯您的权益，请联系客服处理