搜索

[27391] 2019-06-14_当你写爬虫遇到APP的请求有加密参数时该怎么办？【初级篇-常规模式】

文档创建者：s7ckTeam
浏览次数：2
最后更新：2025-01-19
2019-06-14_当你写爬虫遇到APP的请求有加密参数时该怎么办？【初级篇-常规模式】 当 你 写 爬 虫 遇 到 A P P 的 请 求 有 加 密 参 数 时 该 怎 么 办 ？ 【 初 级 篇 - 常 规 模 式 】 原 创   L o c o   N i g h t T e a m   2 0 1 9 - 0 6 - 1 4 嗯 ， 在 看 完 了 《 当 你 写 爬 虫 抓 不 到 A P P 请 求 包 的 时 候 该 怎 么 办 ？ 》 系 列 之 后 ， 同 学 们 对 抓 A P P 的 请 求 包 应 该 已 经 是 轻 车 熟 路 了 吧 。 在 对 想 爬 的 A P P 抓 个 包 之 后 你 可 能 会 发 现 ， 只 是 抓 到 包 似 乎 没 有 什 么 卵 用 啊 ， 凡 是 有 用 的 接 口 基 本 都 有 一 个 或 多 个 加 密 的 参 数 ， 而 且 它 还 每 次 请 求 都 变 ， 而 自 己 去 请 求 对 应 的 接 口 时 ， 如 果 没 带 或 者 随 便 输 入 一 串 值 给 这 种 参 数 ， 还 会 出 现 不 返 回 数 据 的 情 况 ， 这 可 怎 么 办 才 好 ？ 别 担 心 ， 据 我 观 察 ， 目 前 至 少 8 0 % 左 右 的 常 见 A P P （ B A T 这 类 大 厂 的 除 外 ） 在 安 全 方 面 做 的 并 不 好 ， 在 看 完 这 篇 文 章 之 后 ， 你 将 知 道 如 何 轻 松 地 拿 下 它 们 。 我 们 直 接 开 始 实 战 演 练 吧 ， 这 里 我 写 了 一 个 演 示 用 的 A P P 给 你 玩 ， 它 会 像 我 前 面 所 说 的 一 样 ， 发 出 一 个 请 求 并 带 有 一 个 加 密 参 数 — — s i g n ， 且 每 次 请 求 时 s i g n 都 会 变 化 。
A P P 启 动 界 面 安 装 之 后 打 开 它 ， 并 准 备 好 你 的 抓 包 工 具 ， 然 后 点 击 “ 点 击 发 送 请 求 ” 按 钮 。
请 求 完 毕 不 出 意 外 的 话 会 出 现 一 个 “ s i g n 校 验 通 过 ” 的 提 示 ， 然 后 我 们 看 看 抓 到 的 包 吧 。
抓 包 结 果 从 抓 包 工 具 中 我 们 可 以 很 明 显 地 看 出 来 ， 会 变 动 的 参 数 有 两 个 ， 一 个 是 t s ， 一 个 是 s i g n 。 （ 为 了 看 到 变 化 建 议 多 发 两 个 请 求 对 比 ） 先 分 析 一 下 参 数 的 含 义 吧 ， t s 从 名 字 上 可 以 看 出 来 ， 应 该 是 个 时 间 戳 ， 实 际 将 t s 的 值 格 式 化 一 下 也 可 以 确 定 这 就 是 个 请 求 时 的 时 间 戳 ； 然 后 是 s i g n ， 一 眼 看 上 去 大 概 3 2 位 左 右 ， 而 外 观 长 这 样 的 一 般 是 h a s h ， 猜 测 一 下 最 有 可 能 性 的 是 m d 5 之 类 的 ， 但 不 知 道 实 际 是 如 何 生 成 的 ， 只 能 逆 向 看 看 了 。 该 正 式 开 始 破 解 这 个 加 密 参 数 了 ， 由 于 A n d r o i d   A P P 是 静 态 编 译 的 ， 不 像 J S ， 直 接 可 以 看 到 源 码 ， 所 以 … 我 们 需 要 对 A P P 进 行 反 编 译 ， 这 里 我 使 用 的 工 具 名 为 J a d x ， 前 面 的 《 写 A P P 爬 虫 会 需 要 用 到 哪 些 工 具 呢 ？ 》 和 《 当 你 写 爬 虫 抓 不 到 A P P 请 求 包 的 时 候 该 怎 么 办 ？ 【 高 级 篇 - 混 淆 导 致 通 用 H o o k 工 具 失 效 】 》 文 章 中 也 有 提 到 ， 这 里 就 不 再 赘 述 了 。
使 用 j a d x 反 编 译 A P K 反 编 译 之 后 可 以 看 到 这 么 一 堆 乱 七 八 糟 的 的 东 西 ， 那 么 我 们 要 怎 么 找 到 生 成 s i g n 参 数 的 地 方 呢 ？ 看 到 那 个 像 魔 法 棒 一 样 的 按 钮 了 吗 ？ 点 一 下 它 。 j a d x 搜 索 文 本 然 后 它 会 弹 出 一 个 “ 搜 索 文 本 ” 的 窗 口 ， 接 着 我 们 有 两 种 方 式 快 速 定 位 到 生 成 的 位 置 ： 1 .   搜 索 U R L 的 路 径 部 分 路 径 部 分 指 的 是 / l e a r n i n g / h a s h _ s i g n 这 一 段 ， 当 然 有 些 A P P 为 了 复 用 可 能 会 将 路 径 拆 分 成 多 段 的 ， 如 果 直 接 搜 索 完 整 路 径 搜 索 不 到 的 话 可 以 尝 试 以 反 斜 杠 为 分 隔 符 ， 将 路 径 拆 分 成 多 个 来 搜 （ 记 得 从 右 往 左 搜 ， 别 问 为 什 么 ） ， 这 里 的 话 我 们 直 接 搜 索 h a s h _ s i g n 即 可 ， 因 为 这 个 名 字 很 独 特 ， 一 般 应 该 不 会 出 现 有 其 他 不 相 关 的 东 西 也 叫 这 个 名 字 的 情 况 。 一 搜 就 能 定 位 到 请 求 的 位 置 了 ~
通 过 搜 索 路 径 方 式 定 位 2 .   搜 索 你 要 找 的 参 数 比 如 这 里 我 们 需 要 找 的 是 s i g n 这 个 参 数 ， 可 以 直 接 搜 索 " s i g n " （ 注 意 带 上 双 引 号 ） ， 但 如 果 结 果 很 多 ， 而 且 还 都 很 像 生 成 / 设 置 s i g n 的 地 方 的 话 ， 可 以 搜 一 些 别 的 比 较 独 特 的 参 数 ， 比 如 这 里 出 现 的 m o d e l 、 b r a n d 之 类 的 在 代 码 中 一 般 不 会 经 常 出 现 的 词 。 由 于 这 个 D E M O   A P P 比 较 简 单 ， 所 以 直 接 搜 索 " s i g n " 就 能 定 位 到 设 置 值 的 位 置 了 ~ 通 过 搜 索 参 数 名 方 式 定 位 定 位 到 了 代 码 位 置 之 后 我 们 就 可 以 开 始 看 代 码 了 ， 从 搜 到 的 结 果 中 我 们 可 以 看 到 生 成 s i g n 、 设 置 s i g n 、 设 置 路 径 的 代 码 都 在 这 个 l 方 法 下 ， 然 后 我 们 来 从 设 置 s i g n 的 位 置 开 始 从 下 往 上 分 析 ， 这 样 代 码 的 逻 辑 会 更 容 易 看 懂 一 些 。

定 位 到 的 代 码 这 里 我 将 代 码 中 的 关 键 点 都 做 了 标 记 ， 你 可 以 按 着 旁 边 标 注 的 序 号 跟 着 我 一 起 来 看 这 个 代 码 。 首 先 这 个 a V a r 4 . a 有 两 个 地 方 出 现 了 ， 但 是 传 入 的 第 二 个 参 数 都 是 s t r i n g B u i l d e r 2 ， 而 下 面 那 里 是 直 接 设 置 了 一 个 空 值 进 去 ， 显 然 不 是 我 们 想 要 找 的 ， 所 以 我 们 可 以 忽 略 掉 下 面 的 那 一 行 带 有 s i g n 关 键 词 的 代 码 ， 直 接 看 标 注 了 1 的 那 一 行 。 选 中 s t r i n g B u i l d e r 2 这 个 变 量 ， 可 以 看 到 它 的 值 是 从 上 面 那 个 s t r i n g B u i l d e r 3 . t o S t r i n g ( ) 得 到 的 ， 接 着 看 看 s t r i n g B u i l d e r 3 的 生 成 ， f o r 循 环 这 里 做 了 什 么 操 作 看 不 懂 ， 但 是 可 以 看 到 上 面 有 个 很 显 眼 的 字 符 串 " M D 5 " 。 那 么 我 们 可 以 大 胆 地 猜 测 一 下 ， 这 个 s t r i n g B u i l d e r 3 实 际 上 就 是 做 了 个 M D 5 操 作 而 已 ， 与 我 们 最 开 始 抓 包 时 的 猜 测 相 同 ， 直 接 往 上 看 看 H a s h 前 的 字 符 串 长 啥 样 ， 然 后 测 试 一 下 吧 ， 不 行 的 话 再 回 来 看 。 从 前 面 M D 5 操 作 的 位 置 可 以 看 到 d i g e s t 方 法 里 用 到 的 参 数 又 是 一 个 叫 做 s t r i n g B u i l d e r 2 的 变 量 ， 继 续 往 上 看 就 能 看 到 实 际 上 是 从 s t r i n g B u i l d e r . t o S t r i n g ( ) 那 得 到 的 ， 那 么 这 个 s t r i n g B u i l d e r 又 是 怎 么 来 的 呢 ？ 从 代 码 中 我 们 可 以 看 出 似 乎 是 f o r 一 个 T r e e M a p 然 后 把 每 一 个 k e y 和 v a l u e 组 成 k e y = v a l u e 的 格 式 写 入 s t r i n g B u i l d e r 中 ， 如 果 s t r i n g B u i l d e r 里 已 经 有 值 的 话 还 会 添 加 & 符 号 ， 那 么 这 最 终 出 来 的 东 西 可 以 联 想 到 的 是 什 么 ？ 对 ！ 就 是 q u e r y S t r i n g 那 部 分 ， 只 不 过 它 的 参 数 是 被 排 过 序 的 （ 因 为 T r e e M a p 会 自 动 进 行 排 序 ） 。 然 后 我 们 再 往 上 面 看 ， 验 证 一 下 想 法 正 不 正 确 ， 可 以 看 到 最 源 头 的 地 方 是 个 H a s h M a p ， 被 p u t 进 去 的 都 是 我 们 抓 包 时 看 到 的 参 数 。 现 在 我 们 就 把 这 个 s i g n 的 生 成 逻 辑 给 理 清 楚 了 ， 其 实 它 就 是 个 按 照 参 数 名 排 过 序 的 q u e r y S t r i n g 进 行 了 一 次 M D 5 操 作 后 的 产 物 ， 接 下 来 我 们 只 需 要 在 代 码 中 实 现 这 个 生 成 逻 辑 就 行 了 ， 在 P y t h o n 中 ， 你 可 以 使 用 它 自 带 的 官 方 库 h a s h l i b 来 对 一 个 字 符 串 做 M D 5 操 作 。
那 么 我 们 写 一 段 代 码 模 拟 请 求 一 下 试 试 ， s i g n 确 实 可 以 通 过 校 验 ， 说 明 我 们 生 成 的 s i g n 是 可 以 使 用 的 ， 至 此 ， 加 密 参 数 破 解 完 成 。 提 示 ： 建 议 实 际 操 作 中 不 要 这 么 测 试 ， 容 易 触 发 反 爬 。 可 以 先 拿 抓 包 得 到 的 参 数 生 成 一 遍 对 比 一 下 ， 如 果 一 样 则 说 明 生 成 的 s i g n 没 有 问 题 。 这 个 时 代 各 种 东 西 变 化 太 快 ， 而 网 络 上 的 垃 圾 信 息 又 很 多 ， 你 需 要 有 一 个 良 好 的 知 识 获 取 渠 道 ， 很 多 时 候 早 就 是 一 种 优 势 ， 所 以 还 不 赶 紧 关 注 我 的 公 众 号 并 置 顶 / 星 标 一 波 。 发 送 消 息 “ A P P 加 密 参 数 破 解 初 级 篇 代 码 ” 到 我 的 公 众 号 【 小 周 码 字 】 即 可 获 得 d e m o 代 码 和 A P P 的 下 载 地 址 ~
回复

举报

高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

使用Markdown编辑器编辑 使用富文本编辑器编辑

Archiver| 手机版| 小黑屋|
Powered by Discuz! X3.4 Copyright © 2001-2020, Tencent Cloud. 商业源码建议获取授权，如侵犯您的权益，请联系客服处理