搜索

[27459] 2020-07-12_JavaScript混淆与逆向必读之AST节点类型名词基础

文档创建者：s7ckTeam
浏览次数：3
最后更新：2025-01-19
2020-07-12_JavaScript混淆与逆向必读之AST节点类型名词基础 J a v a S c r i p t   混 淆 与 逆 向 必 读 之   A S T   节 点 类 型 名 词 基 础 原 创   韦 世 东   N i g h t T e a m   2 0 2 0 - 0 7 - 1 2 收 录 于 话 题 # 爬 虫   , 1 8 5 4 # 安 全   , 1 0 2 8 6 4 # J a v a S c r i p t   , 2 3 7 9 " N i g h t T e a m " ， 一 个 值 得 加 星 标 的 公 众 号 。 我 在 《 P y t h o n 3   反 爬 虫 原 理 与 绕 过 实 战 》 [ 1 ] 一 书 中 给 出 了 “ 爬 虫 与 反 爬 虫 都 是 综 合 技 术 的 应 用 ” 、 “ 技 术 在 对 抗 中 进 步 ” 这 样 的 观 点 。 随 着 时 间 的 推 移 、 技 术 的 普 及 和 进 步 ， W e b   应 用 方 给 爬 虫 增 加 了 越 来 越 多 的 限 制 ， 其 中 效 果 最 显 著 的 就 是 代 码 混 淆 。 单 纯 的 加 密 算 法 或 者 自 定 义 的 字 符 处 理 函 数 已 经 无 法 满 足 防 御 需 求 了 ，   W e b   应 用 方 将 目 光 转 移 到 了 代 码 混 淆 技 术 。 代 码 混 淆 有 几 个 优 点 ： • 操 作 门 槛 低 ， 有 现 成 可 用 且 免 费 的 混 淆 产 品 ； 操 作 门 槛 低 ， 有 现 成 可 用 且 免 费 的 混 淆 产 品 ； • 混 淆 效 果 好 ， 混 淆 后 真 的 是 连 亲 妈 都 不 认 识 ； 混 淆 效 果 好 ， 混 淆 后 真 的 是 连 亲 妈 都 不 认 识 ； • 浏 览 器 能 够 正 常 解 析 混 淆 后 的 代 码 ， 一 万 行 以 内 的 小 规 模 混 淆 对 性 能 影 响 不 大 ； 浏 览 器 能 够 正 常 解 析 混 淆 后 的 代 码 ， 一 万 行 以 内 的 小 规 模 混 淆 对 性 能 影 响 不 大 ； • 混 淆 带 来 的 性 能 影 响 可 以 通 过 其 他 优 化 降 低 ， 不 慌 ； 混 淆 带 来 的 性 能 影 响 可 以 通 过 其 他 优 化 降 低 ， 不 慌 ； 加 密 算 法 和 字 符 串 处 理 函 数 配 合 代 码 混 淆 ， 防 御 力 直 线 上 升 防 御 力 直 线 上 升 。 举 个 简 单 例 子 ， 一 个 简 单 的 字 符 处 理 函 数 如 下 ：
这 里 有 三 个 函 数 ， s t r i n g A r r a y   返 回 一 个 包 含 字 符 的 数 组 对 象 、 m e r g e A r r a y   将 数 组 对 象 里 的 元 素 拼 接 成 为 一 个 字 符 串 并 返 回 、 m a i n   调 用   s t r i n g A r r a y   函 数 和   m e r g e A r r a y   函 数 并 打 印 得 到 的 字 符 串 ， 下 方 的   o u t p u t   注 释 即 运 行 结 果 。 这 么 清 晰 明 了 的 函 数 调 用 ， 爬 虫 工 程 师 能 看 不 懂 吗 ？ 我 们 看 看 上 面 三 个 函 数 混 淆 后 的 样 子 ：
一 样 的 功 能 、 一 样 的 输 出 ， 但 是 代 码 却 完 全 不 一 样 了 ， 变 得 不 可 读 。 如 果 把 下 面 的 注 释 去 掉 ， 那 你 根 本 就 不 知 道 发 生 了 什 么 ， 也 不 知 道 会 输 出 什 么 ， 这 就 是 代 码 混 淆 给   W e b   应 用 方 带 来 的 防 御 力 。 作 为 一 名 爬 虫 工 程 师 ， 你 现 在 有 两 个 选 择 ： 1 . 通 过 一 个 入 口 函 数 强 行 找 出 关 联 的 函 数 调 用 ， 直 到 铺 满 调 用 链 后 拿 到 正 确 的 输 出 ； 通 过 一 个 入 口 函 数 强 行 找 出 关 联 的 函 数 调 用 ， 直 到 铺 满 调 用 链 后 拿 到 正 确 的 输 出 ； 2 . 还 原 部 分 混 淆 ， 从 这 堆 杂 乱 无 章 的 代 码 中 捋 清 逻 辑 ， 再 根 据 复 杂 度 选 择 用 其 他 语 言 实 现 或 回 到 第 一 步 ； 还 原 部 分 混 淆 ， 从 这 堆 杂 乱 无 章 的 代 码 中 捋 清 逻 辑 ， 再 根 据 复 杂 度 选 择 用 其 他 语 言 实 现 或 回 到 第 一 步 ； 第 一 种 方 法 ， 就 是 平 时 爬 虫 工 程 师 说 的 “ 硬 扣 ” ， 如 果 有 跨 文 件 的 函 数 调 用 和 冗 长 复 杂 的 调 用 链 ， 那 “ 硬 扣 ” 真 的 是 会 掉 头 发 掉 头 发 的 。 第 二 种 方 法 的 技 术 门 槛 稍 微 高 一 些 ， 需 要 爬 虫 工 程 师 懂 得   A S T   理 论 ， 并 学 会 编 写 还 原 代 码 ， 将 杂 乱 无 章 的 代 码 阅 读 难 度 降 低 ， 从 而 降 低 自 己 阅 读 代 码 逻 辑 或 者 整 理 调 用 链 的 难 度 与 成 本 。
什 么 是 什 么 是   A S T ？ ？ 这 里 引 用 百 度 百 科 对   A S T   的 解 释 ： 在 计 算 机 科 学 中 ， 抽 象 语 法 树 抽 象 语 法 树 （ A b s t r a c t   S y n t a x   T r e e ， A S T ） ， 或 简 称 语 法 树 语 法 树 （ S y n t a x   t r e e ） ， 是 源 代 码 语 法 结 构 的 一 种 抽 象 表 示 。 它 以 树 状 的 形 式 表 现 编 程 语 言 的 语 法 结 构 ， 树 上 的 每 个 节 点 都 表 示 源 代 码 中 的 一 种 结 构 。 之 所 以 说 语 法 是 “ 抽 象 ” 的 ， 是 因 为 这 里 的 语 法 并 不 会 表 示 出 真 实 语 法 中 出 现 的 每 个 细 节 。 比 如 ， 嵌 套 括 号 被 隐 含 在 树 的 结 构 中 ， 并 没 有 以 节 点 的 形 式 呈 现 ； 而 类 似 于   i f - c o n d i t i o n - t h e n   这 样 的 条 件 跳 转 语 句 ， 可 以 使 用 带 有 两 个 分 支 的 节 点 来 表 示 。 嗯 ， 这 看 起 来 有 点 绕 ， 我 打 算 用 一 个 例 子 来 表 述 。 J a v a S c r i p t   变 量 声 明 和 赋 值 的 代 码 示 例 如 下 ： 这 一 行 代 码 会 被 解 析 成 很 长 的 语 法 树 ， 具 体 解 析 可 通 过   A S T   E x p l o r e r [ 2 ]   查 看 。 以 下 是   J a v a S c r i p t   语 句 和 语 法 树 的 对 应 关 系 ： 图 有 点 模 糊 ， 想 看 清 晰 结 构 的 请 移 步   A S T   E x p l o r e r 。 v a r   n i c k   =   " v a n s e n b " ;
A S T   有 什 么 用 ？ 有 什 么 用 ？ 上 图 的 语 法 树 中 表 明 了 程 序 主 体 、 声 明 类 型 、 标 识 符 、 字 面 量 程 序 主 体 、 声 明 类 型 、 标 识 符 、 字 面 量 等 信 息 ， 由 此 我 们 可 以 得 出 ： • v a r   -   V a r i a b l e D e c l a r a t o r   变 量 声 明 ； • n i c k   -   I d e n t i f i e r   标 识 符 ； • v a n s e n b   -   L i t e r a l   字 面 量 ； 从 人 类 阅 读 的 角 度 来 看 ， 这 行 代 码 ： 声 明 了 一 个 名 为 声 明 了 一 个 名 为   n i c k   、 值 为 、 值 为   v a n s e n b   的 变 量 。 的 变 量 。 如 果 你 想 改 变 这 行 代 码 ， 将 它 变 成 ： 只 需 要 改 变 语 法 树 中   t y p e   为   L i t e r a l   下 的   v a l u e   属 性 对 应 的 值 即 可 ， 那 么 代 码 的 语 义 就 变 成 了 ： 声 明 了 一 个 名 为 声 明 了 一 个 名 为   n i c k   、 值 为 、 值 为 J a m e s   的 变 量 的 变 量 。 了 解 到 这 一 点 之 后 ， 我 们 就 可 以 思 路 放 在 代 码 的 混 淆 和 还 原 上 面 了 。 你 想 想 ， 当 你 使 用 那 些 一 键 混 淆 / 还 原 工 具 的 时 候 ， 是 不 是 只 需 要 将 代 码 粘 贴 到 输 入 框 并 点 击 “ 混 淆 ” 按 钮 即 可 得 到 混 淆 后 的 代 码 ？ 而 且 相 同 结 构 的 代 码 混 淆 后 的 结 构 也 是 相 同 的 ？ 这 说 明 一 键 混 淆 / 还 原 工 具 通 过 改 变 原 代 码 的 抽 象 语 法 树 实 现 混 淆 / 还 原 的 效 果 ， 例 如 在 树 的 某 个 节 点 前 后 增 加 或 删 除 节 点 ， 亦 或 在 混 淆 时 将 原 本 直 接 可 以 输 出 结 果 的 单 个 函 数 转 换 为 相 互 调 用 的 多 个 函 数 。 常 用 的 常 用 的   J a v a S c r i p t   A S T   解 析 库 解 析 库 语 法 树 并 不 是   J a v a S c r i p t   独 有 的 ， 几 乎 所 有 编 程 语 言 都 有 语 法 树 几 乎 所 有 编 程 语 言 都 有 语 法 树 ， 例 如   G o l a n g 、 P y t h o n   和   J a v a 。 J a v a S c r i p t   的 语 法 树 出 现 频 次 较 高 ， 这 是 因 为   J a v a S c r i p t   隔 代 语 法 的 差 异 和 不 得 不 考 虑 的 兼 容 性 造 成 的 ， E S 5   和   E S 6   语 法 隔 代 ， 在 实 际 应 用 中 会 需 要 进 行 语 法 的 转 换 ， 这 就 使 得 语 法 树 能 够 在 实 际 场 景 中 发 挥 作 用 。 v a r   n i c k   =   " J a m e s " ;
语 法 树 的 作 用 就 像 是 一 个 转 接 头 ， 把 代 码 的 表 现 形 式   A   转 换 为 表 现 形 式   B J a v a S c r i p t   领 域 常 用 的   A S T   解 析 库 有   b a b e l 、 e s p r i m a 、 e s p r e e   和   a c o r n   等 ， 各 位 工 程 师 可 根 据 自 己 的 喜 好 和 风 格 选 择 趁 手 的 库 。 这 些 库 常 常 被 前 端 开 发 工 程 师 用 来 编 写 代 码 转 换 的 工 具 或 者 代 码 混 淆 工 具 ， 甚 至 是 将   R e a c t   和   V u e   的 工 程 代 码 编 译 为 浏 览 器 能 运 行 的   J a v a S c r i p t   代 码 ， 而 在 爬 虫 工 程 师 这 里 ， 大 概 率 会 用 来 辅 助 自 己 逆 向   J a v a S c r i p t   代 码 。 A S T   节 点 类 型 名 词 基 础 节 点 类 型 名 词 基 础 语 法 树 相 关 的 知 识 和 技 巧 需 要 一 定 的 时 间 学 习 （ 大 概 一 两 个 月 ） ， 对 此 感 兴 趣 的 你 可 以 通 过 以 下 几 篇 实 战 型 文 章 了 解 它 的 具 体 应 用 ： A S T   还 原   o b f u s c a t o r   混 淆 [ 3 ] 操 作 A S T 还 原 混 淆 代 码 基 础 系 列 课 程 三 : 十 六 进 制 字 符 串 还 原 操 作 A S T 还 原 混 淆 代 码 : 让 代 码 分 析 变 得 如 此 简 单 A S T 实 战 : 全 自 动 解 密 经 o b f u s c a t o r 混 淆 的 加 密 字 符 串 操 作 A S T 还 原 混 淆 代 码 课 程 九 : 还 原 简 单 的 C a l l E x p r e s s i o n   类 型 上 面 列 举 了 常 用 的 几 个   A S T   解 析 库 ， 虽 然 各 个 库 解 析 同 一 份 代 码 得 到 的 结 构 不 完 全 一 致 ， 但 用 于 表 示 节 点 类 型 的 名 词 几 乎 都 是 一 致 的 ， 例 如   V a r i a b l e D e c l a r a t i o n   代 表 这 是 变 量 声 明 语 句 、 C a l l E x p r e s s i o n   代 表 这 是 调 用 表 达 式 。 掌 握 节 点 类 型 的 名 词 ， 有 助 于 我 们 在 阅 读 语 法 树 结 构 时 更 清 晰 地 了 解 节 点 的 作 用 和 意 图 了 解 节 点 的 作 用 和 意 图 ， 也 可 以 说 节 点 名 词 是 我 们 成 为 代 码 混 淆 大 师 或 代 码 逆 向 大 师 的 必 经 之 路 ， 非 常 重 要 非 常 重 要 ！ 我 们 以 下 图 的 代 码 为 例 ， 看 看   A S T   中 常 用 的 节 点 类 型 名 词 有 哪 些 。

上 图 代 码 包 含 了   J a v a S c r i p t   语 法 中 常 用 的 语 句 ， 例 如 变 量 声 明 、 函 数 声 明 、 三 元 表 达 式 、 i f   控 制 流 语 句 、 s w i t c h   控 制 流 、 函 数 调 用 、 赋 值 语 句 、 数 组 声 明 、 f o r   循 环 等 。 将 上 面 的 代 码 复 制 到   A S T   E x p l o r e r   便 可 以 得 到 语 法 树 ， 根 据 左 侧 的 代 码 和 右 侧 的 语 法 树 ， 我 们 可 以 统 计 语 法 树 节 点 名 词 和 具 体 描 述 ， 如 下 表 ： 序 号 类 型 原 名 称 中 文 名 称 描 述 1 P r o g r a m 程 序 主 体 整 段 代 码 的 主 体 2 V a r i a b l e D e c l a r a t i o n 变 量 声 明 声 明 一 个 变 量 ， 例 如   v a r   l e t   c o n s t 3 F u n c t i o n D e c l a r a t i o n 函 数 声 明 声 明 一 个 函 数 ， 例 如   f u n c t i o n 4 E x p r e s s i o n S t a t e m e n t 表 达 式 语 句 通 常 是 调 用 一 个 函 数 ， 例 如   c o n s o l e . l o g ( ) 5 B l o c k S t a t e m e n t 块 语 句 包 裹 在   { }   块 内 的 代 码 ， 例 如   i f   ( c o n d i t i o n ) { v a r   a   =   1 ; } 6 B r e a k S t a t e m e n t 中 断 语 句 通 常 指   b r e a k 7 C o n t i n u e S t a t e m e n t 持 续 语 句 通 常 指   c o n t i n u e 8 R e t u r n S t a t e m e n t 返 回 语 句 通 常 指   r e t u r n 9 S w i t c h S t a t e m e n t S w i t c h   语 句 通 常 指   S w i t c h   C a s e   语 句 中 的   S w i t c h 1 0 I f S t a t e m e n t I f   控 制 流 语 句 控 制 流 语 句 ， 通 常 指   i f ( c o n d i t i o n ) { } e l s e { } 1 1 I d e n t i f i e r 标 识 符 标 识 ， 例 如 声 明 变 量 时   v a r   i d e n t i   =   5   中 的   i d e n t i 1 2 C a l l E x p r e s s i o n 调 用 表 达 式 通 常 指 调 用 一 个 函 数 ， 例 如   c o n s o l e . l o g ( ) 1 3 B i n a r y E x p r e s s i o n 二 进 制 表 达 式 通 常 指 运 算 ， 例 如   1 + 2 1 4 M e m b e r E x p r e s s i o n 成 员 表 达 式 通 常 指 调 用 对 象 的 成 员 ， 例 如   c o n s o l e   对 象 的   l o g   成 员 1 5 A r r a y E x p r e s s i o n 数 组 表 达 式 通 常 指 一 个 数 组 ， 例 如   [ 1 ,   3 ,   5 ] 1 6 N e w E x p r e s s i o n N e w   表 达 式 通 常 指 使 用   N e w   关 键 词 1 7 A s s i g n m e n t E x p r e s s i o n 赋 值 表 达 式 通 常 指 将 函 数 的 返 回 值 赋 值 给 变 量
1 8 U p d a t e E x p r e s s i o n 更 新 表 达 式 通 常 指 更 新 成 员 值 ， 例 如   i + + 1 9 L i t e r a l 字 面 量 通 常 指 字 符 串 型 的 字 面 量 2 0 B o o l e a n L i t e r a l 布 尔 型 字 面 量 布 尔 值 ， 例 如   t r u e   f a l s e 2 1 N u m e r i c L i t e r a l 数 字 型 字 面 量 数 字 ， 例 如   1 0 0 2 2 S t r i n g L i t e r a l 字 符 型 字 面 量 字 符 串 ， 例 如   v a n s e n b 2 3 S w i t c h C a s e C a s e   语 句 通 常 指   S w i t c h   语 句 中 的   C a s e 序 号 类 型 原 名 称 中 文 名 称 描 述 这 只 是 常 用 的 那 部 分 ， 更 多 节 点 类 型 名 词 在 你 需 要 用 到 时 再 补 充 即 可 。 我 会 持 续 更 新 相 关 资 料 ， 感 兴 趣 的 朋 友 可 以 到 夜 幕 团 队 的   G i t H u b   仓 库   h t t p s : / / g i t h u b . c o m / N i g h t T e a m / J a v a S c r i p t A S T   查 看   。 有 了 这 些 名 词 对 照 关 系 之 后 ， 我 们 阅 读 语 法 树 结 构 就 变 得 简 单 了 。 当 你 看 到 节 点   t p y e   为   I f S t a t e m e n t   的 时 候 ， 你 知 道 后 面 必 定 会 有 至 少 一 个   B l o c k S t a t e m e n t ， 即   i f ( c o n d i t i o n ) { } 。 移 动 端 看 不 清 表 格 可 以 看 图 ： 更 多 关 于   A S T   理 论 和 实 战 的 内 容 请 关 注 夜 幕 团 队 公 众 号   N i g h t T e a m 。 R e f e r e n c e s
  《 P y t h o n 3   反 爬 虫 原 理 与 绕 过 实 战 》 :   h t t p s : / / i t e m . j d . c o m / 1 2 7 9 4 0 7 8 . h t m l   A S T   E x p l o r e r :   h t t p s : / / a s t e x p l o r e r . n e t /   A S T   还 原   o b f u s c a t o r   混 淆 :   h t t p s : / / b l o g . c s d n . n e t / z h a o _ 5 3 5 2 2 6 9 / a r t i c l e / d e t a i l s / 1 0 6 4 9 2 1 7 7
回复

举报

高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

使用Markdown编辑器编辑 使用富文本编辑器编辑

Archiver| 手机版| 小黑屋|
Powered by Discuz! X3.4 Copyright © 2001-2020, Tencent Cloud. 商业源码建议获取授权，如侵犯您的权益，请联系客服处理