搜索

[14568] 2019-09-10_HTTP被动扫描代理的那些事

文档创建者：s7ckTeam
浏览次数：5
最后更新：2025-01-18
2019-09-10_HTTP被动扫描代理的那些事 H T T P 被 动 扫 描 代 理 的 那 些 事 原 创   k o a l r x   F r e e B u f   2 0 1 9 - 0 9 - 1 0 H T T P   代 理 这 个 名 词 对 于 安 全 从 业 人 员 应 该 都 是 熟 知 的 ， 我 们 常 用 的 抓 包 工 具 代 理 这 个 名 词 对 于 安 全 从 业 人 员 应 该 都 是 熟 知 的 ， 我 们 常 用 的 抓 包 工 具   b u r p   就 是 通 过 配 置 就 是 通 过 配 置   H T T P   代 理 来 实 现 请 求 的 截 获 修 改 等 。 然 而 代 理 来 实 现 请 求 的 截 获 修 改 等 。 然 而 国 内 对 这 一 功 能 的 原 理 类 文 章 很 少 ， 有 的 甚 至 有 错 误 。 国 内 对 这 一 功 能 的 原 理 类 文 章 很 少 ， 有 的 甚 至 有 错 误 。 笔 者 在 做 笔 者 在 做   x r a y   被 动 代 理 时 研 究 了 一 下 这 部 分 内 容 ， 并 整 理 成 了 这 篇 文 章 ， 这 篇 文 章 我 们 从 小 白 的 角 度 粗 略 的 聊 聊 被 动 代 理 时 研 究 了 一 下 这 部 分 内 容 ， 并 整 理 成 了 这 篇 文 章 ， 这 篇 文 章 我 们 从 小 白 的 角 度 粗 略 的 聊 聊   H T T P   代 理 到 底 是 如 何 工 作 代 理 到 底 是 如 何 工 作 的 ， 在 实 现 被 动 扫 描 功 能 时 有 哪 些 细 节 需 要 注 意 以 及 如 何 科 学 的 处 理 这 些 细 节 。 的 ， 在 实 现 被 动 扫 描 功 能 时 有 哪 些 细 节 需 要 注 意 以 及 如 何 科 学 的 处 理 这 些 细 节 。 开 始 之 前 我 先 来 一 波 灵 魂 6 问 ， 读 者 可 以 先 自 行 思 考 下 ， 这 些 问 题 将 是 本 文 的 关 键 点 ， 并 将 在 文 章 中 一 一 解 答 ： 1 . h t t p _ p r o x y   和   h t t p s _ p r o x y   有 什 么 区 别 ? 2 . 为 什 么 需 要 信 任 证 书 才 能 扫 描   H T T P S   的 站 点 ? 3 . 代 理   H T T P S   的 站 点 一 定 需 要 信 任 证 书 吗 ? 4 . 代 理 的 隧 道 模 式 下 如 何 区 分 是 不 是   T L S   的 流 量 ? 5 . 代 理 应 如 何 处 理   W e b s o c k e t   和   H T T P 2   的 流 量 ? 6 . 是 否 应 该 复 用 连 接 以 及 如 何 复 用 连 接 ？ 知 识 储 备 知 识 储 备 我 们 在 本 地 做 开 发 时 ， 有 时 会 需 要 启 动 一 个   H T T P S   的 服 务 ， 通 常 使 用   O p e n S S L   自 行 签 发 证 书 并 在 系 统 中 信 任 该 证 书 ， 然 后 就 可 以 正 常 使 用 这 个   T L S 服 务 了 。 如 果 没 有 信 任 ， 浏 览 器 就 会 提 示 证 书 不 信 任 而 无 法 访 问 ， 简 言 之 ， 我 们 需 要 手 动 信 任 自 行 签 发 的 证 书 才 可 以 正 常 访 问 配 置 了 该 证 书 的 网 站 。 那 么 问 题 来 了 ， 为 什 么 平 日 访 问 的 那 些 网 站 都 不 需 要 信 任 证 书 呢 ? 打 开   b a i d u . c o m   查 看 其 证 书 发 现 这 里 其 实 是 一 个 证 书 链 : 最 顶 层 的   G l o b a l   S i g n   R o o t C A   是 一 个 根 证 书 ， 第 二 个 是 一 个 中 间 证 书 ， 最 后 一 个 才 是   b a i d u   的 颁 发 证 书 ， 这 三 种 证 书 的 效 力 是 : 而 且 只 要 信 任 了   R o o t C A   由   R o o t C A   签 发 的 包 括 其 下 级 签 发 的 证 书 都 会 被 信 任 。 而   G l o b a l   S i g n   R o o t C A 等 是 一 些 默 认 安 装 在 系 统 和 浏 览 器 中 的 根 证 书 。 这 些 证 书 由 一 些 权 威 机 构 来 维 护 ， 可 以 确 保 证 书 的 安 全 和 有 效 性 。 而 内 置 的 这 些 根 证 书 就 允 许 我 们 访 问 一 些 公 共 的 网 站 而 无 需 手 动 信 任 证 书 了 。 再 来 说 下 与   H T T P   代 理 相 关 的 两 个 环 境 变 量 :   H T T P _ P R O X Y   和   H T T P S _ P R O X Y ， 有 的 程 序 使 用 的 是 小 写 的 ， 比 如   c u r l 。 对 于 这 两 个 变 量 ， 约 定 俗 约 定 俗 称 称 的 规 则 如 下 : R o o t C A   >     I n t e r m e d i a t e s   C A   >   E n d - U s e r   C e r t
1 . 如 果 目 标 是   H T T P   的 ， 则 使 用   H T T P _ P R O X Y   中 的 地 址 2 . 如 果 目 标 是   H T T P S   的 ， 则 使 用   H T T P S _ P R O X Y   中 的 地 址 3 . 如 果 对 应 的 环 境 变 量 为 空 ， 则 不 使 用 代 理 这 两 个 环 境 变 量 的 值 是 一 个   U R I ， 常 见 的 有 如 下 三 种 形 式 : 抛 开 与 主 题 无 关 的   s o c k s   不 管 ， 这 里 又 有 一 个   h t t p   和   h t t p s ， 别 晕 ， 这 里 的   h t t p   和   h t t p s   指 的 是 代 理 服 务 器 的 类 型 ， 类 似   h t t p : / / b a i d u . c o m   和 h t t p s : / / b a i d u . c o m   一 个 是 裸 的   H T T P   服 务 ， 一 个 套 了 一 层   T L S   而 已 。 那 么 组 合 一 下 就 有   4   种 情 况 了 : 1 . h t t p _ p r o x y = h t t p : / / 1 2 7 . 0 . 0 . 1 : 7 7 7 7 2 . h t t p s _ p r o x y = h t t p : / / 1 2 7 . 0 . 0 . 1 : 7 7 7 7 3 . h t t p _ p r o x y = h t t p s : / / 1 2 7 . 0 . 0 . 1 : 7 7 7 7 4 . h t t p s _ p r o x y = h t t p s : / / 1 2 7 . 0 . 0 . 1 : 7 7 7 7 这 四 种 情 况 都 是 合 法 的 ， 也 是 代 理 实 现 时 应 该 考 虑 的 。 但 是 如 上 面 所 说 ， 这 只 是 约 定 俗 称 的 ， 没 有 哪 个   R F C   规 定 必 须 这 样 做 ， 导 致 上 面 四 种 情 况 在 常 见 的 工 具 中 被 实 现 的 五 花 八 门 ， 为 了 避 免 把 大 家 绕 晕 ， 我 直 接 说 结 论 ： 很 多 工 具 对 后 面 两 种 不 支 持 ， 比 如   w g e t ,   p y t h o n   r e q u e s t s ,   也 就 是 说   h t t p s : / / 还 是 被 当 成 了   h t t p : / / ， 因 此 我 们 这 里 只 讨 论 前 两 种 情 况 的 实 现 。 代 理 中 的 代 理 中 的   M I T M H T T P   代 理 的 协 议 基 于   H T T P ， 因 此   H T T P   代 理 本 身 就 是 一 个   H T T P   的 服 务 ， 而 其 工 作 原 理 本 质 上 就 是 中 间 人 （ M I T M )   ， 即 读 取 当 前 客 户 端 的 H T T P   请 求 ， 从 代 理 发 送 出 去 并 获 得 响 应 ， 然 后 将 响 应 返 回 给 客 户 端 。 其 过 程 类 似 下 面 的 流 程 : 为 了 更 直 观 的 感 受 下 ， 可 以 用   n c   监 听   1 2 7 . 0 . 0 . 1 : 7 7 7 7   然 后 使 用 会 发 现   n c   的 数 据 包 为 : 看 起 来 和   H T T P   的 请 求 非 常 像 ， 唯 一 的 区 别 就 是   G E T   后 的 是 一 个 完 整 的   U R I ， 而 不 是   p a t h ， 这 主 要 是 方 便 代 理 得 到 客 户 端 的 原 始 请 求 ， 如 果 不 用 完 整 的   U R I ， 请 求 的   S c h e m e   将 无 从 得 知 ， 端 口 号 有 时 也 可 能 是 不 知 道 的 。 在   G o   中 我 们 可 以 用 几 行 简 单 的 代 码 实 现 这 种 场 景 下 的 代 理 。 h t t p : / / 1 2 7 . 0 . 0 . 1 : 7 7 7 7 h t t p s : / / 1 2 7 . 0 . 0 . 1 : 7 7 7 7 s o c k s 5 : / / 1 2 7 . 0 . 0 . 1 : 7 7 7 7 h t t p _ p r o x y = h t t p : / / 1 2 7 . 0 . 0 . 1 : 7 7 7 7   c u r l   h t t p : / / e x a m p l e . c o m G E T   h t t p : / / e x a m p l e . c o m /   H T T P / 1 . 1 H o s t :   e x a m p l e . c o m P r o x y - C o n n e c t i o n :   k e e p - a l i v e U s e r - A g e n t :   M o z i l l a / 5 . 0   ( M a c i n t o s h ;   I n t e l   M a c   O S   X   1 0 _ 1 4 _ 4 )   A c c e p t :   t e x t / h t m l A c c e p t - E n c o d i n g :   g z i p ,   d e f l a t e A c c e p t - L a n g u a g e :   z h - C N , z h ; q = 0 . 9 , e n ; q = 0 . 8 p a c k a g e   m a i n i m p o r t   (       " b u f i o "               " l o g "               " n e t "               " n e t / h t t p " ) v a r   c l i e n t   =   h t t p . C l i e n t { } f u n c   m a i n ( )   {       l i s t e n e r ,   e r r   : =   n e t . L i s t e n ( " t c p " ,   " 1 2 7 . 0 . 0 . 1 : 7 7 7 7 " )       i f   e r r   ! =   n i l   {             l o g . F a t a l ( e r r )       }       f o r   {             c o n n ,   e r r   : =   l i s t e n e r . A c c e p t ( )             i f   e r r   ! =   n i l   {                   l o g . F a t a l ( e r r )             }             g o   h a n d l e C o n n ( c o n n )       } } f u n c   h a n d l e C o n n ( c o n n   n e t . C o n n )   {       / /   读 取 代 理 中 的 请 求       r e q ,   e r r   : =   h t t p . R e a d R e q u e s t ( b u f i o . N e w R e a d e r ( c o n n ) )       i f   e r r   ! =   n i l   {             l o g . P r i n t l n ( e r r )             r e t u r n       }       r e q . R e q u e s t U R I   =   " "       / /   发 送 请 求 获 取 响 应       r e s p ,   e r r   : =   c l i e n t . D o ( r e q )
编 译 运 行 这 段 代 码 ， 然 后 使 用   c u r l   测 试 下 ： 代 理 看 起 来 工 作 正 常 ， 我 们 使 用 不 到   4 0   行 代 码 就 实 现 了 一 个 简 易 的   H T T P   代 理 ！ 代 码 中 的   r e q   就 是 做 被 动 代 理 扫 描 需 要 用 到 的 请 求 ， 把 请 求 复 制 一 份 扔 给 扫 描 器 就 可 以 了 。 这 也 就 是 上 面 说 的 第 一 种 情 况 ，   即 h t t p _ p r o x y = h t t p : / / 。 那 么 如 果 直 接 使 用 上 述 实 现 访 问   h t t p s   的 站 点 会 发 生 什 么 呢 ？ T L S   与 隧 道 代 理 与 隧 道 代 理 使 用 上 面 的 方 式 访 问   b a i d u   时 ， 出 现 了 比 较 奇 怪 的 事 情 — — 通 过 代 理 读 到 的 客 户 端 请 求 不 是 原 来 的 请 求 ， 而 是 一 个   C O N N E C T   请 求 : 这 是   H T T P   代 理 的 另 一 种 形 式 ， 称 为 隧 道 代 理 。 隧 道 代 理 的 过 程 如 下 : 隧 道 代 理 的 出 现 是 为 了 能 在   H T T P   协 议 基 础 上 传 输 非   H T T P   的 内 容 。 如 果 你 用 过   w e b s o c k e t ， 一 定 对   C o n n e c t i o n :   U p g r a d e   这 个 头 不 陌 生 。 这 个 头 是 用 来 告 诉   s e r v e r ， 客 户 端 想 把 当 前 的   H T T P   的 连 接 转 为   W e b s o c k e t   协 议 通 信 的 连 接 。 类 似 的 ， 这 里 的   C O N N E C T 是 一 种 协 议 转 换 的 请 求 ， 但 这 种 转 换 更 像 是 一 种   D e g r a d e ， 因 为 握 手 完 成 后 ， 这 个 链 接 将 退 化 为 原 始 的   S o c k e t   C o n n e c t i o n ， 可 以 在 其 中 传 输 任 意 数 据 。 用 文 字 描 述 下 整 个 过 程 如 下 : 1 .   客 户 端 想 通 过 代 理 访 问 h t t p s : / / b a i d u . c o m ， 向 代 理 发 送   C o n n e c t   请 求 。 2 .   代 理 尝 试 连 接   b a i d u . c o m : 4 4 3 ， 如 果 连 接 成 功 返 回 一 个   2 0 0   响 应 ， 连 接 控 制 权 转 交 个 客 户 端 ； 如 果 连 接 失 败 返 回 一 个   5 0 2 ， 连 接 中 止 。 3 .   客 户 端 收 到   2 0 0   后 ， 在 这 个 连 接 中 进 行   T L S   握 手 ， 握 手 成 功 后 进 行 正 常 的   H T T P   传 输 。 有 个 点 需 要 注 意 下 ， 转 换 后 的 连 接 是 可 以 传 输 任 意 数 据 的 ， 并 非 只 是   H T T P S   流 量 ， 可 以 是 普 通 的   H T T P 流 量 ， 也 可 以 是 其 他 的 应 用 层 的 协 议 流 量 。 那 么 我 们 回 到 被 动 代 理 扫 描 这 个 话 题 ， 如 何 获 取 隧 道 代 理 中 的 请 求 并 用 来 扫 描 ？ 这 是 一 个 比 较 棘 手 的 问 题 ， 正 是 由 于 隧 道 中 的 流 量 可 以 是 任 意 应 用 层 协 议 的 数 据 ， 我 们 无 法 确 切 知 道 隧 道 中 流 量 用 的 哪 种 协 议 ， 所 以 只 能 猜 一 下 。 查 看 T L S   的   R F C   可 以 发 现 ， T L S   协 议 开 始 于 一 个 字 节   0 x 1 6 ， 这 个 字 节 在 协 议 中 被 称 为   C l i e n t H e l l o ， 那 么 我 们 其 实 就 可 以 根 据 这 第 一 个 字 节 将 协 议 简 单 区 分 为   T L S   流 量 和 非   T L S   流 量 。 对 于 被 动 扫 描 器 而 言 ， 为 了 简 单 起 见 ， 我 们 认 为   T L S   的 流 量 就 是   H T T P S   流 量 ， 非   T L S   流 量 就 是   H T T P   流 量 。 后 者 和 普 通 代 理 下 的   M I T M   一 致 ， 可 以 直 接 复 用 代 码 ， 而   H T T P S   的 情 况 需 要 多 一 个   T L S   握 手 的 过 程 。 用 伪 代 码 表 示 就 是 : 这 里 有 个 细 节 是 读 出 的 这 一 个 字 节 不 要 忘 记 “ 塞 回 去 ” ， 因 为 少 了 一 个 字 节 ， 后 面 的 会 操 作 会 失 败 。 这 里 我 们 需 要 重 点 关 注 下   T L S   握 手 过 程 。 在   T L S   握 手 过 程 中 会 进 行 证 书 校 验 ， 如 果 客 户 端 访 问 的 是   b a i d u . c o m ， s e r v e r   需 要 有   b a i d u . c o m   这 个 域 的 公 钥 和 私 钥 才 能 完 成 握 手 ， 可 是 我 们 手 里 哪 能 有   b a i d u . c o m 的 证 书 （ 私 钥 ） ， 那 个 在 文 件 在   b a i d u   的 服 务 器 上 呢 ！ 解 决 办 法 就 是 文 章 最 开 始 说 到 的 信 任 根 证 书 。 信 任 根 证 书 后 ， 我 们 可 以 在 信 任 根 证 书 后 ， 我 们 可 以 在   T L S   握 手 之 前 直 接 签 发 一 个 对 应 域 的 证 书 来 进 行 握 手 之 前 直 接 签 发 一 个 对 应 域 的 证 书 来 进 行   T L S   握 手 握 手 ， 这 就 是 包 括 b u r p   在 内 的 所 有 需 要 截 获   H T T P S   数 据 包 的 软 件 都 需 要 信 任 一 个 根 证 书 的 原 因 ！ 有 了 被 系 统 信 任 的 根 证 书 ， 我 们 就 可 以 签 出 任 意 的 被 客 户 系 统 信 任 的 具 体 域 的 证 书 ， 然 后 就 可 以 剥 开   T L S   拿 到 被 动 扫 描 需 要 的 请 求 了 。 这 里 还 有 一 个 小 问 题 是 签 发 的 证 书 的 域 该 使 用 哪 个 ， 简 单 起 见 我 们 可 以 直 接 使 用 C O N N E C T   过 程 中 的 地 址 ， 更 科 学 的 方 法 我 们 后 面 说 。 签 完 证 书 就 可 以 完 成   T L S   握 手 ， 然 后 就 又 和 第 一 节 的 情 况 类 似 了 。 有 个 点 需 要 提 一 下 ， 如 果 不 需 要 进 行 中 间 人 获 取 客 户 端 请 求 ， 是 不 需 要 信 任 证 书 的 ， 因 为 这 种 情 况 下 的 是 真 正 的 隧 道 ， 像 是 客 户 端 与 服 务 器 的 直 接 通 信 ， 代 理 服 务 器 仅 仅 在 做 二 进 制 的 数 据 转 发 。       r e q . R e q u e s t U R I   =   " "       / /   发 送 请 求 获 取 响 应       r e s p ,   e r r   : =   c l i e n t . D o ( r e q )       i f   e r r   ! =   n i l   {             l o g . P r i n t l n ( e r r )             r e t u r n       }       / /   将 响 应 返 还 给 客 户 端       _   =   r e s p . W r i t e ( c o n n )       _   =   c o n n . C l o s e ( ) } h t t p _ p r o x y = h t t p : / / 1 2 7 . 0 . 0 . 1 : 7 7 7 7     c u r l   - v   h t t p : / / e x a m p l e . c o m h t t p s _ p r o x y = h t t p : / / 1 2 7 . 0 . 0 . 1 : 7 7 7 7   c u r l   - v   h t t p s : / / b a i d u . c o m C O N N E C T   b a i d u . c o m : 4 4 3   H T T P / 1 . 1 H o s t :   b a i d u . c o m : 4 4 3 U s e r - A g e n t :   c u r l / 7 . 5 4 . 0 P r o x y - C o n n e c t i o n :   K e e p - A l i v e b   =   c o n n . R e a d ( 1 ) i f   b   = =   " 0 x 1 6 "   {     t l s H a n d S h a k e ( c o n n ) }   r e q   =   r e a d R e q u e s t ( c o n n ) h a n d l e R e q ( c o n n ,   r e q )
至 此 ， 被 动 代 理 的 核 心 实 现 已 经 完 成 了 ， 接 下 来 是 一 些 琐 碎 的 细 节 ， 这 些 细 节 同 样 值 得 注 意 。 代 理 的 认 证 代 理 的 认 证 一 个 公 网 的 代 理 如 果 没 有 加 认 证 是 比 较 危 险 的 ， 因 为 代 理 本 身 就 相 当 于 开 放 了 某 个 网 络 的 使 用 权 限 ， 而 且 由 于 隧 道 模 式 的 存 在 ， 代 理 的 支 持 的 协 议 理 论 上 拓 宽 到 了 任 何 基 于   T C P   的 协 议 ， 如 果 可 以 和 传 统 的   r e d i s   未 授 权 ， S S R F   D N S   r e b i n d i n g   等 结 合 一 下 就 是 一 个 简 单 的   C T F   题 。 所 以 给 代 理 加 上 鉴 权 是 很 有 必 要 的 。 代 理 的 认 证 和 正 常 的   H T T P   B a s i c   A u t h   很 像 ， 只 是 相 关 头 加 了 一 个   P r o x y -   的 前 缀 ， 可 以 参 考   《 H T T P   权 威 指 南 》 中 的 一 个 图 学 习 一 下 : 点 对 点 的 修 正 点 对 点 的 修 正 根 据   R F C ， H T T P   中 的 下 列 头 被 称 为 单 跳 头 ( H o p - B y - H o p   h e a d e r ) ， 这 些   H e a d e r   应 该 只 作 用 于 单 个   T C P   连 接 的 两 端 ， H T T P   代 理 在 请 求 中 如 果 遇 到 了 ， 应 当 删 掉 这 些 头 。 至 于 这 些 头 要 删 掉 的 原 因 ， 这 里 按 我 的 理 解 简 单 说 下 。 前 两 个 是 和 认 证 相 关 的 ， 每 个 代 理 的 认 证 是 独 立 的 ， 所 以 认 证 成 功 应 该 删 掉 当 前 代 理 的 认 证 信 息 。 中 间 的 三 个 是 用 于 控 制 连 接 状 态 的 ， T C P   连 接 是 端 到 端 的 ， 连 接 状 态 的 维 护 也 应 该 是 针 对 两 端 的 ， 即 客 户 端 与 代 理 服 务 器 ，   代 理 服 务 器 与 目 的 服 务 器 应 该 是 分 别 维 护 各 自 状 态 的 。 P r o x y - C o n n e c t i o n   类 似   C o n n e c t i o n ， 是 用 来 指 定 客 户 端 和 代 理 之 间 的 连 接 是 不 是   K e e p A l i v e   的 ， 代 理 实 现 时 应 该 兼 顾 这 个 要 求 。 对 于 连 接 的 状 态 管 理 ， 我 认 为 比 较 科 学 的 方 式 是 分 拆 而 后 串 联 分 拆 而 后 串 联 。 分 拆 是 说   c l i e n t - > p r o x y   和   p r o x y   - >   s e r v e r   这 两 个 过 程 分 开 分 开 处 理 ，   c l i e n t - > p r o x y   的 过 程 每 次 开 启 新 的   T C P   连 接 ， 不 做 连 接 复 用 ； 而   p r o x y - > s e r v e r   的 过 程 本 质 上 就 是 一 个 普 通 的   h t t p   请 求 ， 所 以 可 以 套 一 个 连 接 池 ， 借 助 连 接 池 可 以 复 用 T C P   连 接 。 两 部 分 的 连 接 都 拨 通 后 ， 可 以 将 其 串 联 串 联 起 来 ， 最 终 效 果 上 就 是 在 遵 循   P r o x y - C o n n e c t i o n   的 前 提 下 连 接 的 状 态 最 终 与 代 理 无 关 ， 而 是 由   c l i e n t 和   s e r v e r   共 同 控 制 。 串 联 过 程 在   G o   中 可 以 用 两 行 代 码 简 单 搞 定 : T E   T r a i l e r   T r a n s f e r - E n c o d i n g 和 请 求 传 输 的 方 式 有 关 。 代 理 在 读 取 客 户 端 请 求 时 应 该 确 保 正 确 处 理 了   c h u n k e d   的 传 输 方 式 后 再 删 除 这 几 个 头 ， 由 代 理 自 行 决 定 在 发 往 目 的 服 务 器 时 要 不 要 使 用 分 块 传 输 。 类 似 的 还 有   C o n t e n t - E n c o d i n g ， 这 个 决 定 的 是 请 求 的 压 缩 方 式 ， 也 应 该 在 代 理 端 被 科 学 的 处 理 掉 。 好 在 传 输 方 式 这 几 个 头 在   G o   的 标 准 库 中 都 有 实 现 ， 对 开 发 者 基 本 都 是 透 明 的 ， 开 发 者 可 以 直 接 使 用 而 无 需 关 心 具 体 的 逻 辑 。 W e b s o c k e t   与 与   H T T P 2 前 面 提 到 过   U p g r a d e ， 这 里 再 简 单 说 说 。 这 个 头 常 用 于 从   H T T P   转 换 到   W e b s o c k e t   或   H T T P 2   协 议 。 对 于   W e b s o c k e t ， 被 动 扫 描 时 可 以 不 关 注 ， 所 以 可 以 直 接 放 行 。 这 里 放 行 的 意 思 是 不 再 去 解 析 ， 而 是 类 似   T u n n e l   那 种 ， 单 纯 的 进 行 数 据 转 发 。 对 于   H T T P 2   ， 我 们 可 以 拒 绝 这 一 转 换 ， 使 得 数 据 协 议 始 终 用   H T T P ， 也 算 是 一 个 偷 懒 的 捷 径 。 当 然 ， 如 果 想 要 做 的 完 善 些 ， 就 需 要 套 用 一 下 这 两 种 协 议 的 解 析 ， 伪 装 成   W e b s o c k e t   s e r v e r   或   H T T P 2   s e r v e r ， 然 后 做 中 间 人 去 获 取 传 输 数 据 ， 有 兴 趣 可 以 看 一 下   P y t h o n   的   M i t m P r o x y   的 实 现 。 离 完 美 的 差 距 离 完 美 的 差 距 回 顾 刚 才 说 的 一 些 要 点 ， 这 里 的 被 动 代 理 实 现 其 实 并 不 完 美 ， 主 要 有 这 两 点 : 第 一 点 是 隧 道 模 式 下 ， 我 们 强 行 判 定 了 以   0 x 1 6   开 头 的 就 是   T L S   流 量 ， 协 议 千 千 万 ， 这 种 可 能 有 误 判 的 。 其 次 我 们 认 为   T L S   层 下 的 应 用 协 议 一 定 是 H T T P ， 这 也 是 不 妥 的 ， 但 对 于 被 动 扫 描 这 种 场 景 是 足 够 了 。 " P r o x y - A u t h e n t i c a t e " , " P r o x y - A u t h o r i z a t i o n " , " C o n n e c t i o n " , " K e e p - A l i v e " , " P r o x y - C o n n e c t i o n " ,   " T e " , " T r a i l e r " , " T r a n s f e r - E n c o d i n g " , " U p g r a d e " , g o   i o . C o p y ( c o n n 1 ,   c o n n 2 ) i o . C o p y ( c o n n 2 ,   c o n n 1 )
另 一 点 是 隧 道 模 式 下 证 书 的 签 发 流 程 不 够 完 美 。 如 果 你 用 过 虚 拟 主 机 ， 或 者 尝 试 过 在 同 一 地 址 同 一 端 口 上 运 行 多 个   H T T P   服 务 ， 那 一 定 知 道   n g i n x   中 的 s e r v e r _ n a m e   或 是   a p a c h e   的   V i r t u a l H o s t 。 服 务 器 收 到   H T T P   请 求 后 会 去 查 看 请 求 的   H o s t   字 段 ， 以 此 决 定 使 用 哪 个 服 务 。 T L S   模 式 下 有 所 不 同 ， 因 为 T L S   握 手 时 服 务 器 没 法 读 取 请 求 ， 为 此   T L S   有 个 叫   S N I （ S e r v e r   N a m e   I n d i c a t i o n ） 的 拓 展 解 决 了 这 个 问 题 ， 即 在   T L S   握 手 时 发 送 客 户 端 请 求 的 域 给 服 务 器 ， 使 得 在 同 一   i p   同 一 端 口 上 运 行 多 个   T L S   服 务 成 为 了 可 能 。 回 到 被 动 代 理 这 ， 之 前 我 们 签 证 书 用 的 域 是 从   C O N N E C T   的   H O S T   中 获 取 的 ， 其 实 更 好 的 办 法 是 从   T L S   的 握 手 中 读 取 ， 这 样 就 需 要 自 行 实 现   T L S   的 握 手 过 程 了 ， 具 体 可 以 参 考 下   M i t m P r o x y   的 实 现 。 h t t p s : / / d o c s . m i t m p r o x y . o r g / s t a b l e / c o n c e p t s - h o w m i t m p r o x y w o r k s / 后 话 后 话 零 零 散 散 说 了 好 多 ， 一 个 看 似 简 单 的   H T T P   代 理 实 则 暗 藏 各 种 玄 机 。 在 所 有 我 见 过 的 被 动 代 理 中 ， P y t h o n   的   M i t m P r o x y   是 实 现 的 最 全 面 最 科 学 的 ， 如 果 你 想 使 用 二 而 不 关 心 其 中 的 细 节 ， 推 荐 大 家 使 用 这 个 库 。 截 止 到 这 篇 文 章 发 布 ， 在   G o   中 暂 时 还 没 有 类 似   M i t m P r o x y   那 般 完 善 的 实 现 ， 于 是 我 们 在 写 x r a y   被 动 扫 描 代 理 的 时 候 参 考 了 几 个 开 源 的 项 目 并 调 整 了 一 下 ， 达 到 了 我 认 为 能 用 的 状 态 。 如 果 我 有 时 间 ， 一 定 要 整 一 个 G o   版 的   M i t m P r o x y !   ( 咕 咕 咕 有 一 些 代 码 层 面 的 细 节 没 法 写 到 ， 凡 事 都 要 身 体 力 行 才 能 得 到 一 些 独 到 的 理 解 ， 大 家 有 时 间 可 以 亲 自 尝 试 下 ， 相 信 会 有 不 一 样 的 收 获 。 一 家 之 谈 ， 难 免 有 疏 漏 和 谬 误 ， 如 果 发 现 有 问 题 ， 可 以 在 评 论 处 指 正 ， 或 者 和 我 微 信 交 流 下 :   e m V t Y W w 2 N j Y = 。 参 考 参 考 R F C H o w   m i t m p r o x y   w o r k s h t t p s : / / g i t h u b . c o m / g o o g l e / m a r t i a n * 本 文 作 者 ： 本 文 作 者 ： k o a l r x ， ， 转 载 请 注 明 来 自 转 载 请 注 明 来 自 F r e e B u f . C O M 精 彩 推 荐 精 彩 推 荐
阅 读 原 文
回复

举报

高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

使用Markdown编辑器编辑 使用富文本编辑器编辑

Archiver| 手机版| 小黑屋|
Powered by Discuz! X3.4 Copyright © 2001-2020, Tencent Cloud. 商业源码建议获取授权，如侵犯您的权益，请联系客服处理