搜索

[11791] 2017-09-17_如何通过追踪代码自动发现网站之间的“关联”

文档创建者：s7ckTeam
浏览次数：18
最后更新：2025-01-18
2017-09-17_如何通过追踪代码自动发现网站之间的“关联” 如 何 通 过 追 踪 代 码 自 动 发 现 网 站 之 间 的 “ 关 联 ” C o v f e f e   F r e e B u f   2 0 1 7 - 0 9 - 1 7 几 年 前 L a w r e n c e   A l e x a n d e r 发 表 了 一 篇 使 用 G o o g l e   A n a l y t i c s 查 找 网 页 之 间 的 关 联 的 文 章 ， 去 年 ， 我 也 发 布 了 一 个 关 于 如 何 使 用 P y t h o n 自 动 挖 掘 信 息 ， 然 后 将 其 可 视 化 的 帖 子 ， 不 幸 的 是 M e a n p a t h   A P I 被 关 闭 了 ， 所 以 这 样 的 技 术 便 不 再 有 用 了 。 幸 运 的 是 ， S p y o n w e b . c o m 的 还 在 正 常 提 供 服 务 。 就 在 前 不 久 ， 南 非 记 者 J a n   C r o n j e 就 在 努 力 地 挖 掘 一 些 他 正 在 研 究 的 东 西 的 关 联 （ 点 击 这 里 阅 读 ） ， 这 是 重 组 以 前 的 代 码 的 一 个 完 美 的 机 会 ： 使 用 S p y o n w e b 来 找 到 这 些 连 接 ， 最 后 再 将 其 可 视 化 。 给 你 敲 代 码 的 手 指 热 热 身 ， 并 准 备 好 享 受 一 些 乐 趣 ， 因 为 我 们 即 将 要 探 索 如 何 使 用 给 你 敲 代 码 的 手 指 热 热 身 ， 并 准 备 好 享 受 一 些 乐 趣 ， 因 为 我 们 即 将 要 探 索 如 何 使 用 P y t h o n 自 动 发 现 网 页 之 间 的 自 动 发 现 网 页 之 间 的 关 联 。 关 联 。 使 用 使 用 S p y O n W e b   A P I S p y O n W e b . c o m 是 一 个 不 断 抓 取 网 站 追 踪 代 码 ， 名 称 服 务 器 和 其 他 信 息 的 网 站 ， 所 以 它 能 帮 助 显 示 网 站 之 间 的 连 接 。 他 们 的 A P I 有 许 多 定 价 层 ， 从 免 费 开 始 （ 对 于 这 篇 文 章 ， 免 费 的 简 直 完 美 ） ， 一 直 到 每 月 6 9 . 9 5 美 元 。 点 击 这 里 前 往 a p i . S p y o n w e b . c o m 在 这 里 注 册 一 个 账 号 ， 然 后 主 控 制 面 板 上 就 会 出 现 一 个 a c c e s s   t o k e n ， 我 们 在 下 面 的 文 章 中 会 用 到 。
要 注 意 的 是 ， 你 最 好 不 要 和 其 他 人 共 享 你 的 a c c e s s   t o k e n ， 如 果 你 不 小 心 泄 露 了 ， 点 击 上 图 红 色 箭 头 旁 的 小 按 钮 ， 它 会 为 你 重 新 生 成 a c c e s s   t o k e n 。 现 在 我 们 有 了 S p y o n w e b 的 a c c e s s   t o k e n ， 接 下 来 就 是 写 代 码 了 。 准 备 准 备 在 这 篇 文 章 里 ， 你 需 要 一 些 P y t h o n 库 ， 可 以 使 用 p i p 安 装 另 外 ， 你 如 果 想 在 最 后 进 行 可 视 化 ， 那 就 需 要 额 外 下 载 G e p h i 。 代 码 与 解 析 代 码 与 解 析 热 热 身 ， 启 动 你 最 喜 欢 的 I D E （ 我 使 用 的 是 W i n g I D E ， 用 着 真 的 不 错 ） ， 新 建 一 个 叫 w e b s i t e _ c o n n e c t i o n s . p y 的 文 件 ， 完 整 源 码 【 阅 读 原 文 下 载 】 完 整 源 码 【 阅 读 原 文 下 载 】 。 第 第 1 - 5 行 行 ： 我 们 正 在 导 入 我 们 的 脚 本 中 所 需 要 的 所 有 相 关 P y t h o n 模 块 。 第 第 7 - 8 行 行 ： 我 们 定 义 了 一 个 变 量 s p y o n w e b _ a c c e s s _ t o k e n ， 你 需 要 把 之 前 获 取 的 a c c e s s   t o k e n 粘 贴 到 这 里 ， 然 后 我 们 定 义 了 一 个 变 量 来 保 存 S p y o n w e b   A P I 调 用 的 U R L 。 第 第 1 0 - 1 1 行 行 ： 这 里 为 G o o g l e   A d s e n s e 和 G o o g l e   A n a l y s e 准 备 了 两 个 正 则 表 达 式 模 式 ， 我 们 将 通 过 脚 本 在 目 标 域 p i p   i n s t a l l   n e t w o r k x   r e q u e s t s   r e q u e s t s [ s e c u r i t y ]
名 中 提 取 这 些 代 码 。 第 第 1 3 - 2 0 行 行 ： 在 这 里 我 们 设 置 命 令 行 参 数 解 析 ， 以 便 轻 松 地 传 递 一 个 域 名 ， 一 个 包 含 域 名 列 表 的 文 件 ， 并 允 许 为 我 们 的 图 形 输 出 指 定 的 文 件 名 。 我 们 现 在 添 加 一 个 简 单 的 函 数 ， 它 将 在 绘 制 之 前 清 理 追 踪 代 码 。 让 我 们 先 来 看 看 ： 完 美 ！ 现 在 我 们 我 们 开 始 第 一 个 函 数 ， 用 于 从 目 标 域 名 直 接 提 取 追 踪 代 码 。 将 以 下 片 段 添 加 进 代 码 中 ： 第 第 3 8 行 行 ： 我 们 定 义 了 e x t r a c t _ t r a c k i n g _ c o d e s 函 数 来 接 受 我 们 要 遍 历 的 域 名 列 表 来 执 行 提 取 。 第 第 4 3 行 之 后 行 之 后 ： 我 们 开 始 遍 历 域 名 列 表 （ 4 3 行 ） ， 然 后 在 向 目 标 域 名 发 送 W e b 请 求 （ 5 3 行 ） 之 前 构 建 适 当 的 U R L （ 5 0 - 5 1 行 ） ， 如 果 未 能 成 功 连 接 ， 则 转 到 下 一 个 域 名 （ 5 7 行 ） 。
第 第 6 2 - 6 4 行 行 ： 如 果 我 们 成 功 连 接 到 目 标 站 点 ， 那 么 就 设 置 一 个 空 白 列 表 来 保 存 我 们 提 取 的 代 码 （ 6 2 行 ） ， 我 们 尝 试 使 用 正 则 表 达 式 （ 6 3 行 ） 来 找 到 所 有 G o o g l e   A d s e n s e 代 码 ， 然 后 对 G o o g l e   A n a l y s e 代 码 做 相 同 的 事 情 （ 6 4 行 ） 。 第 第 6 7 - 6 9 行 行 ： 我 们 遍 历 提 取 代 码 的 列 表 （ 6 7 行 ） ， 然 后 将 其 通 过 c l e a n _ t r a c k i n g _ c o d e 函 数 将 其 传 递 到 清 理 和 规 范 代 码 部 分 ， 接 下 来 测 试 我 们 是 否 已 经 有 了 这 个 代 码 （ 7 2 行 ） ， 如 果 没 有 ， 就 将 其 添 加 到 连 接 字 典 中 ， 然 后 我 们 就 可 以 对 目 标 域 名 进 行 追 踪 了 。 第 第 8 2 行 行 ： 我 们 返 回 连 接 字 典 ， 以 便 稍 后 处 理 结 果 。 现 在 我 们 构 建 一 个 函 数 来 向 S p y o n w e b   A P I 发 送 请 求 ， 现 在 继 续 添 加 以 下 代 码 ： 第 第 8 7 行 行 ： 我 们 构 建 s p y o n w e b _ r e q u e s t 来 接 收 数 据 ， 可 以 是 一 个 域 名 ， 追 踪 代 码 ， 也 可 以 是 其 他 支 持 的 输 入 ， 我 们 还 构 建 了 r e q u e s t _ t y p e 参 数 ， 该 参 数 将 构 成 S p y o n w e b 请 求 格 式 的 U R L 的 一 部 分 。 第 第 8 9 - 9 0 行 行 ： 我 们 创 建 一 个 字 典 ， 其 中 包 含 S p y o n w e b 的 a c c e s s   t o k e n ， 它 将 在 H T T P 请 求 中 传 给 S p y o n w e b 。 第 第 9 2 行 行 ： 我 们 使 用 动 态 构 建 的 U R L 将 请 求 发 送 给 S p y o n w e b ， 并 传 入 p a r a m s 字 典 。 第 第 9 4 - 1 0 2 行 行 ： 我 们 进 行 检 查 以 确 保 收 到 一 个 有 效 的 H T T P 响 应 （ 9 4 行 ） ， 如 果 请 求 成 功 ， 就 解 析 J S O N （ 9 6 行 ） 。 然 后 测 试 字 典 结 果 （ 9 8 行 ） 来 看 看 我 们 是 否 收 到 了 S p y o n w e b 的 有 效 结 果 ， 如 果 是 ， 返 回 整 个 字 典 。 如 果 没 有 得 到 任 何 结 果 ， 就 返 回 N o n e （ 1 0 2 行 ） 。 现 在 我 们 将 构 建 一 个 函 数 来 处 理 向 S p y o n w e b 发 送 特 定 请 求 的 分 析 代 码 。
第 第 1 0 7 行 行 ： 我 们 定 义 s p y o n w e b _ a n a l y t i c s _ c o d e s 函 数 来 采 用 单 个 参 数 连 接 ， 即 跟 踪 代 码 的 字 典 以 及 它 们 如 何 映 射 到 托 管 它 们 的 域 。 第 第 1 1 1 - 1 2 0 行 行 ： 我 们 开 始 循 环 （ 1 1 1 行 ） ， 然 后 测 试 是 否 为 A d s e n s e 代 码 或 A n a l y s e 代 码 ， 一 旦 确 定 了 类 型 ， 就 开 始 设 置 r e q u e s t _ t y p e 。 第 第 1 2 4 行 行 ： 我 们 向 S p y o n w e b   A P I 发 送 请 求 来 看 看 是 否 有 其 他 域 名 也 被 映 射 到 了 当 前 的 追 踪 代 码 。 第 第 1 2 6 - 1 3 4 行 行 ： 如 果 我 们 从 S p y o n w e b 获 取 到 了 有 效 的 结 果 ， 那 么 就 会 循 环 遍 历 域 名 ， 并 将 其 添 加 到 与 当 前 跟 踪 代 码 相 关 联 的 域 列 表 中 ， 完 成 后 ， 返 回 更 新 后 的 字 典 。 现 在 我 们 将 添 加 一 个 函 数 来 从 S p y o n w e b 中 检 索 域 名 报 告 。 域 名 报 告 可 以 告 诉 我 们 与 域 名 相 关 联 的 其 他 A d S e n s e 或 G o o g l e   A n a l y t i c s （ 分 析 ） 代 码 ， 以 及 其 他 可 能 感 兴 趣 域 名 的 连 接 。
第 第 1 3 9 行 行 ： 我 们 定 义 s p y o n w e b _ d o m a i n _ r e p o r t s 函 数 来 接 收 单 一 的 连 接 参 数 。 第 第 1 4 2 - 1 4 3 行 行 ： 我 们 设 置 一 个 空 列 表 来 跟 踪 我 们 检 查 的 域 名 （ 1 4 2 行 ） ， 并 将 所 有 跟 踪 代 码 加 载 到 列 表 中 （ 1 4 3 行 ） 。 第 第 1 4 5 - 1 5 5 行 行 ： 循 环 遍 历 所 有 的 代 码 （ 1 4 5 行 ） ， 然 后 循 环 遍 历 与 该 代 码 关 联 的 每 个 域 名 （ 1 4 7 行 ） 。 如 果 我 们 还 没 有 检 查 此 域 名 （ 1 4 9 行 ） ， 就 将 域 名 添 加 到 测 试 列 表 （ 1 5 1 行 ） ， 然 后 我 们 向 S p y o n w e b 发 送 请 求 以 获 取 当 前 域 名 的 域 名 报 告 （ 1 5 5 ） 。 第 第 1 5 7 - 1 7 0 行 行 ： 如 果 我 们 从 S p y o n w e b （ 1 5 7 行 ） 收 到 有 效 的 结 果 ， 就 尝 试 检 查 任 何 A d s e n s e 代 码 （ 1 6 0 行 ） 。 如 果 有 A d s e n s e （ 1 6 2 行 ） 的 结 果 ， 那 么 开 始 循 环 返 回 所 有 的 A d s e n s e 代 码 （ 1 6 4 行 ） ， 然 后 将 其 清 理 （ 1 6 6
行 ） ， 如 果 字 典 中 还 没 有 这 代 码 ， 就 将 其 添 加 为 新 密 钥 （ 1 7 0 行 ） 。 第 第 1 7 2 - 1 7 8 行 行 ： 我 们 循 环 与 A d s e n s e 代 码 相 关 联 的 域 名 （ 1 7 2 行 ） ， 如 果 还 没 有 跟 踪 域 名 （ 1 7 4 行 ） ， 那 么 将 其 添 加 到 我 们 的 连 接 字 典 中 ， 将 其 与 当 前 跟 踪 代 码 相 关 联 。 下 一 段 代 码 与 1 5 7 - 1 7 0 行 和 1 7 2 - 1 7 8 行 几 乎 相 同 （ 除 了 对 G o o g l e   A n a l y s e 代 码 进 行 处 理 ） ， 我 知 道 一 些 P y t h o n 纯 粹 主 义 者 会 调 出 来 抱 怨 说 我 们 正 在 重 复 代 码 ， 但 是 唉 ， 我 们 就 是 在 这 么 做 。 接 下 来 我 们 就 开 始 添 加 最 终 函 数 ， 负 责 绘 制 域 名 之 间 的 连 接 并 跟 踪 代 码 ， 之 后 我 们 就 可 以 通 过 G e p h i 或 其 他 工 具 打 开 图 形 文 件 来 检 查 结 果 。 第 第 2 0 5 行 行 ： 我 们 定 义 了 g r a p h _ c o n n e c t i o n s 函 数 ， 它 接 收 连 接 字 典 ， 起 始 域 名 列 表 和 要 输 出 图 形 的 文 件 名 。 第 第 2 0 7 行 行 ： 我 们 初 始 化 一 个 新 的 n e t w o r k x   G r a p h 对 象 。 第 第 2 0 9 - 2 1 2 行 行 ： 我 们 开 始 循 环 连 接 字 典 （ 2 0 9 行 ） ， 然 后 将 跟 踪 代 码 添 加 为 图 形 中 的 一 个 节 点 ， 之 后 将 选 项 节 点 属 性 设 置 为 “ t r a c k i n g _ c o d e ” 的 类 型 。 此 属 性 将 允 许 我 们 稍 后 在 G e p h i 中 绘 制 图 形 。 第 第 2 1 4 - 2 2 7 行 行 ： 我 们 循 环 查 找 与 当 前 跟 踪 代 码 相 关 联 的 所 有 域 名 （ 2 1 4 行 ） ， 并 且 检 查 域 名 是 否 是 我 们 的 起 始 域 名 之 一 （ 2 1 7 行 ） ， 如 果 是 ， 我 们 将 域 名 添 加 为 图 中 的 节 点 ， 设 置 为 “ 源 域 名 ” 。 如 果 它 不 是 ， 我 们 将 节 点 添 加 到 图 中 ， 只 将 其 设 置 为 正 常 的 “ 域 名 ” （ 2 2 4 行 ） 。 最 后 一 步 是 在 跟 踪 代 码 和 域 名 之 间 添 加 一 条 线 （ 2 2 7 行 ） 。 第 第 2 3 0 行 行 ： 现 在 我 们 已 经 添 加 了 所 有 跟 踪 代 码 和 域 名 ， 并 在 它 们 之 间 绘 制 了 一 条 线 ， 之 后 只 需 使 用 w r i t e _ g e x f 函 数 将 图 形 写 入 文 件 即 可 。 现 在 我 们 来 添 加 最 后 的 代 码 段 ， 将 所 有 的 函 数 都 绑 在 一 起 。 已 经 几 乎 完 成 了 ！
这 一 小 段 代 码 很 简 单 。 如 果 我 们 收 到 一 个 文 件 名 作 为 命 令 行 参 数 ， 我 们 打 开 该 文 件 ， 并 逐 行 读 取 。 如 果 没 有 ， 那 么 我 们 只 需 要 脚 本 中 传 递 的 域 名 参 数 。 就 是 这 样 ， 你 可 以 试 试 看 了 。 运 行 运 行 使 用 类 似 以 下 命 令 运 行 ： 效 果 如 下 ： [ * ]   C h e c k i n g   s o u t h a f r i c a b u z z . c o . z a   f o r   t r a c k i n g   c o d e s . [ * ]   D i s c o v e r e d :   p u b - 8 2 6 4 8 6 9 8 8 5 8 9 9 8 9 6 [ * ]   D i s c o v e r e d :   p u b - 8 2 6 4 8 6 9 8 8 5 8 9 9 8 9 6 [ * ]   D i s c o v e r e d :   u a - 1 0 1 1 9 9 4 5 7 - 1 [ * ]   T r y i n g   c o d e :   U A - 1 0 1 1 9 9 4 5 7   o n   S p y o n w e b . [ * ]   T r y i n g   c o d e :   p u b - 8 2 6 4 8 6 9 8 8 5 8 9 9 8 9 6   o n   S p y o n w e b . [ * ]   F o u n d   a d d i t i o n a l   d o m a i n :   w w w . i n d i a t r a v e l m a n t r a . c o m [ * ]   F o u n d   a d d i t i o n a l   d o m a i n :   w w w . s o c i e t y i n d i a . c o m … [ * ]   D i s c o v e r e d   n e w   d o m a i n :   0 2 2 o f f i c e . c o m [ * ]   G e t t i n g   d o m a i n   r e p o r t   f o r :   i n d i a y a t r a a . c o m p y t h o n   w e b s i t e _ c o n n e c t i o n s . p y   - - d o m a i n   s o u t h a f r i c a b u z z . c o . z a   - - g r a p h   s o u t h a f r i c a . g e x f
[ * ]   G e t t i n g   d o m a i n   r e p o r t   f o r :   w w w . m a n t r a a . c o m [ * ]   W r o t e   o u t   g r a p h   t o   s o u t h a f r i c a . g e x f [ * ]   F i n i s h e d !   O p e n   s o u t h a f r i c a . g e x f   i n   G e p h i   a n d   h a v e   f u n ! 然 后 你 就 可 以 打 开 g e x f 文 件 来 查 看 细 节 了 ， 可 以 看 看 下 方 示 例 视 频 （ 阅 读 原 文 查 看 视 频 链 接 ） （ 阅 读 原 文 查 看 视 频 链 接 ） 拓 展 拓 展 你 完 全 可 以 增 强 这 个 脚 本 ， 例 如 ， 你 可 以 查 询 W a y b a c k   m a c h i n e 来 跟 踪 网 站 过 去 的 代 码 ， 或 者 可 以 从 S p y o n w e b 递 归 地 请 求 来 发 现 的 任 何 新 域 名 的 域 名 报 告 ， 这 会 产 生 一 个 大 图 ， 不 过 可 以 潜 在 地 增 加 你 的 整 体 覆 盖 。 有 问 题 或 者 想 联 系 作 者 ？ 请 联 系 j u s t i n @ a u t o m a t i n g o s i n t . c o m 。 * 参 考 来 源 ： 参 考 来 源 ： a u t o m a t i n g o s i n t ， ， C o v f e f e 编 译 ， 转 载 请 注 明 来 自 编 译 ， 转 载 请 注 明 来 自 F r e e B u f . C O M 阅 读 原 文
回复

举报

高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

Archiver| 手机版| 小黑屋|
Powered by Discuz! X3.4 Copyright © 2001-2020, Tencent Cloud. 商业源码建议获取授权，如侵犯您的权益，请联系客服处理