搜索

[12224] 2018-01-11_基于代理IP的挖掘与分析

文档创建者：s7ckTeam
浏览次数：4
最后更新：2025-01-18
2018-01-11_基于代理IP的挖掘与分析 基 于 代 理 I P 的 挖 掘 与 分 析 原 创   f e i n i a o   F r e e B u f   2 0 1 8 - 0 1 - 1 1 * 本 文 作 者 ： f e i n i a o ， 本 文 属   F r e e B u f   原 创 奖 励 计 划 ， 未 经 许 可 禁 止 转 载 。 废 话 不 多 说 ， 直 入 主 题 。 关 于 代 理 废 话 不 多 说 ， 直 入 主 题 。 关 于 代 理 I P 的 挖 掘 与 分 析 ， 个 人 的 一 些 分 析 与 总 结 。 的 挖 掘 与 分 析 ， 个 人 的 一 些 分 析 与 总 结 。 1 .   思 路 思 路 1 、 获 取 代 理 地 址 2 、 对 获 取 的 代 理 地 址 进 行 验 证 ， 提 取 出 真 实 可 用 的 代 理 地 址 3 、 代 理 指 纹 的 提 取 与 自 动 化 挖 掘 代 理 4 、 根 据 I P 的 相 关 信 息 进 行 排 序 : 存 活 时 间 。 存 活 时 间 较 长 的 I P 一 般 为 固 定 的 I P 5 、 数 据 分 析 与 利 用 　 a .   代 理 I P 的 各 种 作 用 : 爬 虫 、 隐 藏 真 实 I P 、 代 理 上 外 网 、 薅 羊 毛 　 b .   情 报 : I P 威 胁 情 报 及 I P 信 誉 分 析 　 c .   通 过 真 实 可 用 的 I P 提 取 分 析 代 理 I P 的 指 纹 信 息 ， 可 作 为 代 理 I P 分 析 的 指 纹 特 征 。 并 且 在 具 体 工 作 中 可 以 落 地 进 行 代 理 I P 的 查 找 与 分 析 。 　 d .   判 断 改 I P 的 所 有 者 ( 政 府 企 事 业 单 位 、 个 人 用 户 、 I D C 等 ) 与 存 活 时 间 ； 若 为 政 府 企 事 业 单 位 用 户 基 本 上 说 明 该 I P 被 黑 客 控 制 时 间 越 长 被 控 制 的 越 久 。 获 取 与 整 理 这 些 I P ， 可 以 进 行 通 报 预 警 与 应 急 响 应 。 　 e .   周 期 性 探 测 ， 对 短 时 间 内 出 现 大 量 的 I P 进 行 资 产 指 纹 分 析 ， 提 取 共 性 ， 可 以 用 于 预 警 通 报 2 .   数 据 爬 取 与 指 纹 提 取 数 据 爬 取 与 指 纹 提 取 2 . 1     获 取 代 理 获 取 代 理 I P 代 理 I P 的 获 取 可 以 先 利 用 网 上 开 放 的 代 理 I P 平 台 ， 这 里 面 个 人 推 荐 两 个 :
h t t p : / / w w w . x i c i d a i l i . c o m 、 h t t p : / / c n - p r o x y . c o m ( 需 要 梯 子 ) 下 面 以 x i c i d a i l i . c o m 为 例 进 行 分 析 。 该 代 理 网 站 的 代 理 类 型 一 共 分 为 四 类 ： 国 内 高 匿 代 理 、 国 内 普 通 代 理 、 国 内 H T T P S 代 理 、 国 内 H T T P 代 理 。 下 面 以 国 内 H T T P S 代 理 为 例 来 爬 取 网 站 上 的 代 理 I P 信 息 ， 核 心 实 现 p y t h o n 代 码 如 下 ( P y t h o n 新 手 , 大 牛 轻 喷 ) ： 获 取 到 的 代 理 I P 格 式 经 处 理 后 如 下 所 示 ：
可 以 看 出 爬 取 出 来 的 代 理 I P 的 格 式 为 : I P 、 端 口 、 代 表 类 型 、 存 活 天 数 、 发 现 日 期 及 时 间 。 下 面 将 这 些 信 息 存 入 到 数 据 库 中 ， 以 方 便 检 索 与 查 找 。 这 里 面 个 人 选 择 m y s q l 数 据 库 ， 将 相 关 的 数 据 导 入 到 m y s q l 中 ， 共 2 9 7 0 0 条 h t t p s 代 理 ， 如 下 所 示 ： 2 . 2     验 证 可 用 的 代 理 验 证 可 用 的 代 理 验 证 代 理 是 否 可 用 的 方 法 比 较 多 ， 在 批 量 验 证 时 可 以 使 用 p y t h o n 来 实 现 ， 这 里 面 验 证 代 理 是 否 可 用 的 方 法 为 直 接 使 用 代 理 访 问 b a i d u . c o m ， 若 返 回 状 态 为 2 0 0 ， 则 说 明 代 理 可 用 。 反 之 ， 则 说 明 不 可 用 。
验 证 基 于 前 面 已 经 采 集 的 H T T P S 代 理 : 提 取 出 H T T P S 代 理 的 I P 、 端 口 ， 保 存 到 本 地 的 测 试 文 件 中 。 测 试 文 件 格 式 如 下 ： 验 证 代 理 是 否 可 用 的 p y t h o n 代 码 如 下 ：
提 取 出 验 证 成 功 的 代 理 I P 地 址 和 端 口 号 ， 如 下 所 示 ： 选 择 验 证 成 功 的 进 行 测 试 ， 成 功 正 常 使 用 。
2 . 3     代 理 指 纹 提 取 代 理 指 纹 提 取 既 然 网 上 这 么 多 多 的 代 理 I P ， 这 些 代 理 I P 和 端 口 绝 大 多 数 是 批 量 扫 描 得 到 的 ， 因 此 ， 如 果 掌 握 了 这 些 代 理 的 指 纹 信 息 ， 就 可 以 批 量 扫 描 代 理 的 I P 和 端 口 了 。 选 择 其 中 部 分 代 理 的 I P 进 行 分 析 ， 通 过 n m a p 与 抓 包 形 式 分 析 其 指 纹 数 据 。 这 里 随 意 选 择 一 个 代 理 I P 地 址 ： 5 8 . 2 5 2 . 6 . 1 6 5 , 其 代 理 端 口 为 9 0 0 0 。 对 其 进 行 数 据 分 析 ， 通 过 n m a p 探 测 到 其 9 0 0 0 端 口 对 应 的 服 务 为 M i k r o T i k   h t t p   p r o x y ， 这 些 数 据 应 该 可 以 作 为 代 理 的 指 纹 。 基 于 N m a p 扫 描 而 来 的 代 理 指 纹
基 于 H T T P 响 应 提 取 的 代 理 指 纹 指 纹 提 取 思 路 : 本 人 的 思 路 是 直 接 提 取 H T T P 响 应 头 部 信 息 ， 得 到 的 是 这 样 的 ： 看 了 一 下 ， 数 据 量 有 点 大 ， 一 般 情 况 下 w e b 服 务 类 型 是 通 过 H T T P 响 应 头 部 的 s e r v e r 字 段 来 返 回 的 ， 因 此 代 码 优 化 了 一 下 ， 直 接 提 取 出 s e r v e r 字 段 ， 代 码 如 下 ：
爬 取 了 一 段 时 间 ， 共 采 集 到 1 4 0 0 0 个 左 右 的 有 效 响 应 ， 得 到 如 下 数 据 ： 对 数 据 进 行 提 取 、 分 析 整 理 出 如 下 代 理 的 指 纹 信 息 ( H T T P 响 应 头 部 的 s e r v e r 字 段 ) ：
上 述 代 理 指 纹 数 据 个 人 感 觉 有 些 不 太 适 合 ， 如 M i c r o s o f t - I I S 、 P C S E R V E R 、 A p a c h e 。 这 些 代 理 指 纹 可 能 需 要 结 合 其 他 指 纹 信 息 。 另 外 ， 在 网 上 也 找 了 一 些 代 理 服 务 器 ， 有 兴 趣 的 同 学 可 以 收 集 一 下 以 下 代 理 服 务 器 的 指 纹 信 息 ： M i c r o s o f t P r o x y ， M i c r o s o f t   I S A ， W i n P r o x y 、 W i n G a t e 、 w i n R o u t e 、 S y G a t e 、 C C P r o x y 、 S u p e r P r o x y 2 . 4     指 纹 实 战 指 纹 实 战 既 然 基 于 N m a p 和 基 于 H T T P 响 应 报 文 头 部 的 M i k r o t i k H t t p P r o x y 可 以 作 为 代 理 I P 的 指 纹 ， 那 么 我 们 来 进 行 代 理 指 纹 的 搜 索 实 战 。 互 联 网 上 有 很 多 比 较 不 错 的 黑 客 搜 索 引 擎 ， 如 s h o d a n 、 f o f a 、 z o o m e y e 等 。 本 文 以 F o f a 使 用 为 例 子 介 绍 如 果 通 过 搜 索 引 擎 找 到 代 理 的 I P 。 F o f a 是 白 帽 汇 公 司 推 出 的 一 款 基 于 网 络 爬 虫 而 生 成 的 黑 客 搜 索 引 擎 ， 上 文 已 经 收 集 整 理 了 很 多 代 理 的 指 纹 信 息 ， 通 过 f o f a 搜 索 代 理 I P ， 其 搜 索 可 以 使 用 以 下 方 法 ： s e r v e r : ” M i k r o t i k H t t p P r o x y ” , 探 测 到 4 4 4 3 9 条 结 果 。
基 于 f o f a 搜 索 的 代 理 I P 搜 索 4 4 4 3 9 条 结 果 ， 本 来 想 全 部 爬 取 下 来 ， 奈 何 f o f a 的 A P I 需 要 会 员 ， 并 且 非 会 员 只 能 看 到 前 5 页 。 所 以 只 爬 取 第 一 页 相 关 代 理 I P ， 爬 取 后 数 据 如 下 : 上 面 是 使 用 F o f a 搜 索 到 的 代 理 I P 信 息 ， 有 兴 趣 的 同 学 可 以 自 己 使 用 代 码 来 实 现 ， 下 面 使 用 部 分 代 理 指 纹 来 搜 索 代 理 设 备 ：
回复

举报

高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

使用Markdown编辑器编辑 使用富文本编辑器编辑

Archiver| 手机版| 小黑屋|
Powered by Discuz! X3.4 Copyright © 2001-2020, Tencent Cloud. 商业源码建议获取授权，如侵犯您的权益，请联系客服处理