搜索

[27389] 2019-06-11_5G的到来会对爬虫产生怎样的影响？

文档创建者：s7ckTeam
浏览次数：1
最后更新：2025-01-19
2019-06-11_5G的到来会对爬虫产生怎样的影响？ 5 G 的 到 来 会 对 爬 虫 产 生 怎 样 的 影 响 ？ 原 创   L o c o   N i g h t T e a m   2 0 1 9 - 0 6 - 1 1 收 录 于 话 题 # 爬 虫   , 1 8 5 4 # 5 G   , 1 0 4 2 0 # I P   , 1 1 4 7 昨 天 ， 我 在 V 2 E X 上 看 到 了 一 个 有 趣 的 贴 子 ： 《 5 G   的 到 来 会 对 爬 虫 速 度 有 质 的 改 变 吗 ？ ？ 》 ， 底 下 的 争 论 引 起 了 我 的 一 番 思 考 ， 5 G 对 爬 虫 ， 或 者 说 对 垂 直 爬 虫 ， 真 的 一 点 影 响 都 不 会 有 吗 ？ 思 考 许 久 之 后 ， 我 得 出 了 答 案 ， 速 度 上 确 实 是 不 会 有 质 的 改 变 的 ， 但 是 5 G 对 垂 直 爬 虫 领 域 ， 必 然 会 产 生 一 些 影 响 ， 而 不 是 那 篇 帖 子 中 大 部 分 人 所 认 为 的 毫 无 影 响 ， 只 不 过 这 个 影 响 我 认 为 是 比 较 偏 门 的 ， 属 于 那 种 目 前 还 未 被 广 泛 使 用 到 的 部 分 ， 但 毕 竟 未 来 不 可 预 测 ， 谁 也 不 知 道 以 后 会 有 什 么 样 的 变 化 。 想 知 道 为 什 么 会 得 出 这 个 答 案 吗 ？ 请 往 下 看 首 先 我 们 来 看 看 为 什 么 对 速 度 会 有 影 响 ， 但 又 不 会 有 质 的 改 变 吧 。 在 不 考 虑 各 种 无 线 通 信 中 复 杂 细 节 的 情 况 下 ， 最 最 直 观 可 以 感 受 到 的 就 是 5 G 带 来 的 网 速 ， 5 G 在 测 试 环 境 下 的 下 载 速 度 能 达 到 1 0 0 - 3 5 0 M B / s 左 右 。 华 为 在 意 大 利 完 成 5 G 网 速 测 试 时 的 速 度 截 图 ， 图 中 的 2 7 7 6 M b p s 约 等 于 2 7 7 M B / s （ 图 源 网 络 ） 但 这 毕 竟 是 测 试 环 境 ， 实 际 网 络 环 境 复 杂 ， 速 度 能 达 到 最 低 值 的 8 0 % 都 不 错 了 （ 参 见 4 G 的 情 况 ） ， 那 么 就 按 8 0 M B / s 来 看 吧 ， 现 有 的 有 线 网 络 达 不 到 这 个 速 度 吗 ？ 并 不 是 ， 有 线 网 络 不 仅 速 度 能 吊 打 它 ， 用 起 来 的 价 格 还 低 很 多 ， 加 上 被 爬 的 服 务 器 都 不 一 定 会 让 你 随 便 爬 ， 也 不 一 定 有 那 么 高 的 带 宽 ， 所 以 实 际 情 况 你 根 本 不 需 要 自 己 这 一 端 有 那 么 高 的 带 宽 。
看 到 这 里 肯 定 会 有 朋 友 要 问 了 ， 那 既 然 速 度 和 成 本 都 没 有 优 势 了 ， 为 什 么 还 说 5 G 会 对 垂 直 爬 虫 领 域 造 成 影 响 呢 ？ 好 奇 吗 ？ 继 续 往 下 想 一 想 ， 2 、 3 、 4 G 的 无 线 网 络 在 爬 虫 这 个 领 域 ， 被 用 在 了 哪 些 方 面 ？ 是 不 是 发 现 了 ， 都 是 一 些 很 特 殊 的 用 途 对 吧 。 不 过 考 虑 到 绝 大 多 数 人 应 该 都 不 会 接 触 到 这 一 方 面 ， 我 还 是 先 给 没 有 了 解 过 的 朋 友 们 细 讲 一 下 这 三 种 无 线 网 络 在 爬 虫 领 域 的 用 途 吧 。 首 先 是 2 G ， 因 为 设 备 成 本 低 的 关 系 ， 被 大 量 用 于 接 码 平 台 ， 即 接 收 手 机 验 证 码 ， 那 么 这 一 块 呢 就 主 要 是 给 批 量 注 册 账 号 使 用 ， 针 对 的 是 那 些 需 要 大 量 账 号 且 需 要 手 机 号 进 行 注 册 的 地 方 ， 不 过 因 为 2 G 退 网 的 关 系 逐 渐 被 淘 汰 了 。 然 后 是 3 G ， 设 备 成 本 相 对 于 2 G 而 言 稍 高 一 些 ， 因 为 2 G 退 网 的 关 系 ， 大 量 猫 池 设 备 （ 就 是 很 多 个 卡 插 在 同 一 个 机 器 上 用 于 模 拟 手 机 基 础 功 能 的 那 个 ） 的 基 础 硬 件 从 2 G 迁 移 到 了 3 G 。 然 后 呢 ， 除 了 接 验 证 码 以 外 ， 3 G 还 能 做 什 么 呢 ？ 对 ， 就 是 上 网 ， 3 G 的 上 网 速 度 要 比 2 G 快 很 多 ， 所 以 3 G 除 了 接 码 平 台 会 使 用 到 以 外 ， 还 会 有 代 理 I P 商 使 用 ， 不 过 目 前 国 内 的 代 理 I P 商 似 乎 很 少 （ 或 者 说 没 有 ） 做 这 一 块 的 ， 国 内 知 名 的 几 个 都 是 靠 着 在 机 房 批 量 拨 号 做 的 ， 一 般 都 是 国 外 的 代 理 I P 商 在 用 。 不 过 想 想 也 可 以 理 解 ， 毕 竟 A D S L 的 套 餐 或 者 多 拨 账 号 只 要 能 和 运 营 商 谈 下 来 ， 就 能 一 开 开 一 堆 ， 对 运 营 商 的 基 建 成 本 又 不 会 有 什 么 影 响 （ 速 度 不 需 要 很 高 的 保 障 ， 不 用 升 级 设 备 ） ， 代 理 I P 商 用 起 来 速 度 又 快 、 价 格 又 低 ， 管 理 起 来 又 方 便 ， 为 啥 还 要 用 3 G 搞 代 理 I P 呢 。 接 着 是 4 G ， 设 备 成 本 相 对 于 2 G 而 言 稍 高 一 些 ， 但 其 实 和 3 G 差 不 太 多 ， 原 因 不 明 ， 大 概 是 有 补 贴 吧 。 4 G 的 上 网 速 度 和 3 G 对 比 又 是 一 个 飞 跃 ， 加 上 现 在 的 4 G 套 餐 流 量 跟 不 要 钱 一 样 ， 用 来 做 代 理 I P 很 适 合 ， 不 过 应 该 还 是 因 为 环 境 的 问 题 吧 ， 和 3 G 一 样 ， 4 G 依 然 没 有 被 国 内 代 理 I P 商 采 用 。 但 是 ， 注 意 这 里 的 但 是 ， 大 家 用 某 几 个 互 联 网 公 司 的 产 品 某 几 个 互 联 网 公 司 的 产 品 的 时 候 应 该 会 发 现 ， 作 为 一 个 正 常 用 户 ， 自 己 用 着 流 量 却 依 然 会 偶 发 出 现 被 反 爬 的 情 况 （ 限 制 访 问 、 出 现 验 证 码 等 ） ， 其 实 这 里 可 以 看 得 出 来 ， 虽 然 国 内 的 代 理 I P 商 没 有 采 用 这 种 渠 道 获 取 I P ， 但 实 际 还 是 有 做 灰 、 黑 产 的 人 用 这 种 I P 来 干 了 点 什 么 事 情 的 。 那 么 看 完 了 2 、 3 、 4 G 的 这 些 用 途 ， 聪 明 的 你 是 不 是 已 经 可 以 联 想 出 5 G 出 来 以 后 会 出 现 怎 么 样 的 情 况 了 ？ 啥 ？ 你 还 是 想 不 出 ？ 那 我 再 引 导 你 想 一 下 吧 。 我 们 先 看 一 看 5 G 这 个 东 西 目 前 主 流 媒 体 都 在 说 的 优 势 和 应 用 ， 并 且 综 合 一 下 它 们 的 特 点 ， 是 不 是 发 现 其 实 本 质 上 就 是 ： 速 度 更 快 了 、 延 迟 更 低 了 、 终 端 数 量 会 爆 发 式 增 长 ？ 虽 然 说 啊 ， 那 些 被 吹 得 很 大 的 所 谓 的 万 物 互 联 、 车 联 网 之 类 的 5 G 应 用 受 限 于 各 种 问 题 ， 并 不 可 能 那 么 快 出 现 ， 但 是 国 家 一 直 推 动 的 、 大 的 方 向 确 实 是 这 样 的 。 那 么 ， 排 除 掉 前 面 所 说 的 那 两 个 被 有 线 网 络 吊 打 的 特 点 再 想 想 ， 终 端 数 量 的 爆 发 式 增 长 ， 如 果 使 用 成 本 （ 硬 件 成 本 + 网 络 资 费 ） 依 然 像 现 在 这 样 ， 谁 能 承 受 得 起 啊 ？ 所 以 要 实 现 那 些 远 大 的 目 标 ， 必 须 是 要 降 低 使 用 成 本 的 ， 这 样 的 话 … 嗯 … 没 错 ， 在 5 G 到 来 ， 使 用 成 本 下 降 以 后 ， 垂 直 爬 虫 领 域 所 受 到 的 影 响 很 可 能 就 是 会 让 国 内 的 代 理 I P 商 大 量 采 用 5 G 设 备 做 代 理 I P 服 务 。 设 想 一 下 ， 在 你 碰 到 一 些 对 I P 质 量 要 求 非 常 高 的 平 台 时 ， 可 以 用 上 大 量 的 无 线 终 端 I P ， 并 且 费 用 还 不 会 特 别 地 高 ， 还 能 有 一 个 正 常 的 速 度 ， 就 像 现 在 的 宽 带 代 理 I P 一 样 ， 岂 不 是 美 滋 滋 ？ 不 过 呢 ， 这 肯 定 只 是 一 部 分 的 情 况 ， 毕 竟 I P V 6 也 在 被 大 力 推 进 ， 以 后 说 不 定 都 是 I P V 6 的 I P 了 ， 在 I P 量 这 么 大 的 情 况 下 ， 风 控 平 台 架 构 师 和 反 爬 虫 工 程 师 们 又 会 想 出 什 么 样 的 骚 操 作 ？ 这 … 就 无 法 得 知 了 ， 毕 竟 做 安 全 的 人 ， 个 个 都 是 人 才 ， 脑 洞 大 得 很 ， 天 知 道 会 被 需 求 逼 着 搞 出 个 什 么 东 西 来 用 于 对 抗 呢 ， 走 一 步 看 一 步 吧 ， 毕 竟 攻 防 是 一 直 存 在 的 这 个 时 代 各 种 东 西 变 化 太 快 ， 而 网 络 上 的 垃 圾 信 息 又 很 多 ， 你 需 要 有 一 个 良 好 的 知 识 获 取 渠 道 ， 很 多 时 候 早 就 是 一 种 优 势 ， 所 以 还 不 赶 紧 关 注 我 的 公 众 号 并 置 顶 / 星 标 一 波 。
对 了 ， 记 得 留 言 、 点 在 看 ， 你 们 的 支 持 就 是 我 写 作 的 动 力 ， 特 别 是 留 言 . . . 价 值 一 万 五 呢 . . .
回复

举报

高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

使用Markdown编辑器编辑 使用富文本编辑器编辑

Archiver| 手机版| 小黑屋|
Powered by Discuz! X3.4 Copyright © 2001-2020, Tencent Cloud. 商业源码建议获取授权，如侵犯您的权益，请联系客服处理