搜索

[9151] 2015-07-21_爬取QQ空间3000万用户，玩玩大数据分析

文档创建者：s7ckTeam
浏览次数：0
最后更新：2025-01-17
2015-07-21_爬取QQ空间3000万用户，玩玩大数据分析 爬 取 Q Q 空 间 3 0 0 0 万 用 户 ， 玩 玩 大 数 据 分 析 F r e e B u f   2 0 1 5 - 0 7 - 2 1 微 信 号 ： 微 信 号 ： f r e e b u f 这 是 我 近 期 使 用 这 是 我 近 期 使 用 C # 写 的 一 个 写 的 一 个 Q Q 空 间 蜘 蛛 网 爬 虫 程 序 。 程 序 断 断 续 续 的 运 行 了 两 周 ， 目 前 总 共 爬 了 空 间 蜘 蛛 网 爬 虫 程 序 。 程 序 断 断 续 续 的 运 行 了 两 周 ， 目 前 总 共 爬 了 3 0 0 0 万 万 Q Q 数 据 ， 数 据 ， 其 中 有 其 中 有 3 0 0 万 包 含 用 户 （ 万 包 含 用 户 （ Q Q 号 ， 昵 称 ， 空 间 名 称 ， 头 像 ， 最 新 一 条 说 说 内 容 ， 最 新 说 说 的 发 表 时 间 ， 空 间 简 介 ， 性 号 ， 昵 称 ， 空 间 名 称 ， 头 像 ， 最 新 一 条 说 说 内 容 ， 最 新 说 说 的 发 表 时 间 ， 空 间 简 介 ， 性 别 ， 生 日 ， 所 在 省 份 ， 城 市 ） 的 详 细 数 据 。 别 ， 生 日 ， 所 在 省 份 ， 城 市 ） 的 详 细 数 据 。 目 前 已 经 爬 到 我 的 第 7 圈 好 友 （ d e p t h = 7 ） 共 3 0 0 0 万 数 据 。 爬 虫 主 程 序 运 行 界 面 ： 爬 虫 主 程 序 运 行 界 面 ：
爬 虫 程 序 设 计 ： 爬 虫 程 序 设 计 ： 大 致 设 计 思 路 是 模 仿 工 厂 的 生 产 车 间 ， 使 用 三 大 独 立 循 环 线 程 组 （ G e t W a i t L i s t ， C r a w l e r Q Q I n f o s ， S a v e D a t a ） 。 详 细 设 计 图 ： 详 细 设 计 图 ：
再 看 看 ， 我 根 据 这 份 数 据 生 成 的 一 些 有 趣 的 统 计 图 吧 ！ 1 、 大 家 一 般 都 在 啥 时 候 发 说 说 呢 ？ 从 图 中 看 出 一 天 最 冷 门 的 时 候 是 凌 晨 4 点 ， 这 时 全 国 正 在 睡 觉 的 人 最 多 。   大 家 最 亢 奋 的 是 晚 上 1 0 点 到 1 1 点 ， 人 们 都 喜 欢 睡 前 看 看 别 人 的 空 间 ， 发 条 说 说 。 中 午 1 2 点 左 右 也 有 一 波 小 高 峰 。 2 、 中 国 人 都 喜 欢 在 几 月 生 小 孩 呢 ？
从 图 中 可 看 出 1 月 和 1 0 月 出 生 的 人 最 多 ， 4 月 的 最 少 。 总 体 来 说 上 半 年 的 出 生 率 比 下 半 年 的 低 。 分 析 可 得 ， 1 月 多 是 因 为 很 多 人 填 的 是 默 认 的 1 月 1 号 。 4 月 少 ， 是 因 为 中 国 人 不 喜 欢 4 这 个 数 字 。 1 0 月 出 生 率 最 高 ， 是 因 为 那 时 天 气 不 冷 不 热 ， 秋 收 后 也 不 是 太 忙 了 的 原 因 。 （ 所 以 我 是 1 1 月 1 1 日 ？ 注 孤 独 ） 。 3 、 这 是 我 目 前 爬 取 的 数 据 人 群 地 区 分 布 4 、 数 据 人 群 的 年 龄 分 布 。 上 两 张 图 ， 整 好 和 我 的 信 息 相 吻 合 。 我 是 湖 南 人 ， 在 江 苏 读 的 书 ， 而 湖 南 大 部 分 人 都 在 广 东 打 工 。 所 以 地 区 分 布 中 ， 这 三
个 省 整 好 排 在 前 四 名 当 中 。 而 我 又 是 1 9 9 0 年 出 生 的 ， 对 应 年 龄 分 布 图 1 9 9 0 年 的 用 户 最 多 。 从 目 前 的 数 据 来 看 ， 无 论 是 分 布 地 区 以 及 年 龄 阶 段 与 我 的 关 联 还 非 常 大 ， 随 着 数 据 量 的 不 断 增 加 这 种 关 联 会 逐 渐 变 小 ， 统 计 图 也 会 逐 渐 接 近 全 国 用 户 的 真 实 情 况 。 （ 这 都 是 博 主 的 话 啊 ， 我 是 河 南 人 ， 不 过 人 群 年 龄 应 该 是 差 不 多 的 ， 9 0 和 9 1 年 的 比 较 多 。 ） 点 评 下 ： 你 说 我 9 1 年 的 也 不 能 接 触 的 都 是 8 1 年 的 人 吧 ？ 肯 定 是 同 龄 的 人 比 较 多 ， 其 实 如 果 博 主 能 分 析 下 在 T X 上 面 投 资 多 少 钱 ， 根 据 用 户 秀 恩 爱 的 程 度 ， 这 样 的 数 据 ， 我 觉 得 还 听 可 以 的 。 （ 吐 槽 下 。 ） 5 、 数 据 人 群 性 别 分 布 6 、 下 面 系 列 图 是 根 据 一 些 “ 关 键 字 ” 在 说 说 中 出 现 的 频 率 统 计 出 来 的 ， 相 当 有 意 思 。 单 个 用 户 的 行 为 是 很 难 看 出 规 律 的 ， 大 数 据 的 意 义 在 于 它 会 不 断 矫 正 那 个 平 衡 点 ， 从 而 得 出 反 应 宏 观 现 象 最 真 实 的 情 况 。 数 据 量 越 大 ， 平 衡 点 动 荡 的 幅 度 便 越 小 。 进 而 能 够 根 据 当 前 的 数 据 趋 势 预 测 后 续 的 发 展 ， 为 决 策 提 供 有 力 依 据 6 . 1   图 说 股 市 。
现 在 我 们 拥 有 海 量 的 互 联 网 社 交 数 据 ， 如 Q Q 的 说 说 ， s i n a 的 微 博 数 据 。 我 觉 得 这 些 数 据 拥 有 惊 人 的 利 用 价 值 ， 这 非 常 值 得 我 们 去 研 究 ， 去 挖 掘 。 我 想 ， 用 它 们 来 做 一 些 股 市 或 者 其 它 方 面 的 分 析 预 测 是 可 行 的 ， 准 确 度 应 该 也 是 非 常 高 的 。 将 股 票 中 的 关 键 字 做 海 量 数 据 分 析 ， 比 如 会 得 出 当 日 讨 论 股 票 热 度 排 行 榜 。 进 而 能 得 到 海 量 讨 论 股 票 的 用 户 ， 再 通 过 市 场 的 实 际 反 馈 找 出 股 票 上 涨 及 下 跌 的 正 相 关 因 子 ， 再 对 这 些 海 量 数 据 进 行 分 析 计 算 得 出 最 靠 谱 股 票 推 荐 大 神 排 行 榜 。 对 这 些 用 户 分 级 ， 分 优 先 度 及 抓 取 密 度 来 拿 数 据 。 用 这 些 数 据 分 析 出 哪 些 是 靠 谱 的 股 票 肯 定 靠 谱 ！ 6 . 2   群 众 讨 论 最 多 的 明 星 排 行 榜 ， 还 是 很 靠 谱 的 。 ( 我 爱 汪 峰 哥 ， 我 也 爱 J a y ！   - - - 信 仰 在 空 中 飘 扬 ) 插 播 汪 峰 头 条 ： 素 不 相 识 ， 光 听 新 闻 的 片 面 之 词 就 断 下 结 论 ， 那 是 完 整 的 真 相 吗 ？ 背 后 的 故 事 又 有 谁 了 解 多 少 ？ 实 在 反 感 那 些 破 口 大 骂 的 ， 更 是 可 恶 一 些 媒 体 就 事 三 番 五 次 的 戏 谑 。 祝 峰 哥 幸 福 ， 我 很 喜 欢 你 的 歌 ！ 6 . 3   最 为 用 户 喜 爱 的 手 机 品 牌
6 . 4   人 们 最 喜 欢 谈 论 的 互 联 网 公 司 ， 阿 里 之 所 以 这 么 低 估 计 是 大 家 都 喜 欢 叫 它 淘 宝 或 者 天 猫 吧 。 6 . 5   Q Q 空 间 中 讨 论 的 最 为 频 繁 的 社 交 平 台 排 行 榜 。 6 . 6   生 活 的 统 计 图
爱 > 恨 ；   开 心 > 伤 心 ;   笑 声 > 叹 气 声 ；   吃 货 很 多 谁 特 么 说 中 国 不 幸 福 了 ， 这 满 满 的 都 是 正 能 量 数 据 啊 。 好 了 ， 其 实 还 可 以 做 很 多 其 它 的 分 析 。 如 果 大 家 有 什 么 有 趣 的 数 据 分 析 想 知 道 的 ， 那 就 给 我 留 言 吧 。 技 术 不 多 说 了 ， 程 序 不 难 ， 多 线 程 数 据 库 操 作 却 是 把 我 搞 苦 了 。 还 好 ， 现 在 程 序 差 不 多 稳 定 了 。 过 程 也 是 很 有 意 思 的 ， 有 空 我 再 写 个 程 序 升 级 过 程 中 的 那 些 趣 事 吧 。 我 觉 得 一 个 美 妙 的 程 序 一 定 是 高 度 模 拟 现 实 的 ， 就 像 飞 机 模 仿 蜻 蜓 ， 雷 达 模 仿 蝙 蝠 一 样 。 这 次 的 程 序 设 计 就 是 模 拟 的 工 厂 的 生 产 线 。 * 投 稿 ： 妇 科 圣 手 ， 原 文 地 址 ： h t t p : / / w w w . c n b l o g s . c o m / m a r k t o y / p / 4 5 4 6 2 1 7 . h t m l 阅 读 原 文
回复

举报

高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

使用Markdown编辑器编辑 使用富文本编辑器编辑

Archiver| 手机版| 小黑屋|
Powered by Discuz! X3.4 Copyright © 2001-2020, Tencent Cloud. 商业源码建议获取授权，如侵犯您的权益，请联系客服处理