搜索

[24850] 2016-04-06_游戏运维编年史：可能是目前最详细游戏运维指南

文档创建者：s7ckTeam
浏览次数：29
最后更新：2025-01-18
2016-04-06_游戏运维编年史：可能是目前最详细游戏运维指南 游 戏 运 维 编 年 史 ： 可 能 是 目 前 最 详 细 游 戏 运 维 指 南 作 者 ： 小 孟 德   L i n u x 中 国   2 0 1 6 - 0 4 - 0 6 转 载 自 ：   h t t p : / / b l o g . t i n g y u n . c o m / w e b / a r t i c l e / d e t a i l / 3 4 4   作 者 ：   小 孟 德 从 端 游 到 页 游 再 到 手 游 ， 1 5 年 来 中 国 网 游 在 世 界 上 都 有 着 举 足 轻 重 的 地 位 。 但 是 再 好 的 游 戏 如 果 出 现 连 接 、 延 迟 等 问 题 时 也 会 造 成 巨 大 损 失 ， 这 时 游 戏 运 维 便 发 挥 了 举 足 轻 重 的 作 用 。 中 国 网 游 的 发 展 史 ， 其 实 也 是 游 戏 运 维 的 变 革 史 ， 今 天 便 由 经 典 武 侠 手 游 《 大 掌 门 》 运 维 掌 门 人 吴 启 超 来 向 我 们 讲 述 ， 进 入 游 戏 领 域 1 0 余 年 来 的 风 风 雨 雨 。 有 服 务 器 的 地 方 就 有 运 维 有 服 务 器 的 地 方 就 有 运 维 如 今 我 们 说 到 游 戏 ， 可 能 想 到 的 是 火 爆 异 常 的 V R ， 办 公 室 里 一 言 不 合 带 上 眼 镜 就 地 开 打 ； 亦 或 是 刚 刚 虐 了 李 世 石 的 A l p h a G o ， 扬 言 要 挑 战 《 星 际 争 霸 2 》 “ 教 主 ” F l a s h 。 然 而 ， 除 去 这 些 还 有 一 个 游 戏 行 业 不 可 避 免 的 潮 流 正 在 发 生 ， 那 便 是 网 游 化 。 前 不 久 育 碧 旗 下 大 作 《 全 境 封 锁 》 上 线 时 闹 出 个 小 笑 话 ： 由 于 很 多 国 内 玩 家 下 载 之 前 没 注 意 是 网 游 ， 下 意 识 的 以 为 育 碧 的 游 戏 肯 定 是 单 机 ， 好 不 容 易 下 完 之 后 才 发 现 玩 不 上 ， 进 而 发 生 了 不 少 的 骚 动 。 这 不 是 第 一 个 发 生 这 种 情 况 的 传 统 游 戏 厂 商 ， 肯 定 也 不 是 最 后 一 个 ， 很 多 有 名 的 游 戏 公 司 都 在 做 类 似 的 尝 试 ， P o p c a p 的 《 植 物 大 战 僵 尸 ： 花 园 战 争 》 系 列 ， 暴 雪 的 《 暗 黑 3 》 等 ， 甚 至 那 些 还 有 单 机 成 分 的 大 作 也 早 就 开 始 网 络 化 ： 大 名 鼎 鼎 的 《 G T A 5 》 、 F P S 风 向 标 《 使 命 召 唤 》 系 列 和 《 战 地 》 系 列 ， 网 络 联 机 部 分 的 比 重 也 在 一 年 一 年 的 增 加 。 网 络 联 机 ， 意 味 着 玩 家 需 要 登 录 官 方 服 务 器 ， “ 有 人 的 地 方 就 有 江 湖 ” ， 这 句 话 说 的 不 仅 是 网 游 里 的 恩 怨 情 仇 ， 还 包 括 游 戏 外 的 种 种 ： “ 有 服 务 器 的 地 方 就 有 运 维 。 ” 这 便 是 今 天 我 们 要 说 的 话 题 — — 游 戏 运 维 。 游 戏 运 维 编 年 史 游 戏 运 维 编 年 史
石 器 时 代 ： 端 游 石 器 时 代 ： 端 游 想 要 了 解 如 今 的 游 戏 运 维 ， 不 得 不 从 早 期 的 端 游 运 维 开 始 说 起 。 对 于 0 8 年 入 行 端 游 ， 1 1 年 经 历 过 页 游 最 后 1 4 年 全 面 接 触 手 游 的 吴 启 超 来 说 ， 这 几 年 的 游 戏 运 维 经 历 让 他 深 切 感 受 到 运 维 思 路 的 巨 大 转 变 。 1 . 端 游 的 运 维 工 种 端 游 的 运 维 工 种 各 个 工 种 分 工 各 有 侧 重 。 I D C 运 维 ： 装 机 、 换 配 件 、 扛 着 2 U 的 服 务 器 全 国 各 个 机 房 来 回 跑 。 系 统 运 维 ： 安 装 各 种 软 件 ， 调 试 各 种 不 兼 容 的 软 件 ， 在 各 种 版 本 的 L i n u x 、 W i n d o w s 上 。 网 络 运 维 ： 二 层 交 换 、 三 层 交 换 、 四 层 交 换 ， 还 要 区 分 华 为 、 思 科 。 业 务 运 维 ： 2 4 点 维 护 ， 零 晨 2 点 维 护 ， 零 晨 5 点 维 护 ， 早 上 7 点 维 护 … … 运 维 值 班 ： 0 点 盯 着 屏 幕 打 电 话 ， 1 点 盯 着 屏 幕 打 电 话 ， 2 点 盯 着 屏 幕 打 电 话 … … 运 维 开 发 ： 写 着 各 种 的 逻 辑 ， 因 为 业 务 、 网 络 环 境 、 B U G 、 刚 刚 帮 忙 扛 完 服 务 器 。 2 . 端 游 运 维 业 务 范 围 端 游 运 维 业 务 范 围 在 端 游 时 代 ， 大 部 分 游 戏 公 司 都 是 自 主 做 各 种 业 务 环 境 ， 做 各 种 游 戏 业 务 需 要 的 各 种 环 境 。 资 产 管 理 ： 服 务 器 、 交 换 机 、 各 种 服 务 分 布 位 置 ， 端 口 等 。 下 载 服 务 器 ： 搭 建 B T 集 群 ， 做 种 子 、 分 发 ， 供 玩 家 下 载 游 戏 客 户 端 使 用 。 静 态 缓 存 服 务 器 ： s q u i d   +   a p a c h e | n g i n x     邮 件 服 务 器 ： p o s t f i x   + s a s l   + s s l   收 发 服 务 、 反 垃 圾 邮 件 服 务 。 网 络 质 量 监 控 ： s o m k i n g p i n g 各 个 机 房 的 交 换 ， 各 个 安 放 点 服 务 器 。 配 置 管 理 ： n g i n x   、 a p a c h e 、 l i g h t t p d 、 M y S Q L 。 批 量 管 理 ： s s h 公 钥 / 私 钥   。 监 控 管 理 ： n a g i o s 、 c a t c a i   然 后 是 c | p e r l | p y t h o n | s h e l l   + r r d t o o l 各 种 业 务 监 控 图 。 3 . 端 游 游 戏 服 务 器 架 构 端 游 游 戏 服 务 器 架 构 一 般 来 讲 都 是 以 一 组 服 务 器 集 群 为 一 个 区 服 单 位 ， 单 机 上 的 进 程 提 供 不 同 的 服 务 。 听 云 B l o g 参 考 图 片 传 统 运 维 ， 任 务 道 远 ， 正 因 为 有 过 去 那 些 年 的 翻 译 文 档 ， 兼 顾 整 合 方 案 ， 以 及 大 批 分 享 技 术 的 前 辈 、 社 区 ， 踩 着 前 辈 一 步 一 个 坑 的 走 过 来 ， 才 能 有 今 天 的 运 维 的 局 面 。
青 铜 时 代 ： 页 游 青 铜 时 代 ： 页 游 在 2 0 1 1 - 2 0 1 3 年 左 右 的 页 游 运 维 ， 游 戏 市 场 处 于 探 索 期 ， 其 实 运 维 也 处 于 探 索 期 。 端 游 时 代 每 个 新 服 都 要 经 历 上 架 、 装 系 统 ， 装 服 务 的 过 程 ， 一 般 一 到 两 周 可 以 上 线 一 个 区 服 ， 对 于 端 游 高 粘 性 低 流 动 的 特 性 来 说 可 能 还 好 ， 但 是 当 页 游 出 现 时 ， 转 变 给 运 维 带 来 的 冲 击 无 法 估 量 。 页 游 时 代 1 天 开 1 0 0 多 个 新 服 的 概 念 ， 是 传 统 端 游 运 维 所 不 能 理 解 的 。 当 时 的 运 维 认 为 页 游 就 是 把 所 有 服 务 器 实 现 自 动 部 署 服 务 ， 同 时 搭 配 运 维 自 动 部 服 工 具 就 可 以 了 。 但 事 实 上 如 果 在 开 服 时 一 组 一 组 的 使 用 物 理 服 务 器 ， 开 服 速 度 根 本 跟 不 上 ， 资 源 浪 费 还 非 常 巨 大 ， 两 周 后 用 户 留 存 率 仅 剩 5 % - 7 % 。 成 本 巨 大 亏 空 ， 急 需 技 术 转 型 ， 这 个 时 间 点 上 出 现 了 两 种 概 念 影 响 了 以 后 的 手 游 以 及 云 的 发 展 。 1 . 虚 拟 化 技 术 虚 拟 化 技 术 在 2 0 1 0 年 1 1 月 份 左 右 ，   k v m 出 现 在 R H E L 6 中 ， 去 掉 了 R H E L   5 . X 系 列 中 集 成 的 X e n 。 正 是 这 一 次 虚 拟 化 技 术 的 转 型 ， 而 且 当 时 市 场 的 需 要 ， 在 2 0 1 1 年 - 2 0 1 2 年 掀 起 了 一 场 私 有 云 建 设 的 风 潮 。 在 实 践 过 程 中 ， 优 点 很 多 ， 但 暴 露 的 缺 点 也 不 少 。 在 端 游 占 主 要 市 场 的 情 况 下 ， 实 践 过 程 中 表 现 出 来 的 不 适 尤 其 明 显 。 虚 拟 机 时 钟 不 准 虚 拟 机 网 卡 ， 超 负 荷 d o w n 、 丢 包 多 虚 拟 机 间 争 抢 c p u 、 内 存 多 虚 拟 机 间 的 安 全 访 问 ， 虚 拟 机 与 物 理 机 间 的 安 全 管 控 对 于 关 系 型 数 据 库 磁 盘 读 写 慢 问 题 突 出 。 等 等 以 上 几 点 随 着 时 间 的 推 移 有 的 已 经 然 后 解 决 ， 有 的 换 上 了 代 替 方 案 。 时 至 今 日 ， 端 游 在 单 纯 的 虚 拟 云 上 部 署 仍 是 问 题 ， 但 是 随 着 物 理 、 虚 掩 混 合 云 出 现 ， 这 个 局 面 应 该 可 以 被 打 破 。 2 . 社 交 化 的 页 游 社 交 化 的 页 游 社 区 化 的 页 游 戏 ， 为 什 么 这 样 说 呢 ， 因 为 当 时 更 多 的 页 游 信 托 社 区 入 口 ， 导 入 用 户 流 量 ， 当 时 最 火 的 应 该 是 人 人 网 （ 校 内 网 ） 的 农 场 偷 菜 。 然 后 是 D Z 论 坛 一 堆 农 场 插 件 袭 卷 全 国 ， 当 然 这 一 切 都 是 为 了 增 加 用 户 粘 稠 度 。 但 是 也 影 响 了 页 游 技 术 的 选 型 ， 当 时 基 本 上 大 家 不 约 而 的 选 用 了 于 社 区 相 同 的 L A M P 的 技 术 ， 从 而 降 低 开 发 成 本 及 接 入 成 本 。 当 然 现 使 用 J A V A   S S H 2 架 构 的 页 游 也 有 。 除 技 术 选 型 外 ， 同 时 还 带 入 了 另 一 个 概 念 ： 联 运 。 联 运 这 个 概 念 在 页 游 时 代 对 于 端 游 运 维 就 像 一 个 恶 梦 ， 不 同 区 服 要 随 时 跨 服 站 ， 不 同 区 服 要 随 时 可 以 合 区 ， 所 有 数 据 不 再 是 以 物 理 服 务 器 为 单 位 ， 而 是 要 逐 条 打 标 签 ， 再 也 看 不 到 账 号 ， 只 能 拿 着 一 串 长 长 的 K E Y ， 四 处 兑 换 ， 然 后 拿 着 不 知 道 所 谓 的 表 标 问 第 三 方 … … . 在 这 个 时 期 ， 是 运 维 开 发 的 爆 发 年 ， 随 着 虚 拟 化 技 术 的 推 广 ， 越 来 的 越 多 的 运 维 开 始 接 触 自 动 化 运 维 的 概 念 ， 开 始 了 自 动 化 运 维 的 奋 斗 之 路 ， 开 始 了 以 项 目 管 理 的 角 度 看 待 运 维 脚 本 开 发 。 黄 金 时 代 ： 手 游 黄 金 时 代 ： 手 游 随 着 私 有 云 转 为 公 有 云 、 云 时 代 推 动 着 云 计 算 以 及 移 动 互 联 网 的 发 展 ， 网 游 行 业 慢 慢 进 入 了 手 游 黄 金 时 代 ， 云 时 代 的 变 革 不 仅 挑 战 了 整 个 游 戏 行 业 ， 也 挑 战 了 游 戏 运 维 。 手 游 的 运 维 工 种 ： 系 统 型 运 维 ， 业 务 型 运 维 。 手 游 运 维 业 务 范 围 ： 阿 里 云 、   亚 马 逊   、 U C l o u d 、   蓝 汛 C D N 、   听 云 监 控 。 手 游 游 戏 服 务 器 架 构 ： 一 般 来 讲 都 是 以 一 组 服 务 器 集 群 为 一 个 平 台 单 位 ， 不 同 的 集 群 提 供 不 同 的 服 务 。
听 云 B l o g 参 考 图 片 手 游 的 架 构 理 念 是 提 供 一 组 虚 拟 服 务 器 ， 当 短 连 接 的 时 候 ， 每 开 一 组 服 ， 将 玩 家 引 导 到 W e b 集 群 ， 随 后 被 分 配 到 不 同 的 M o n g o D B ， 数 据 缓 存 用 在 R e d i s 。 当 第 一 个 服 务 器 玩 家 请 求 D B 时 ， 会 落 到 M o n g o 1 上 ； 当 开 第 二 个 服 的 时 候 ， 还 是 将 玩 家 引 导 到 M o n g o 1 上 ； 以 此 类 推 直 到 运 维 发 现 压 力 累 积 到 一 定 程 度 时 ， 便 会 新 开 一 组 M o n g o D B ， W e b 集 群 也 是 如 此 但 只 有 性 能 不 够 时 才 会 添 加 ， 一 般 情 况 下 ， 每 5 0 个 新 服 可 能 需 要 添 加 1 个 M o n g o D B 。 这 便 实 现 并 解 释 了 当 时 在 页 游 里 希 望 实 现 的 快 速 开 服 方 法 。 到 此 为 止 我 们 已 经 回 顾 了 一 遍 游 戏 运 维 从 端 游 到 页 游 再 到 手 游 的 演 变 过 程 ， 不 难 看 出 ， 手 游 对 于 区 服 的 架 构 概 念 不 同 于 端 游 ： 端 游 认 为 一 个 物 理 集 群 是 一 个 服 ， 而 手 游 认 为 一 个 W e b 请 求 落 到 相 应 的 数 据 库 上 就 是 一 个 服 。 这 样 的 好 处 是 开 服 合 服 都 简 单 ， 如 果 前 五 十 组 服 务 器 需 要 合 并 ， 实 现 起 来 很 容 易 ， 因 为 同 一 个 D B 的 数 据 是 互 通 的 ， 所 以 只 需 发 一 个 公 告 ， 服 务 器 加 标 识 即 可 ， 不 需 要 进 行 物 理 操 作 也 不 需 要 数 据 迁 移 。 游 戏 运 维 最 强 指 南 游 戏 运 维 最 强 指 南 说 完 了 游 戏 运 维 的 历 史 ， 我 们 要 开 始 今 天 的 重 头 戏 ， 如 何 做 好 游 戏 运 维 ？ 这 里 就 用 吴 启 超 的 一 个 冷 笑 话 作 为 开 始 ： 运 维 为 什 么 存 在 ？ a ， 有 服 务 器 ； b ， 因 为 研 发 忙 不 过 来 。 不 管 是 笑 没 笑 ， 运 维 确 实 因 为 上 面 两 个 原 因 才 会 诞 生 的 。 那 么 回 到 正 题 ， 想 成 为 玩 转 上 千 服 务 器 的 游 戏 运 维 应 该 怎 么 样 做 呢 ？ 系 统 部 运 维 构 建 大 致 如 下 图 ：
听 云 B l o g 参 考 图 片 构 建 构 建 C M D B 2 1 世 纪 什 么 最 重 要 ？ 信 息 最 重 要 ！ 运 维 所 需 信 息 要 涉 及 ： 机 房 、 物 理 服 务 器 、 虚 拟 机 、 交 换 机 、 网 络 、 承 载 业 务 、 业 务 配 置 、 承 载 服 务 进 程 、 端 口 等 信 息 。 不 管 是 自 己 采 购 还 是 购 买 云 服 务 ， 物 理 服 务 器 和 虚 拟 服 务 器 都 做 为 资 产 存 在 ， 在 采 购 后 录 入 相 关 的 资 产 管 理 ， 给 它 打 上 标 签 ， 属 于 哪 个 游 戏 ， 哪 个 平 台 ， 这 样 不 同 游 戏 平 台 间 就 不 能 混 用 服 务 器 了 。 然 后 ， 是 再 给 不 同 的 服 务 器 标 识 它 承 担 的 业 务 角 色 ， 比 如 它 是 M o n g o D B ， 我 们 需 要 打 上 的 标 签 会 是 大 掌 门 - A P P S T O R E - M o n g o D B - 主 库 - 9 0 0 0 0 端 口 - 第 一 组 服 务 。 这 样 一 个 基 础 信 息 录 入 就 完 成 了 。 这 样 的 信 息 只 要 是 用 来 将 来 批 量 化 部 署 、 管 理 服 务 器 使 用 ， 以 及 当 出 现 故 障 时 ， 运 维 可 以 很 方 便 的 查 询 相 当 的 服 务 器 以 及 服 务 信 息 。 但 是 数 据 的 及 时 性 、 准 确 性 、 可 检 查 是 一 个 难 点 。 集 中 批 量 化 管 理 集 中 批 量 化 管 理 C M D B 不 是 T X T 文 件 ， 而 是 要 变 成 E X E 文 件 。 运 维 在 面 临 大 量 服 务 器 的 情 况 下 ， 批 量 化 工 具 的 出 现 成 为 必 须 的 结 果 ， 在 日 常 的 工 作 当 中 需 要 把 其 流 程 固 化 下 来 ， 为 完 成 批 量 化 安 装 、 管 理 打 下 基 础 。 大 掌 门 喜 欢 使 用   s s h   s s h p a s s   p a r a m i k o   l i b s s h 2 这 些 基 础 的 技 术 做 批 量 管 理 。 原 因 是 不 用 安 装 简 单 、 稳 定 、 安 全 、 可 控 。 当 然 吴 启 超 也 表 示 推 荐 大 家 使 用 在 市 面 上 流 程 行 p u p p e t 、 A n s i b l e 、 S a l t S t a c k 等 技 术 ， 为 什 么 ？ 简 单 、 简 单 、 简 单 ！ 下 图 就 是 在 做 自 动 化 半 自 动 化 运 维 过 程 中 的 模 型 。   听 云 B l o g 参 考 图 片 批 量 管 理 的 难 点 在 于 ： 命 令 的 并 发 执 行 ， 要 控 制 各 点 的 超 时 时 间 执 行 过 程 中 ， 不 同 功 能 的 不 同 权 限 要 求 数 据 通 信 安 全 的 保 证 ， 以 及 能 够 正 常 解 析 数 据 指 令 人 员 账 号 权 限 管 理 ， 权 限 分 发 及 回 收 物 理 服 务 器 、 云 服 务 器 统 一 化 安 装 及 老 项 目 改 造 网 络 质 量 不 可 靠 的 情 况 下 ， 执 行 不 完 整 的 情 况 下 业 务 功 能 回 滚 。 性 能 与 业 务 监 控 性 能 与 业 务 监 控 应 用 性 能 监 控 应 用 性 能 监 控 1 、 每 天 都 会 对 服 务 器 进 行 上 线 ， 升 级 等 操 作 ， 每 款 游 戏 在 一 个 平 台 的 集 群 数 在 几 十 个 到 几 百 个 不 等 （ 根 据 平 台 大 小 ） 。 因 此 每 天 维 护 和 升 级 服 务 器 压 力 极 大 ， 服 务 器 异 常 或 响 应 慢 等 问 题 的 发 生 会 给 用 户 体 验 带 来 伤 害 。   这 样 的 隐 患 在 于 一 旦 发 生 游 戏 关 服 之 后 就 必 须 对 玩 家 进 行 游 戏 中 货 币 和 元 宝 的 赔 偿 ， 平 均 每 个 玩 家 补 偿 的 元 宝 至 少 在 5 元 以 上 ， 游 戏 币 和 各 类 游 戏 道 具 若 干 ， 以 此 类 推 由 于 服 务 器 故 障 造 成 的 损 失 可
想 而 知 。 2 、 大 掌 门 使 用 了 听 云 S e r v e r ， 能 够 对 服 务 器 响 应 慢 和 不 可 用 进 行 定 位 ， 查 看 慢 应 用 追 踪 和 W e b 应 用 过 程 功 能 ， 能 够 实 时 定 位 消 耗 资 源 最 大 的 代 码 和 语 句 ， 这 样 就 能 帮 助 实 时 进 行 有 针 对 性 的 调 整 和 优 化 ， 并 且 可 以 快 速 定 位 问 题 时 间 ， 最 快 能 到 分 钟 级 别 。 听 云 B l o g 参 考 图 片 3 、 发 生 高 并 发 、 服 务 器 压 力 激 增 的 情 况 时 ， 平 时 运 行 正 常 的 服 务 器 异 常 概 率 大 幅 增 加 ， 日 常 可 能 的 性 能 瓶 颈 点 会 被 成 倍 放 大 ， 这 就 需 要 实 时 定 位 和 解 决 性 能 瓶 颈 点 ， 和 提 前 进 行 预 防 改 善 。 一 般 来 说 ， 传 统 日 志 收 集 方 式 耗 时 耗 力 ， 效 果 非 常 不 好 ， 大 掌 门 用 了 听 云 S e r v e r 后 ， 可 以 进 行 1 分 钟 级 定 位 能 迅 速 有 效 发 现 瓶 颈 点 。 同 时 还 结 合 了 听 云 N e t w o r k 的 压 测 功 能 ， 能 够 在 服 务 器 上 线 前 提 前 发 现 到 高 压 力 下 的 瓶 颈 点 ， 提 前 预 防 ， 避 免 由 于 高 并 发 出 现 的 服 务 器 瓶 颈 。   4 、 还 有 一 种 性 能 情 况 需 要 提 前 预 防 ， 游 戏 公 司 盈 利 在 于 玩 家 的 充 值 ， 对 于 官 网 上 从 登 陆 到 充 值 全 流 程 的 成 功 率 业 务 部 门 极 其 关 注 ， 玩 家 点 击 跳 转 的 失 败 会 直 接 导 致 充 值 付 费 用 户 的 转 化 率 。 对 此 ， 大 掌 门 通 过 听 云 N e t w o r k 的 事 务 流 程 功 能 能 够 实 时 对 事 物 流 程 进 行 警 报 ， 帮 助 业 务 部 门 提 升 用 户 充 值 的 转 化 率 。 业 务 监 控 业 务 监 控 除 了 性 能 和 硬 件 监 控 之 外 ， 对 于 游 戏 业 务 运 转 是 否 正 常 也 需 要 建 立 一 套 标 准 去 评 判 。 对 此 ， 大 掌 门 开 发 了 一 套 适 用 于 全 公 司 所 有 的 游 戏 的 统 一 登 陆 、 充 值 、 交 易 平 台 ， 解 决 了 前 端 的 S D K 接 入 的 问 题 ， 一 个 所 有 游 戏 或 第 三 方 的 A P I 接 口 统 一 接 入 的 平 台 。 在 做 业 务 型 监 控 时 ， 运 维 会 要 求 后 端 开 发 人 员 写 一 个 特 定 账 号 ， 在 访 问 现 有 系 统 时 ， 会 完 整 的 走 一 遍 业 务 流 ， 这 样 就 可 以 看 到 需 要 的 业 务 数 字 。 数 据 仓 库 搭 建 数 据 仓 库 搭 建
上 图 为 大 掌 门 数 据 仓 库 的 结 构 图 ， 由 于 数 据 仓 库 搭 建 的 话 题 比 较 大 ， 只 是 简 单 的 从 数 据 集 市 的 角 度 来 聊 聊 ， D M 指 的 是 数 据 集 市 。 由 于 数 据 集 市 需 要 面 对 不 同 的 人 群 ， 因 此 在 数 据 仓 库 中 需 要 建 立 不 同 的 数 据 集 市 以 面 对 各 方 的 查 询 需 求 ， 进 而 对 数 据 按 照 业 务 类 型 进 行 分 类 。 财 务 ： 关 心 月 度 充 值 数 据 商 务 ： 关 心 渠 道 结 算 数 据 运 营 ： 关 心 用 户 登 陆 量 、 转 化 率 、 留 存 率 、 平 台 充 值 额 产 品 ： 关 心 功 能 热 度 、 用 户 体 验 客 服 ： 关 心 所 有 数 据 及 玩 家 属 性 对 于 数 据 方 面 ， 运 维 的 压 力 来 自 于 需 要 贯 穿 及 掌 握 所 有 的 数 据 ， 并 且 为 所 有 部 门 服 务 。 简 单 的 以 下 图 的 E T L 为 例 ： 听 云 B l o g 参 考 图 片 数 据 对 于 运 维 的 痛 点 ：
日 志 切 割 工 作 谁 做 ？ 研 发 还 是 运 维 。 日 志 切 割 按 什 么 规 则 ？ 大 小 还 是 日 期 ？ 使 用 什 么 工 具 进 行 日 志 收 集 ？ s c r i b e   还 是 f l u m e   还 是   s l s ？ 数 据 的 准 确 性 谁 来 保 证 ？ 日 志 内 容 不 对 、 切 割 不 对 、 传 输 丢 失 、 入 h a d o o p 过 滤 数 据 E T L 过 程 监 控 ， 如 果 出 现 数 据 丢 失 怎 么 办 ？ 数 据 采 集 怎 么 样 尽 可 能 的 保 证 并 发 的 采 集 ， 缩 短 时 间 。 数 据 的 出 现 丢 失 或 错 误 ， 整 体 数 据 回 滚 。 谁 来 保 证 ？ 怎 么 保 证 ？ 大 量 数 据 下 ， 核 对 数 据 丢 失 情 况 怎 么 样 核 对 ？ 用 什 么 方 法 ？ 那 大 掌 门 又 是 如 何 解 决 这 些 问 题 的 呢 ： 1 、 将 数 据 日 志 进 行 切 割 （ 按 照 业 务 打 包 日 志 ） 并 合 理 命 名 。 比 如 A 登 陆 日 志 ， B 充 值 日 志 ， C 消 费 日 志 。 分 门 别 类 进 行 打 包 后 ， 对 数 据 每 5 分 钟 切 割 1 次 ， 并 生 成 m d 5 包 。 2 、 按 照 划 分 I D C   R e g i o n 。 原 来 从 本 机 向 外 传 输 数 据 会 占 用 大 量 带 宽 ， 对 于 本 身 C P U 的 消 耗 大 的 话 都 会 影 响 游 戏 的 运 行 。 现 在 按 照 I D C   r e g i o n 做 出 划 分 ， 每 个 区 域 中 会 有 1 - 3 个 中 心 存 储 服 务 器 。 将 切 割 下 来 的 数 据 放 到 中 心 存 储 上 ， 划 分 成 A i p 1 、 A i p 2 、 A i p 3 等 m d 5 压 缩 包 ， 此 处 无 需 做 合 并 （ 原 因 见 3 ） 。 3 、 建 立 下 载 任 务 。 建 立 好 任 务 列 表 后 ， 对 每 5 分 钟 的 压 缩 包 进 行 下 载 。 考 虑 到 如 果 上 面 的 步 骤 做 了 合 并 的 话 就 可 能 会 产 生 在 传 输 的 时 候 丢 数 据 却 无 法 确 定 的 情 况 ， 因 此 2 步 骤 无 需 对 数 据 进 行 合 并 。 4 、 将 下 载 后 的 任 务 加 到 H i v e 数 据 仓 库 里 。 将 当 天 的 数 据 放 到 M y S Q L 中 ， 之 前 的 数 据 放 到 H i v e 里 。 当 运 营 提 出 数 据 需 求 时 便 可 以 到 H i v e 中 下 载 数 据 。 即 使 数 据 出 现 错 误 ， 按 照 上 面 建 立 的 每 5 分 钟 的 任 务 列 表 也 可 以 重 新 以 规 定 时 间 点 将 数 据 压 缩 包 重 新 拉 回 来 。 并 且 该 流 程 可 以 按 照 正 向 、 反 向 双 向 进 行 。 采 用 5 分 钟 压 缩 包 的 另 外 一 个 原 因 在 于 每 台 服 务 器 每 天 产 生 业 务 日 志 大 概 有 5 - 6 G 的 数 据 ， 分 到 5 分 钟 后 ， 切 割 完 每 个 文 件 就 是 2 0 M － 3 0 M ， 压 缩 后 只 占 用 很 少 的 空 间 。 这 样 就 解 决 了 占 用 大 量 带 宽 的 问 题 。 5 、 数 据 传 输 后 需 将 数 据 放 到 数 据 仓 库 （ D W ） 中 ， 数 据 下 载 完 毕 后 会 根 据 文 件 进 行 存 储 ， 当 天 的 数 据 按 照 5 分 钟 1 个 压 缩 包 进 入 M y S Q L ， M y S Q L 则 进 入 当 天 的 查 询 。 在 数 据 仓 库 中 ， 数 据 包 按 游 戏 及 平 台 进 行 分 类 ， 这 种 格 局 的 安 排 为 了 在 并 发 时 更 好 的 运 行 。 由 于 游 戏 与 游 戏 之 间 是 隔 离 的 ， 因 此 按 照 这 种 模 式 是 为 了 保 证 数 据 进 行 顺 利 并 发 。 转 载 自 ：   h t t p : / / b l o g . t i n g y u n . c o m / w e b / a r t i c l e / d e t a i l / 3 4 4   作 者 ：   小 孟 德 推 荐 文 章 推 荐 文 章 I D 点 击 标 题 或 输 入 文 章   I D   直 达 该 文 章 3 5 运 维 如 一 场 充 满 技 巧 的 恋 爱 1 1 2 3 你 值 得 拥 有   — —   2 5   个   L i n u x   性 能 监 控 工 具 3 4 5 1 《 L i n u x   工 作 站 安 全 检 查 清 单 》 — 来 自   L i n u x   基 金 会 内 部
将 文 章 分 享 给 朋 友 是 对 我 们 最 好 的 赞 赏 ！
阅 读 原 文
回复

举报

高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

Archiver| 手机版| 小黑屋|
Powered by Discuz! X3.4 Copyright © 2001-2020, Tencent Cloud. 商业源码建议获取授权，如侵犯您的权益，请联系客服处理