搜索

[24458] 2015-11-12_鏖战双十一，电商技术力量揭秘

文档创建者：s7ckTeam
浏览次数：3
最后更新：2025-01-18
2015-11-12_鏖战双十一，电商技术力量揭秘 鏖 战 双 十 一 ， 电 商 技 术 力 量 揭 秘 牛 小 七   L i n u x 中 国   2 0 1 5 - 1 1 - 1 2 今 年 的 “ 双 十 一 ” 全 民 网 购 狂 欢 节 已 经 落 下 帷 幕 ， 从 各 电 商 企 业 发 布 出 来 的 数 据 来 看 ， 今 年 的 热 烈 程 度 再 次 毫 无 悬 念 狂 刷 以 往 的 记 录 。 而 在 这 一 切 的 背 后 ， 是 一 场 “ 真 枪 实 弹 ” 的 技 术 硬 仗 ， 更 是 一 场 能 令 技 术 人 “ 热 血 沸 腾 ” 的 技 术 狂 欢 。 本 文 中 ， 牛 小 七 将 总 结 国 内 各 大 知 名 电 商 的 技 术 架 构 实 践 ， 带 大 家 一 睹 它 们 如 何 鏖 战 “ 双 十 一 ” ？ 
 鏖 战 双 十 一 ， 电 商 技 术 力 量 揭 秘 当 当 ： 促 销 系 统 和 交 易 系 统 双 系 统 重 构 当 当 ： 促 销 系 统 和 交 易 系 统 双 系 统 重 构 重 构 促 销 系 统 重 构 促 销 系 统 ： 当 当 原 促 销 系 统 模 型 较 陈 旧 、 扩 展 性 差 、 不 成 熟 并 且 与 其 它 系 统 耦 合 严 重 ， 因 此 ， 此 次 的 核 心 改 进 点 在 于 促 销 系 统 的 扩 展 性 、 灵 活 性 ， 系 统 解 耦 和 更 强 大 的 数 据 处 理 能 力 。 在 确 定 基 本 促 销 模 型 并 抽 象 后 ， 重 点 在 于 实 施 解 耦 ， 当 当 将 直 读 D B 和 存 储 冗 余 促 销 数 据 的 系 统 修 改 为 调 用 服 务 及 监 听 M Q ； 在 逻 辑 回 收 方 面 ， 将 促 销 校 验 与 促 销 计 算 提 取 为 交 易 服 务 ， 回 收 原 先 由 购 物 车 、 交 易 系 统 自 行 处 理 的 促 销 逻 辑 。 此 外 ， 还 做 了 提 取 促 销 工 具 属 性 及 完 善 促 销 系 统 查 询 服 务 的 工 作 。 在 应 用 架 构 实 现 上 ， 从 前 端 页 面 到 后 端 逻 辑 ， 尽 量 避 免 有 逻 辑 与 促 销 类 型 直 接 绑 定 ， 全 部 以 插 件 化 方 式 与 促 销 模 型 对 接 ， 完 全 根 据 促 销 类 型 的 配 置 进 行 组 装 。 鉴 于 促 销 的 时 效 性 和 实 时 性 要 求 ， 当 当 在 数 据 库 前 加 R e d i s 缓 存 ， 以 提 高 响 应 速 度 ， 同 时 监 听 M Q ， 根 据 事 件 清 理 相 应 的 缓 存 数 据 。 重 构 交 易 系 统 重 构 交 易 系 统 ： 当 当 交 易 系 统 的 重 构 使 用 了 业 界 较 成 熟 的 系 统 方 案 ， 重 构 过 程 主 经 包 括 易 于 管 理 的 集 中 化 配 置 、 将 大 流 程 计 算 结 果 进 行 缓 存 提 高 页 面 刷 新 速 度 、 小 版 本 结 算 与 统 一 结 算 合 并 、 巧 借 N g i n x 的 r e l o a d 配 置 进 行 灰 度 发 布 等 。 由 于 交 易 系 统 的 计 算 都 和 金 钱 有 关 ， 当 当 还 提 出 线 上 并 行 比 对 方 案 ， 根 据 老 交 易 系 统 比 对 新 交 易 ， 保 证 其 逻 辑 正 确 。 此 外 ， 还 开 发 了 分 流 功 能 ， 按 照 用 户 i d 分 流 前 ， 先 使 用 测 试 白 名 单 中 的 用 户 进 行 预 验 证 ， 预 验 证 通 过 后 ， 再 按 比 例 由 低 至 高 逐 步 切 换 。 值 得 一 提 的 是 ， 基 于 灰 度 发 布 技 术 ， 新 交 易 系 统 的 W e b 服 务 器 很 容 易 做 到 按 需 伸 缩 。 苏 宁 ： 主 抓 四 大 方 向 苏 宁 ： 主 抓 四 大 方 向 系 统 拆 分 系 统 拆 分 ： 技 术 上 分 析 主 流 程 、 分 离 主 干 系 统 和 枝 叶 系 统 、 根 据 业 务 内 聚 性 独 立 出 主 干 系 统 ， 做 到 分 别 部 署 。 并 根 据 业 务 功 能 拆 分 出 会 员 、 商 品 、 库 存 、 价 格 、 购 物 车 、 交 易 、 订 单 和 内 容 管 理 几 大 系 统 ， 组 建 对 应 的 研 发 中 心 来 维 护 ； 根 据 交 易 环 节 的 系 统 压 力 ， 独 立 出 抢 购 和 秒 杀 系 统 ， 拆 分 出 购 物 券 、 云 钻 等 营 销 类 的 系 统 ， 并 组 建 营 销 中 心 。 基 础 平 台 基 础 平 台 ： 基 础 平 台 主 要 抓 基 础 架 构 、 通 用 系 统 、 中 间 件 及 包 括 运 维 监 控 、 持 续 集 成 、 大 数 据 分 析 、 风 控 系 统 在 内 的 平 台 。 主 要 工 作 包 括
系 统 之 间 的 通 讯 、 统 一 验 证 和 内 部 管 理 系 统 的 统 一 权 限 、 S e s s i o n 共 享 、 分 布 式 调 用 链 、 R e d i s 分 片 存 储 、 数 据 库 的 分 库 分 表 中 间 件 、 统 一 配 置 管 理 和 流 控 等 。 
 研 发 流 程 研 发 流 程 ： 除 通 过 代 码 走 查 、 s o n a r 平 台 、 各 种 测 试 等 手 段 ， 中 心 也 采 用 代 码 飞 检 来 确 保 代 码 质 量 。 代 码 飞 检 即 定 期 快 速 评 审 系 统 核 心 代 码 ， 主 要 由 各 个 系 统 负 责 人 、 架 构 师 以 及 总 监 负 责 。 流 程 发 布 检 查 单 为 系 统 的 最 后 一 关 ， 需 经 过 产 品 负 责 人 、 开 发 负 责 人 、 Q A 、 测 试 负 责 人 、 D B A 、 运 维 人 员 、 以 及 线 上 验 证 人 员 对 各 个 环 节 进 行 确 认 ， 确 保 系 统 上 线 过 程 少 出 问 题 或 出 问 题 能 及 时 下 架 。 系 统 保 障 系 统 保 障 ： 主 要 重 视 提 高 系 统 负 载 能 力 和 应 急 预 案 两 方 面 。 在 提 高 系 统 负 载 能 力 方 面 ， 根 据 历 史 数 据 对 双 1 1 流 量 进 行 预 估 ， 细 化 到 每 个 系 统 的 P V 、 U V 、 峰 值 T P S ， 并 对 目 前 系 统 压 力 、 容 量 和 相 关 指 标 进 行 统 计 。 此 外 ， 对 系 统 进 行 了 自 上 而 下 的 体 检 ， 针 对 发 现 问 题 制 定 相 关 方 案 。 具 体 体 现 在 对 系 统 架 构 梳 理 、 关 键 代 码 优 化 以 及 中 间 件 调 优 。 在 应 急 预 案 方 面 ， 主 要 涉 及 拒 绝 黑 名 单 、 限 流 及 降 级 策 略 。 限 流 通 过 防 火 墙 流 控 、 中 间 件 流 控 功 能 和 组 件 实 现 。 蘑 菇 街 ： 五 个 关 注 焦 点 蘑 菇 街 ： 五 个 关 注 焦 点 稳 定 性 稳 定 性 ： 对 已 遇 到 过 的 问 题 ， 及 时 采 用 各 种 方 式 解 决 或 规 避 。 多 维 度 的 阈 值 监 控 多 维 度 的 阈 值 监 控 ： 实 时 p i d 数 量 监 控 、 调 整 容 器 内 存 计 算 算 法 更 精 确 监 控 内 存 、 修 改 c o n t a i n e r 里 的 r s y s l o g 配 置 ， 只 让 宿 主 机 去 读 k e r n e l 以 解 决 日 志 乱 序 。 在 压 力 大 的 情 况 下 ， 为 个 别 容 器 进 行 动 态 的 C P U 、 内 存 等 扩 容 或 缩 容 ， 调 整 甚 至 放 开 磁 盘 i o p s 限 速 和 网 络 的 T C 限 速 。 此 外 ， 定 期 扫 描 线 上 潜 在 风 险 。 灾 备 和 紧 急 故 障 处 理 灾 备 和 紧 急 故 障 处 理 ： 如 在 不 启 动 D o c k e r D a e m o n 情 况 下 ， 离 线 恢 复 D o c k e r 中 数 据 的 方 法 。 方 法 是 ： 用 d m s e t u p   c r e a t e 命 令 创 建 一 个 临 时 的 d m 设 备 ， 映 射 到 D o c k e r 实 例 所 用 的 d m 设 备 号 ， 通 过 m o u n t 临 时 设 备 ， 恢 复 原 有 数 据 。 支 持 D o c k e r 容 器 冷 迁 移 。 通 过 管 理 平 台 界 面 一 键 实 现 跨 物 理 机 迁 移 。 与 已 有 运 维 系 统 的 对 接 与 已 有 运 维 系 统 的 对 接 ： D o c k e r 集 群 须 能 与 现 有 运 维 系 统 无 缝 对 接 ， 才 能 快 速 响 应 ， 做 到 秒 级 的 弹 性 扩 容 ／ 缩 容 。 因 而 以 统 一 的 容 器 管 理 平 台 ， 实 现 对 多 个 D o c k e r 集 群 的 管 理 ， 从 下 发 指 令 到 完 成 容 器 的 创 建 可 以 在 7 秒 内 完 成 。 性 能 优 化 性 能 优 化 ： 针 对 磁 盘 I O 的 性 能 瓶 颈 ， 调 优 部 分 内 核 参 数 。 引 入 F a c e b o o k 的 开 源 软 件 f l a s h c a c h e ， 将 S S D 作 为 c a c h e ， 提 高 d o c k e r 容 器 的 I O 性 能 。 通 过 合 并 镜 像 层 次 优 化 d o c k e r   p u l l 镜 像 的 时 间 。 在 d o c k e r   p u l l 时 ， 每 一 层 校 验 的 耗 时 很 长 ， 通 过 减 小 层 数 ， 不 仅 大 小 变 小 ， d o c k e r   p u l l 时 间 也 大 幅 缩 短 。 唯 品 会 ： 六 个 设 计 要 点 唯 品 会 ： 六 个 设 计 要 点 系 统 模 块 有 效 切 分 系 统 模 块 有 效 切 分 ： 原 业 务 系 统 在 实 际 运 作 中 业 务 耦 合 严 重 、 模 块 划 分 不 合 理 ， 导 致 模 块 之 间 边 界 不 清 楚 。 唯 品 会 从 整 个 系 统 角 度 出 发 ， 梳 理 整 个 流 程 ， 重 新 做 系 统 定 位 ， 将 不 同 业 务 子 系 统 做 物 理 分 离 ， 减 少 彼 此 依 赖 ， 使 各 个 子 系 统 独 立 部 署 ， 出 现 问 题 后 能 快 速 采 取 措 施 ， 隔 离 出 问 题 模 块 ， 将 故 障 影 响 降 到 最 低 。 服 务 化 解 耦 ， 集 中 服 务 治 理 服 务 化 解 耦 ， 集 中 服 务 治 理 ： 基 于 S p r i n g 的 J a v a 开 发 框 架 独 立 自 主 开 发 V e n u s 系 统 ， 涵 盖 数 据 库 访 问 层 封 装 、 缓 存 接 口 封 装 、 C R U D 服 务 代 码 自 动 生 成 、 O S P / R E S T 服 务 调 用 接 口 封 装 及 异 步 支 持 等 方 面 ， 降 低 开 发 复 杂 度 , 、 提 高 开 发 效 率 、 提 升 代 码 质 量 , 、 规 范 开 发 流 程 。 增 加 异 步 访 问 增 加 异 步 访 问 ： 对 于 系 统 间 实 时 性 要 求 不 高 、 执 行 耗 时 的 操 作 ， 可 通 过 异 步 处 理 提 高 调 用 者 性 能 、 响 应 能 力 。 通 过 异 步 调 用 通 知 非 主 要 流 程 ， 加 快 系 统 主 要 业 务 流 程 的 反 应 速 度 和 性 能 ， 异 步 处 理 机 制 可 起 到 缓 冲 的 作 用 ， 被 通 知 的 下 游 系 统 可 依 据 自 身 能 力 控 制 处 理 数 据 量 ， 避 免 遭 受 超 负 荷 的 冲 击 ， 保 证 系 统 稳 定 运 行 ， 增 加 系 统 可 用 性 。 分 布 式 异 步 消 息 队 列 服 务 器 可 在 宕 机 后 确 保 消 息 不 丢 失 ， 异 步 系 统 有 重 试 机 制 ， 从 而 提 高 系 统 可 用 性 、 健 壮 性 和 扩 展 性 。
多 阶 段 缓 存 ， 降 低 后 端 压 力 多 阶 段 缓 存 ， 降 低 后 端 压 力 ： 做 动 静 分 离 降 低 后 端 压 力 。 引 入 分 布 式 缓 存 ， 对 缓 存 数 据 服 务 节 点 做 统 一 集 中 管 理 ， 支 持 缓 存 集 群 弹 性 扩 展 ， 通 过 动 态 增 加 或 减 少 节 点 应 对 变 化 数 据 访 问 负 载 ； 冗 余 机 制 实 现 高 可 用 性 ， 无 单 点 失 效 ， 不 会 因 服 务 器 故 障 而 导 致 缓 存 服 务 中 断 或 数 据 丢 失 。 应 用 端 使 用 统 一 的 A P I 接 口 访 问 缓 存 服 务 器 。 此 外 ， 唯 品 会 还 巧 用 应 用 服 务 器 本 地 缓 存 ， 将 基 本 不 修 改 的 配 置 数 据 、 全 局 数 据 缓 存 在 应 用 服 务 器 本 地 ， 减 少 对 后 端 缓 存 服 务 器 实 例 的 峰 值 冲 击 。 优 化 数 据 库 访 问 优 化 数 据 库 访 问 ： 优 化 复 杂 查 询 和 关 键 模 块 的 数 据 库 慢 查 询 。 保 证 在 实 现 功 能 的 基 础 上 ， 减 少 对 数 据 库 的 访 问 次 数 ； 通 过 查 询 参 数 ， 减 少 对 表 的 访 问 行 数 ， 最 小 化 结 果 集 ， 减 轻 网 络 负 担 。 采 用 读 写 分 离 技 术 ， 通 过 一 主 多 从 ， 写 操 作 只 发 生 在 主 表 ， 多 操 作 发 生 在 从 表 上 以 缓 解 对 主 数 据 库 的 访 问 压 力 。 并 借 助 于 分 布 式 缓 存 ， 提 供 远 大 于 数 据 库 访 问 的 性 能 。 在 设 计 时 ， 需 要 防 止 缓 存 失 效 带 来 的 缓 存 穿 透 压 力 ， 容 许 一 定 程 度 的 数 据 冗 余 。 对 于 关 键 模 块 ， 为 防 止 因 依 赖 而 影 响 当 前 模 块 的 性 能 和 可 靠 性 ， 可 适 度 保 存 其 它 模 块 的 关 键 数 据 ， 减 少 由 于 访 问 其 它 模 块 服 务 带 来 的 系 统 损 耗 和 可 靠 性 压 力 。 使 用 N o S Q L 数 据 库 对 海 量 大 数 据 进 行 存 储 和 处 理 。 
 加 强 系 统 监 控 加 强 系 统 监 控 ： 在 系 统 和 网 络 层 面 的 监 控 ， 主 要 监 控 服 务 器 指 标 （ 如 C P U 、 内 存 、 磁 盘 、 流 量 、 T C P 连 接 数 等 ） 和 数 据 库 指 标 （ 如 Q P S 、 主 从 复 制 延 时 、 进 程 、 慢 查 询 等 ） 。 业 务 层 面 监 控 主 要 通 过 在 指 定 页 面 做 埋 点 ， 和 从 业 务 系 统 的 数 据 库 两 种 方 法 ， 将 需 要 监 控 的 数 据 抽 取 出 分 析 处 理 ， 存 入 自 己 维 护 的 数 据 库 中 ， 然 后 通 过 浏 览 器 页 面 、 展 示 监 控 数 据 ， 页 面 同 时 提 供 各 种 时 间 维 度 上 的 筛 选 、 汇 总 。 此 外 ， 独 立 研 发 应 用 性 能 监 控 平 台 M e r c u r y ， 通 过 在 应 用 程 序 中 植 入 探 针 逻 辑 实 现 对 应 用 代 码 、 关 系 数 据 库 、 缓 存 系 统 的 实 时 监 控 。 M e r c u r y 通 过 收 集 日 志 、 上 报 日 志 的 方 式 即 时 获 取 相 关 性 能 指 标 并 进 行 智 能 分 析 ， 及 时 发 现 分 布 式 应 用 系 统 的 性 能 问 题 以 及 异 常 和 错 误 ， 为 系 统 解 决 性 能 和 程 序 问 题 提 供 方 便 可 靠 的 依 据 。 巧 用 云 服 务 ， 挖 金 巧 用 云 服 务 ， 挖 金 “ 双 十 一 双 十 一 ” 对 于 电 商 平 台 来 讲 ， 如 果 W e b 服 务 、 业 务 数 据 库 及 静 态 资 源 部 署 在 同 一 台 服 务 器 上 ， 会 相 互 影 响 执 行 效 率 ； 此 外 ， 还 会 有 单 点 故 障 的 问 题 ， 面 对 以 上 问 题 ， 最 直 接 的 方 案 则 是 做 动 静 分 离 。 而 电 商 平 台 多 重 图 片 应 用 ， 需 要 消 耗 大 量 的 带 宽 资 源 ， 同 时 图 片 的 存 储 和 处 理 会 产 生 大 量 的 成 本 。 因 此 ， 使 用 第 三 方 的 存 储 服 务 将 使 得 电 商 企 业 可 以 从 容 应 对 业 务 增 长 ， 特 别 是 在 “ 双 十 一 ” 这 种 关 键 的 场 景 下 更 显 得 尤 为 重 要 。 在 电 商 的 业 务 场 景 中 ， 七 牛 的 技 术 方 案 将 主 要 帮 助 他 们 解 决 如 下 难 题 。 K O D O 对 象 存 储 对 象 存 储 ： 电 商 平 台 有 着 诸 如 图 片 及 部 分 社 区 电 商 平 台 的 视 频 存 储 的 需 求 。 静 态 资 源 从 业 务 服 务 器 上 剥 离 出 来 存 储 在 七 牛 ， 加 载 时 性 能 会 提 高 。 对 于 此 ， 七 牛 把 存 储 系 统 （ 甚 至 是 主 机 系 统 和 未 来 大 的 计 算 系 统 ） 进 行 孵 化 和 提 取 出 来 ， 存 储 系 统 的 扩 容 可 达 1 0 0 P B 级 。 融 合 融 合 C D N 加 速 加 速 ： 在 类 似 “ 双 十 一 ” 这 样 的 大 促 活 动 中 ， 宝 贝 刷 不 出 来 会 严 重 影 响 电 商 平 台 用 户 的 体 验 ， 而 将 电 商 平 台 的 宝 贝 图 片 通 过 C D N 缓 存 到 靠 近 用 户 的 节 点 ， 能 提 高 C D N 效 率 。 同 时 ， 由 于 七 牛 云 服 务 的 弹 性 扩 容 ， 也 避 免 了 电 商 因 大 促 自 建 存 储 而 耗 费 各 种 资 源 等 情 况 ， 让 电 商 平 台 能 自 如 应 对 突 发 业 务 的 流 量 。 此 外 ， 七 牛 特 有 的 融 合 C D N 加 速 平 台 ， 是 引 入 主 流 C D N 厂 商 优 质 节 点 与 七 牛 自 有 高 质 量 节 点 相 结 合 而 形 成 的 ， 全 面 覆 盖 各 运 营 商 ， 真 正 做 到 了 无 盲 区 ， 特 别 关 注 小 运 营 商 区 域 ， 确 保 各 区 域 的 网 购 用 户 都 能 享 受 到 最 优 的 服 务 体 验 。 七 牛 融 合 C D N 加 速 成 功 实 现 了 节 点 级 互 备 ， 确 保 服 务 高 可 用 高 性 能 及 持 续 可 用 。 D O R A 数 据 处 理 数 据 处 理 ： 电 商 平 台 上 图 片 的 各 种 转 码 需 求 非 常 大 。 由 于 移 动 设 备 种 类 繁 多 、 屏 幕 分 辨 率 不 一 致 ， 就 需 要 非 常 多 的 规 格 。 如 果 图 片 一 有 改 动 ， 就 需 要 让 后 台 运 维 遍 历 所 有 图 片 重 新 转 化 。 这 样 不 仅 加 大 了 运 维 人 员 的 工 作 量 ， 还 需 要 大 量 的 存 储 空 间 。 七 牛 图 片 实 时 转 码 功 能 ， 可 帮 助 电 商 用 户 实 时 扩 展 新 的 图 片 规 格 ， 并 且 将 转 码 生 成 的 新 规 格 图 片 放 在 七 牛 提 供 的 缓 存 层 供 A p p 调 用 ， 不 用 占 用 存 储 空 间 。 这 种 服 务 器 端 只 需 存 储 一 份 原 图 ， 其 他 规 格 实 时 生 成 且 不 占 用 存 储 空 间 的 机 制 ， 自 然 能 帮 助 其 节 省 大 量 的 存 储 成 本 ， 同 时 用 户 体 验 也 能 得 到 很 好 的 提 升 。 此 外 ， 存 储 于 七 牛 的 所 有 J P E G 格 式 的 图 片 均 可 实 时 转 码 成 W e b P 格 式 ， 还 可 进 一 步 提 升 用 户 访 问 图 片 的 流 畅 度 ， 同 时 帮 用 户 节 省 流 量 。 目 前 ， 七 牛 已 为 包 括 有 赞 、 帮 5 买 、 有 货 （ Y O H O ） 、 美 柚 、 穿 衣 助 手 、 明 星 衣 橱 、 蘑 菇 街 、 1 6 2 6 奥 特 莱 斯 等 在 内 的 电 商 客 户 提 供 安 全 存
储 、 双 向 加 速 及 图 片 处 理 服 务 。 七 牛 融 合 C D N 已 于 “ 双 十 一 ” 前 全 面 降 价 ， 降 幅 达 4 2 % 温 馨 提 醒 温 馨 提 醒 ： 这 是 一 个 最 好 的 时 代 ， 七 牛 融 合 ： 这 是 一 个 最 好 的 时 代 ， 七 牛 融 合 C D N 已 于 已 于 “ 双 十 一 双 十 一 ” 前 全 面 降 价 ， 降 幅 达 前 全 面 降 价 ， 降 幅 达 4 2 % ， 可 点 击 ， 可 点 击 “ 阅 读 全 文 阅 读 全 文 ” 了 解 更 多 信 息 。 了 解 更 多 信 息 。 声 明 ： 本 文 部 分 内 容 根 据 微 信 公 众 账 号 I n f o Q 的 《 盘 点 电 商 大 战 背 后 的 技 术 力 量 支 撑 》 一 文 整 理 而 成 。 阅 读 原 文
回复

举报

高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

使用Markdown编辑器编辑 使用富文本编辑器编辑

Archiver| 手机版| 小黑屋|
Powered by Discuz! X3.4 Copyright © 2001-2020, Tencent Cloud. 商业源码建议获取授权，如侵犯您的权益，请联系客服处理