搜索

[27432] 2019-11-04_用开源软件轻松打造企业级DevOps工作流【一】

文档创建者：s7ckTeam
浏览次数：29
最后更新：2025-01-19
2019-11-04_用开源软件轻松打造企业级DevOps工作流【一】 用 开 源 软 件 轻 松 打 造 企 业 级 D e v O p s 工 作 流 【 一 】 原 创   N i g h t T e a m 团 队   N i g h t T e a m   2 0 1 9 - 1 1 - 0 4 " N i g h t T e a m " 一 个 值 得 加 星 标 的 公 众 号 。 文 章 作 者 ： 「 夜 幕 团 队   N i g h t T e a m 」   -   张 冶 青 润 色 、 校 对 ： 「 夜 幕 团 队   N i g h t T e a m 」   -   L o c o 前 言 前 言 大 家 作 为 程 序 员 或 开 发 运 维 人 员 ， 可 能 很 少 有 没 在 开 发 、 部 署 、 交 付 过 程 中 遇 到 过 问 题 的 。 特 别 是 在 企 业 环 境 、 多 人 协 同 工 作 、 模 块 纷 繁 复 杂 的 情 况 下 ， 用 简 单 粗 暴 的 方 式 （ 例 如 手 动 上 传 代 码 ， 或 是 线 上 更 改 代 码 ） 进 行 处 理 往 往 会 造 成 很 严 重 的 问 题 。 因 此 对 于 企 业 级 环 境 中 开 发 部 署 来 说 ， 有 一 套 严 格 完 备 的 工 作 流 机 制 会 减 少 很 多 失 误 和 因 此 而 导 致 的 延 期 ， 增 加 交 付 应 用 的 健 壮 性 ， 从 而 提 升 交 付 效 率 。 现 在 有 个 很 流 行 的 名 词 叫   D e v O p s ， 意 为 开 发 （ D e v e l o p m e n t ） 与 运 维 （ O p e r a t i o n s ） 的 组 合 简 写 ， 从 字 面 上 的 意 思 解 释 ， 就 是 让 开 发 团 队 （ D e v ） 和 运 维 团 队 （ O p s ） 相 互 沟 通 、 融 合 、 协 作 ， 旨 在 促 进 开 发 和 技 术 运 营 与 质 量 保 障 之 间 的 整 合 。 甚 至 有 些 职 位 就 设 置 为   D e v O p s   工 程 师 ， 要 求 工 程 师 既 做 开 发 ， 又 做 运 维 ， 这 对 人 本 身 、 技 术 以 及 流 程 要 求 都 较 高 。 本 文 将 简 单 介 绍   D e v O p s ， 以 及   D e v O p s   工 作 流 程 包 含 的 一 些 基 础 架 构 元 素 。 而 本 系 列 文 章 将 从 应 用 开 源 框 架 的 角 度 ， 介 绍 如 何 使 用 开 源 软 件 构 建 一 个 健 壮 、 实 用 的 企 业 级   D e v O p s   工 作 流 。 本 系 列 文 章 主 要 集 中 在   D e v O p s   三 大 要 素 （ 下 面 我 们 会 简 单 介 绍 ） 中 的 技 术 这 一 块 讲 解 。 本 文 或 本 系 列 文 章 适 合 对 软 件 开 发 及 运 维 有 一 定 基 础 ， 并 想 要 实 践   D e v O p s   工 作 流 到 工 作 中 的 技 术 人 员 。 D e v O p s 概 述 概 述
D e v O p s   的 概 念 由 一 个 名 叫   P a t r i c k   D e b o i s   的   I T   咨 询 师 发 明 的 。 他 在 负 责 测 试 工 作 的 时 候 发 现 ， 他 既 需 要 跟 随 开 发 团 队 的 敏 捷 节 奏 ， 又 需 要 以 传 统 方 式 维 护 这 些 系 统 ， 而 这 两 种 工 作 环 境 差 异 巨 大 ， 他 需 要 一 个 更 优 雅 的 方 式 解 决 这 种 琐 事 。 2 0 0 9 年 时 ， 他 看 到   V e l o c i t y   大 会 上 的 一 篇 轰 动 世 界 的 演 讲 ， 这 篇 演 讲 提 出 了 以 业 务 敏 捷 为 中 心 、 构 造 适 应 快 速 发 布 软 件 的 工 具 （ T o o l s ） 和 文 化 （ C u l t u r e ） 。 于 是 ， P a t r i c k   由 此 萌 发 了 举 办 " 社 区 版 "   V e l o c i t y   大 会 的 想 法 ， 取 名 为 D e v O p s D a y s ， 并 号 召 了 全 球 各 地 的 人 来 参 加 。 D e v O p s   这 个 概 念 就 此 诞 生 。 人 们 对   D e v O p s   这 个 概 念 的 认 识 不 尽 相 同 ： • 有 认 为   D e v O p s   是 一 种 技 术 或 平 台 的 ， 不 过 这 种 认 识 过 于 片 面 ， 忽 视 了 人 和 流 程 的 作 用 ； • 还 有 认 为   D e v O p s   是 一 种 流 程 的 ， 这 种 认 识 虽 然 比 较 合 理 ， 但 也 相 对 片 面 ； 而 目 前 大 家 普 遍 认 可 的 ， 则 是 「 D e v O p s   是 是   D e v   和 和   O p s   的 组 合 的 一 种 职 位 的 组 合 的 一 种 职 位 」 ， 这 个 定 义 就 很 完 善 了 。 下 图 是   D e v O p s   的 三 大 元 素 ， 可 以 看 到   D e v O p s   是 平 台 （ 技 术 ） 、 流 程 、 人 的 融 合 出 来 的 结 果 ， 少 了 一 样 都 会 很 片 面 。 本 文 或 本 系 列 文 章 主 要 关 注 的 是 平 台 或 技 术 这 一 块 ， 内 容 是 讲 解 如 何 用 开 源 软 件 打 造 企 业 级   D e v O p s   工 作 流 。 但 要 注 意 的 是 ， D e v O p s   只 考 虑 技 术 是 不 够 的 ， 还 需 要 考 虑 流 程 和 人 的 因 素 。 如 果 一 个 技 术 人 员 只 知 道 如 何 配 置   J e n k i n s
自 动 发 布 应 用 ， 而 不 知 道 将 该 流 程 推 广 到 整 个 公 司 ， 不 能 形 成 一 个 文 化 的 话 ， 这 样 的   D e v O p s   是 失 败 的 。 D e v O p s   要 求 有 合 适 的 工 具 ， 更 需 要 全 公 司 参 与 ， 打 造 成 一 个 工 作 流 程 和 文 化 。 下 图 是   D e v O p s   涉 及 到 的 技 术 。 可 以 看 到 ， D e v O p s   涉 及 的 技 术 相 当 繁 多 ， 包 括 玲 琅 满 目 的 技 术 类 别 。 我 们 不 需 要 掌 握 所 有 的 技 术 ， 在 面 对 不 同 的 场 景 时 ， 我 们 只 需 要 用 合 适 的 工 具 就 足 够 了 。 本 系 列 文 章 将 讲 解 一 些 基 础 功 能 ， 包 括 版 本 控 制 （ V C S ） 、 持 续 集 成 （ C I ） 、 容 器 化 （ C o n t a i n e r ） 、 编 排 （ O r c h e s t r a t i o n ） 以 及 网 络 （ N e t w o r k i n g ） ， 并 讲 解 如 何 用 开 源 软 件 实 现 上 述 功 能 。 版 本 控 制 （ 版 本 控 制 （ V C S ） ）
版 本 控 制 系 统 （ V e r s i o n   C o n t r o l   S y s t e m ） 是   D e v O p s   中 的 重 要 环 节 。 它 可 以 被 看 作 是 代 码 的 数 据 库 ， 谁 修 改 了 什 么 、 谁 删 除 了 什 么 ， 都 可 以 通 过 这 个 系 统 来 进 行 管 理 。 在 中 大 型 项 目 中 ， 不 用 版 本 控 制 系 统 很 可 能 会 导 致 严 重 的 问 题 。 下 面 是 一 个 典 型 的 场 景 ： 1 . 线 上 服 务 被 发 现 有   B U G ， 需 要 立 即 修 复 ； 2 . 维 护 人 员 发 现 是 因 为 一 个 变 量 名 称 写 错 导 致 的 ； 3 . 这 名 维 护 人 员 采 用 了 最 快 速 的 线 上 修 改 代 码 的 方 式 ， 将 这 个 问 题 暂 时 解 决 了 ， 大 家 似 乎 相 安 无 事 ； 4 . 一 个 月 以 后 ， 这 个 问 题 又 出 现 了 ， 由 于 代 码 量 和 项 目 复 杂 度 的 增 加 ， 这 个 问 题 隐 藏 得 很 深 ， 久 久 得 不 到 解 决 ， 或 者 好 不 容 易 把 这 个 问 题 解 决 了 ， 其 他 问 题 又 出 现 了 。 其 实 ， 如 果 一 开 始 所 有 开 发 人 员 都 用 了 版 本 控 制 系 统   G i t   或 者   S V N   的 话 ， 并 且 要 求 所 有 代 码 更 改 都 必 须 进 入 版 本 控 制 ， 就 有 很 难 出 现 上 述 这 个 问 题 了 。 在 后 续 文 章 中 ， 我 们 将 讲 解 如 何 用 开 源 软 件   G i t L a b   来 实 现 版 本 控 制 。 持 续 集 成 （ 持 续 集 成 （ C I ） ）
持 续 集 成 （ C o n t i n u o u s   I n t e g r a t i o n ） 也 是 非 常 重 要 的 部 分 ， 因 为 它 可 以 将 构 建 应 用 并 打 包 上 线 的 工 作 自 动 化 ， 减 少 了 很 多 人 工 上 线 的 成 本 ， 最 关 键 的 是 — — 它 很 方 便 ！ 想 象 一 下 ， 如 果 没 有 持 续 集 成 ， 我 们 的 部 署 流 程 会 是 什 么 样 子 ： 1 . 开 发 人 员 开 发 好 一 个 应 用 ， 编 写 好 部 署 文 档 ； 2 . 运 维 人 员 获 取 源 码 ， 并 按 照 部 署 文 档 来 部 署 应 用 ； 3 . 中 途 运 维 人 员 发 现 ， 部 署 文 档 中 缺 少 了 一 个 安 装 依 赖 的 步 骤 ， 需 要 去 找 开 发 人 员 要 这 个 步 骤 ； 4 . 开 发 人 员 测 试 了 半 天 ， 将 正 确 的 部 署 文 档 发 给 运 维 人 员 ； 5 . 反 反 复 复 折 腾 ， 终 于 部 署 好 了 ， 但 时 间 也 浪 费 了 好 几 天 。 这 是 个 典 型 的 没 有 持 续 集 成 的 例 子 。 但 如 果 采 用   J e n k i n s   将 发 布 做 成 自 动 化 的 ， 就 不 需 要 什 么 部 署 文 档 了 ， 部 署 步 骤 清 晰 可 见 ， 开 发 人 员 可 以 直 接 看 到 部 署 是 否 成 功 、 是 否 有 步 骤 出 问 题 等 ， 省 去 了 非 常 多 折 腾 的 时 间 。 在 后 续 文 章 中 ， 我 们 将 讲 解 如 何 用 开 源 软 件   J e n k i n s   来 实 现 持 续 集 成 和 自 动 部 署 。 容 器 化 （ 容 器 化 （ C o n t a i n e r ） ）
想 象 这 样 一 个 开 发 场 景 ， 为 了 保 证 环 境 隔 离 ， 我 们 建 立 了 开 发 、 测 试 、 生 产 三 个 环 境 ， 每 个 环 境 尽 量 保 证 一 致 ， 例 如 操 作 系 统 都 为   L i n u x ， 数 据 库 版 本 一 致 ， 编 译 器 版 本 一 致 ， 等 等 。 但 可 惜 的 是 ， 我 们 不 可 能 完 全 做 到 环 境 一 致 ， 特 别 是 开 发 者 自 己 的 环 境 ， 与 测 试 （ T e s t ） 和 生 产 环 境 （ P r o d u c t i o n ） ， 基 本 不 可 能 完 全 一 致 。 大 多 数 开 发 者 用 的 是   W i n d o w s   或   M a c   O S   操 作 系 统 ， 但 实 际 测 试 环 境 和 生 产 环 境 大 多 数 情 况 都 是   L i n u x   的 。 很 多 W i n d o w s   或   M a c O S   上 可 以 正 常 运 行 的 程 序 ， 到 了 服 务 器 上 就 不 能 运 行 了 、 或 者 有 奇 奇 怪 怪 的   B U G ， 这 都 是 环 境 不 一 致 导 致 的 。 早 期 有 个 解 决 方 案 是 让 每 个 开 发 者 装 一 个 虚 拟 机 （ V M ） ， 在 上 面 安 装 虚 拟 的   L i n u x   环 境 ， 让 开 发 好 的 应 用 在 上 面 调 试 ， 通 过 后 再 测 试 部 署 到 测 试 或 者 生 产 环 境 上 。 自 动 化 的 软 件 也 涌 现 出 来 ， 比 如 著 名 的   V a g r a n t ， 可 以 通 过 编 写 配 置 文 件 一 键 生 成 虚 拟 环 境 。 但 是 ， 安 装 虚 拟 机 开 销 比 较 大 ， 需 要 预 分 配 内 存 和 磁 盘 空 间 ， 这 对 于 资 源 并 不 充 裕 的 机 器 来 说 不 是 个 最 优 的 解 决 方 案 。 直 到   2 0 1 3   年 ， D o c k e r   横 空 出 世 ， 实 现 了 容 器 化 的 功 能 。 它 与 虚 拟 机 有 本 质 上 的 区 别 ， 因 为 它 不 要 求 预 分 配 资 源 ， 所 以 对 低 配 机 器 也 非 常 友 好 。 自 此 之 后 ， 环 境 隔 离 和 环 境 复 用 就 再 也 不 是 难 事 了 。 D o c k e r   的 使 用 非 常 简 单 ， 其 中 的   容 器 （ C o n t a i n e r ） 概 念 类 似 于 编 程 语 言 中 的 实 例 （ I n s t a n c e ） ， 镜 像 （ I m a g e ） 类 似 于
类 （ C l a s s ） ， 很 易 于 管 理 ， 横 向 扩 展 非 常 简 单 。 实 质 上 ， D o c k e r   的 配 置 跟 编 写 一 个 应 用 差 不 多 ， 用   D o c k e r f i l e   可 以 让 构 建 一 个 五 脏 俱 全 的 应 用 程 序 这 件 事 情 变 得 非 常 容 易 。 如 果 把 版 本 控 制 系 统 比 喻 为 收 藏 设 计 图 纸 的 图 书 馆 ， 持 续 集 成 比 喻 成 工 厂 流 水 线 ， 那 么 容 器 则 可 看 作 是 一 个 个 功 能 样 式 统 一 的 产 品 。 D o c k e r   正 在 （ 或 者 已 经 ） 成 为 编 程 部 署 应 用 的 首 选 。 在 后 续 文 章 中 ， 我 们 将 讲 解 如 何 用 大 红 大 紫 的   D o c k e r   来 构 建 容 器 化 部 署 。 编 排 （ 编 排 （ O r c h e s t r a t i o n ） ） 随 着 服 务 器 资 源 变 得 越 来 越 廉 价 ， 分 布 式 应 用 得 到 普 及 ， 像 微 服 务 这 样 的 架 构 在 如 今 正 在 逐 渐 成 为 主 流 。 而 伴 随 而 来 的 痛 点 就 是 如 何 有 效 地 让 这 些 分 布 式 应 用 或 者 集 群 被 更 好 的 管 理 起 来 。 编 排 （ O r c h e s t r a t i o n ） 技 术 正 是 这 样 的 管 理 集 群 的 有 效 方 法 ， 它 能 保 证 分 布 式 应 用 能 得 到 很 好 的 扩 展 。 对 于 一 些 简 单 的 应 用 来 说 ， 单 机 或 许 已 经 足 够 ， 但 对 于 某 些 大 型 应 用 来 说 （ 例 如 搜 索 引 擎 爬 虫 、 高 并 发 服 务 器 、 大 数 据 应 用 ） ， 它 们 往 往 对 资 源 要 求 较 高 ， 需 要 大 规 模 的 分 布 式 集 群 ， 所 以 为 了 管 理 这 些 集 群 ， 编 排 技 术 必 不 可 少 。 K u b e r n e t e s （ 又 称 k 8 s ）   是   G o o g l e   开 源 的 容 器 编 排 引 擎 ， 后 续 文 章 将 讲 解 如 何 使 用   K u b e r n e t e s   来 实 现 集 群 的 管 理 。
网 络 （ 网 络 （ N e t w o r k i n g ） ） 网 络 是 非 常 重 要 的 技 术 。 我 们 可 以 没 有   D e v O p s   这 样 的 流 程 和 技 术 ， 但   9 9 %   以 上 的 可 能 是 少 不 了 网 络 技 术 的 。 而 网 络 技 术 也 种 类 繁 多 ， 涉 及 通 信 、 传 输 、 配 置 等 等 ， 这 里 我 们 只 会 讲 解 其 中 一 个 类 别 ， 也 就 是 反 向 代 理 。 为 什 么 会 讲 反 向 代 理 呢 ？ 我 相 信 绝 大 多 数 人 在 开 发   W e b   应 用 的 时 候 都 会 碰 到 配 置 路 由 的 情 况 ， 而 反 向 代 理 正 是 解 决 网 络 路 由 问 题 的 技 术 。 另 外 ， 反 向 代 理 还 可 以 实 现 负 载 均 衡 （ L o a d   B a l a n c e ） ， 可 以 合 理 利 用 分 布 式 应 用 的 计 算 、 网 络 带 宽 等 资 源 。 如 果 没 有 反 向 代 理 ， 你 会 发 现 很 多 内 部 端 口 会 暴 露 在 外 ， 既 不 安 全 ， 也 不 美 观 。 在 后 续 文 章 中 ， 我 们 将 讲 解 如 何 使 用   N g i n x   实 现 反 向 代 理 ， 并 会 介 绍 如 何 将 其 整 合 到   D e v O p s   工 作 流 中 。 总 结 总 结 本 文 介 绍 了   D e v O p s   的 基 本 概 念 ， 并 简 单 介 绍 了 一 些   D e v O p s   工 作 流 中 的 技 术 ， 包 括 版 本 控 制 、 持 续 集 成 、 容 器 、 编 排 、 网 络 ， 另 外 我 们 还 介 绍 了 即 将 在 后 续 系 列 文 章 里 讲 解 的 开 源 软 件 。 但 是   D e v O p s   的 技 术   R o a d M a p   绝 对 不 仅 仅 局 限 于 此 ， 从 前 面 小 节 中 的 图 就 可 以 看 出 来 ， 要 懂 得 所 有 技 术 绝 对 是   C T O 级 别 的 大 师 级 人 物 。 而 我 们 也 应 该 了 解   D e v O p s   也 不 仅 限 于 技 术 和 平 台 ， 而 应 该 将 其 与 流 程 跟 人 结 合 起 来 ， 这 样 才 能 很 好 地 实 践   D e v O p s 。 本 文 只 是 个 开 始 ， 后 面 我 们 将 更 加 细 致 地 讲 解 各 项 技 术 以 及 实 现 用 到 的 开 源 软 件 ， 并 且 将 他 们 应 用 到 企 业 级   D e v O p s   工
作 流 中 来 ， 敬 请 关 注 后 续 文 章 。 夜 幕 团 队 成 立 于   2 0 1 9   年 ， 团 队 包 括 崔 庆 才 、 周 子 淇 、 陈 祥 安 、 唐 轶 飞 、 冯 威 、 蔡 晋 、 戴 煌 金 、 张 冶 青 、 韦 世 东 和 文 安 哲 。 涉 猎 的 编 程 语 言 包 括 但 不 限 于   P y t h o n 、 R u s t 、 C + + 、 G o ， 领 域 涵 盖 爬 虫 、 深 度 学 习 、 服 务 研 发 、 对 象 存 储 等 。 团 队 非 正 亦 非 邪 ， 只 做 认 为 对 的 事 情 ， 请 大 家 小 心 。
回复

举报

高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

Archiver| 手机版| 小黑屋|
Powered by Discuz! X3.4 Copyright © 2001-2020, Tencent Cloud. 商业源码建议获取授权，如侵犯您的权益，请联系客服处理