搜索

[25777] 2016-11-29_Git系列（七）：使用Git管理二进制大对象

文档创建者：s7ckTeam
浏览次数：0
最后更新：2025-01-19
2016-11-29_Git系列（七）：使用Git管理二进制大对象 - -   S e t h   K e n l o n 3 6 % 7 0 % G i t   系 列 （ 七 ） ： 使 用   G i t   管 理 二 进 制 大 对 象 原 创   译 者 r u n n i n g w a t e r   L i n u x 中 国   2 0 1 6 - 1 1 - 2 9 G i t   已 经 有 了 可 以 处 理 像 多 媒 体 文 件 这 样 的 二 进 制 大 对 象 块 （ b l o b ） 的 扩 展 。 因 此 ， 今 天 我 们 会 学 习 使 用   G i t   来 管 理 所 谓 的 二 进 制 资 产 。 本 文 导 航 - g i t - m e d i a - g i t - a n n e x 通 过 这 系 列 的 前 六 篇 文 章 ， 我 们 已 经 学 会 使 用   G i t   来 对 文 本 文 件 进 行 版 本 控 制 的 管 理 。 我 们 不 禁 要 问 ， 还 有 二 进 制 文 件 呢 ， 也 可 进 行 进 行 版 本 控 制 吗 ？ 答 案 是 肯 定 的 ， G i t   已 经 有 了 可 以 处 理 像 多 媒 体 文 件 这 样 的 二 进 制 大 对 象 块 （ b l o b ） 的 扩 展 。 因 此 ， 今 天 我 们 会 学 习 使 用   G i t   来 管 理 所 谓 的 二 进 制 资 产 。 似 乎 大 家 都 认 可 的 事 就 是   G i t   对 于 大 的 二 进 制 对 象 文 件 支 持 得 不 好 。 要 记 住 ， 二 进 制 大 对 象 与 大 文 本 文 件 是 不 同 的 。 虽 然 G i t   对 大 型 的 文 本 文 件 版 本 控 制 毫 无 问 题 ， 但 是 对 于 不 透 明 的 二 进 制 文 件 起 不 了 多 大 作 用 ， 只 能 把 它 当 作 一 个 大 的 实 体 黑 盒 来 提 交 。 设 想 这 样 的 场 景 ， 有 一 个 另 人 兴 奋 的 第 一 人 称 解 密 游 戏 ， 您 正 在 为 它 制 作 复 杂 的   3 D   建 模 ， 源 文 件 是 以 二 进 制 格 式 保 存 的 ， 最 后 生 成 一 个   1 G B   大 小 的 的 文 件 。 您 提 交 过 一 次 ， 在   G i t   源 仓 库 历 史 中 有 一 个   1 G B   大 小 的 新 增 提 交 。 随 后 ， 您 修 改 了 下 模 型 人 物 的 头 发 造 型 ， 然 后 提 交 更 新 ， 因 为   G i t   并 不 能 把 头 发 从 头 部 及 模 型 中 其 余 的 部 分 离 开 来 ， 所 以 您 只 能 又 提 交
1 G B   的 量 。 接 着 ， 您 改 变 了 模 型 的 眼 睛 颜 色 ， 提 交 这 部 分 更 新 ： 又 是   G B   级 的 提 交 量 。 对 一 个 模 型 的 一 些 微 小 修 改 ， 就 会 导 致 三 个   G B   级 的 提 交 量 。 对 于 想 对 一 个 游 戏 所 有 资 源 进 行 版 本 控 制 这 样 的 规 模 ， 这 是 个 严 重 的 问 题 。 不 同 的 是 如     这 种 格 式 的 文 本 文 件 ， 和 其 它 类 型 文 件 一 样 ， 都 是 一 个 提 交 就 存 储 所 有 更 新 修 改 状 态 ， 不 同 的 是     文 件 是 一 系 列 描 述 模 型 的 纯 文 本 行 。 如 果 您 修 改 了 该 模 型 并 保 存 回     文 件 ， G i t   可 以 逐 行 读 取 这 两 个 文 件 ， 然 后 创 建 一 个 差 异 版 本 ， 得 到 一 个 相 当 小 的 提 交 。 模 型 越 精 细 ， 提 交 就 越 小 ， 这 就 是 标 准 的   G i t   用 例 。 虽 然 文 件 本 身 很 大 ， 但   G i t   使 用 覆 盖 或 稀 疏 存 储 的 方 法 来 构 建 当 前 数 据 使 用 状 态 的 完 整 描 述 。 然 而 ， 不 是 所 有 的 都 是 纯 文 本 的 ， 但 都 要 使 用   G i t ， 所 以 需 要 解 决 方 案 ， 并 且 已 经 出 现 几 个 了 。 O S T r e e [ 1 ]   开 始 是 作 为   G N O M E   项 目 出 现 的 ， 旨 在 管 理 操 作 系 统 的 二 进 制 文 件 。 它 不 适 用 于 这 里 ， 所 以 我 直 接 跳 过 。 G i t   大 文 件 存 储 [ 2 ] （ L F S ）   是 放 在   G i t H u b   上 的 一 个 开 源 项 目 ， 是 从   g i t - m e d i a   项 目 中 分 支 出 来 的 。 g i t - m e d i a [ 3 ]   和   g i t - a n n e x [ 4 ]   是   G i t   用 于 管 理 大 文 件 的 扩 展 。 它 们 是 对 同 一 问 题 的 两 种 不 同 的 解 决 方 案 ， 各 有 优 点 。 虽 然 它 们 都 不 是 官 方 的 项 目 ， 但 在 我 看 来 ， 每 个 都 有 独 到 之 处 ： g i t - m e d i a   是 集 中 模 式 ， 有 一 个 公 共 资 产 的 存 储 库 。 你 可 以 告 诉   g i t - m e d i a   大 文 件 需 要 存 储 的 位 置 ， 是 在 硬 盘 、 服 务 器 还 是 在 云 存 储 服 务 器 ， 项 目 中 的 每 个 用 户 都 将 该 位 置 视 为 大 型 文 件 的 中 心 主 存 储 位 置 。 g i t - a n n e x   侧 重 于 分 布 模 式 。 用 户 各 自 创 建 存 储 库 ， 每 个 存 储 库 都 有 一 个 存 储 大 文 件 的 本 地 目 录   。 这 些   a n n e x   会 定 期 同 步 ， 只 要 有 需 要 ， 每 个 用 户 都 可 以 访 问 到 所 有 的 资 源 。 除 非 通 过   a n n e x - c o s t   特 别 配 置 ， 否 则 g i t - a n n e x   优 先 使 用 本 地 存 储 ， 再 使 用 外 部 存 储 。 对 于 这 些 ， 我 已 经 在 生 产 中 使 用 了   g i t - m e d i a   和   g i t - a n n e x ， 那 么 下 面 会 向 你 们 概 述 其 工 作 原 理 。 g i t - m e d i a g i t - m e d i a   是 使 用   R u b y   语 言 开 发 的 ， 所 以 首 先 要 安 装   g e m （ L C T T   译 注 ： G e m   是 基 于   R u b y   的 一 些 开 发 工 具 包 ） 。 安 装 说 明 在 其 网 站 [ 5 ] 上 。 想 使 用   g i t - m e i d a   的 用 户 都 需 要 安 装 它 ， 因 为   g e m   是 跨 平 台 的 工 具 ， 所 以 在 各 平 台 都 适 用 。 安 装 完   g i t - m e d i a   后 ， 你 需 要 设 置 一 些   G i t   的 配 置 选 项 。 在 每 台 机 器 上 只 需 要 配 置 一 次 。 在 要 使 用   g i t - m e d i a   的 每 个 存 储 库 中 ， 设 置 一 个 属 性 以 将 刚 刚 创 建 的 过 滤 器 结 合 到 要 您 分 类 为 “ m e d i a 媒 体 ” 的 文 件 类 型 里 。 别 被 这 种 术 语 混 淆 。 一 个 更 好 的 术 语 是 “ 资 产 ” ， 因 为 “ 媒 体 ” 通 常 的 意 思 是 音 频 、 视 频 和 照 片 ， 但 您 也 可 以 很 容 易 地 将   3 D   模 型 ， 烘 焙 和 纹 理 等 归 类 为 媒 体 。 . o b j . o b j . o b j . g i t / a n n e x 1 .   $   g i t   c o n f i g   f i l t e r . m e d i a . c l e a n   " g i t - m e d i a   f i l t e r - c l e a n " 2 .   $   g i t   c o n f i g   f i l t e r . m e d i a . s m u d g e   " g i t - m e d i a   f i l t e r - s m u d g e "
例 如 ： 当 您 要 s t a g e 暂 存 这 些 类 型 的 文 件 时 ， 文 件 会 被 复 制 到     目 录 。 假 设 在 服 务 器 已 经 有 了 一 个   G i t   源 仓 库 ， 最 后 一 步 就 告 诉 源 仓 库 “ 母 舰 ” 所 在 的 位 置 ， 也 就 是 ， 当 媒 体 文 件 被 推 送 给 所 有 用 户 共 享 时 ， 媒 体 文 件 将 会 存 储 的 位 置 。 这 在 仓 库 的     文 件 中 设 置 ， 请 替 换 成 您 的 用 户 名 、 主 机 和 路 径 ： 如 果 您 的 服 务 器 上   S S H   设 置 比 较 复 杂 ， 例 如 使 用 了 非 标 准 端 口 或 非 默 认   S S H   密 钥 文 件 的 路 径 ， 请 使 用     为 主 机 设 置 默 认 配 置 。 g i t - m e d i a   的 使 用 和 普 通 文 件 一 样 ， 可 以 把 普 通 文 件 和   b l o b   文 件 一 样 对 待 ， 一 样 进 行   c o m m i t   操 作 。 操 作 流 程 中 唯 一 的 不 同 就 是 ， 在 某 些 时 候 ， 您 应 该 将 您 的 资 产 （ 或 称 媒 体 ） 同 步 到 共 享 存 储 库 中 。 当 要 为 团 队 发 布 资 产 或 自 己 备 份 资 料 时 ， 请 使 用 如 下 命 令 ： 1 .   $   e c h o   " * . m p 4   f i l t e r = m e d i a   - c r l f "   > >   . g i t a t t r i b u t e s 2 .   $   e c h o   " * . m k v   f i l t e r = m e d i a   - c r l f "   > >   . g i t a t t r i b u t e s 3 .   $   e c h o   " * . w a v   f i l t e r = m e d i a   - c r l f "   > >   . g i t a t t r i b u t e s 4 .   $   e c h o   " * . f l a c   f i l t e r = m e d i a   - c r l f "   > >   . g i t a t t r i b u t e s 5 .   $   e c h o   " * . k r a   f i l t e r = m e d i a   - c r l f "   > >   . g i t a t t r i b u t e s . g i t / m e d i a . g i t / c o n f i g 1 .   [ g i t - m e d i a ] 2 .   t r a n s p o r t   =   s c p 3 .   a u t o d o w n l o a d   =   f a l s e   # 默 认 为   t r u e ， 拉 取 资 源 4 .   s c p u s e r   =   s e t h 5 .   s c p h o s t   =   e x a m p l e . c o m 6 .   s c p p a t h   =   / o p t / j u p i t e r . g i t . s s h / c o n f i g 1 .   $   g i t   m e d i a   s y n c
要 用 一 个 变 更 后 的 版 本 替 换   g i t - m e d i a   中 的 文 件 时 （ 例 如 ， 一 个 已 经 美 声 过 的 音 频 文 件 ， 或 者 一 个 已 经 完 成 的 遮 罩 绘 画 ， 或 者 一 个 已 经 被 颜 色 分 级 的 视 频 文 件 ） ， 您 必 须 明 确 的 告 诉   G i t   更 新 该 媒 体 。 这 将 覆 盖   g i t - m e d i a   不 会 复 制 远 程 已 经 存 在 的 文 件 的 默 认 设 置 ： 当 您 团 队 的 其 他 成 员 （ 或 是 您 本 人 ， 在 其 它 机 器 上 ） 克 隆 本 仓 库 时 ， 如 果 没 有 在     中 把     选 项 设 置 为     的 话 ， 默 认 是 不 会 下 载 资 源 的 。 但   g i t - m e d i a   的 一 个 同 步 命 令     可 解 决 所 有 问 题 。 g i t - a n n e x g i t - a n n e x   的 处 理 流 程 略 微 的 有 些 不 同 ， 默 认 是 使 用 本 地 仓 库 的 ， 但 基 本 的 思 想 都 一 样 。 您 可 以 从 你 的 发 行 版 的 软 件 仓 库 中 安 装   g i t - a n n e x ， 或 者 根 据 需 要 从 该 网 站 上 下 载 安 装 。 与   g i t - m e d i a   一 样 ， 任 何 使 用   g i t - a n n e x   的 用 户 都 必 须 在 其 机 器 上 安 装 它 。 其 初 始 化 设 置 比   g i t - m e d i a   都 简 单 。 运 行 如 下 命 令 ， 其 中 替 换 成 您 的 路 径 ， 就 可 以 在 您 的 服 务 器 上 创 建 好 裸 存 储 库 ： 然 后 克 隆 到 本 地 计 算 机 ， 把 它 标 记 为   g i t - a n n e x   的 初 始 路 径 ： 1 .   $   g i t   u p d a t e - i n d e x   - - r e a l l y - r e f r e s h . g i t / c o n f i g a u t o d o w n l o a d t r u e g i t   m e d i a   s y n c 1 .   $   g i t   i n i t   - - b a r e   - - s h a r e d   / o p t / j u p i t e r . g i t 1 .   $   g i t   c l o n e   s e t h @ e x a m p l e . c o m : / o p t / j u p i t e r . c l o n e 2 .   C l o n i n g   i n t o   ' j u p i t e r . c l o n e ' . . .   3 .   w a r n i n g :   Y o u   a p p e a r   t o   h a v e   c l o n e d a n   e m p t y   r e p o s i t o r y .   4 .   C h e c k i n g   c o n n e c t i v i t y . . .   d o n e . 5 .   $   g i t   a n n e x   i n i t   " s e t h   w o r k s t a t i o n "   6 .   i n i t   s e t h   w o r k s t a t i o n   o k
不 要 使 用 过 滤 器 来 区 分 媒 体 资 源 或 大 文 件 ， 您 可 以 使 用     命 令 来 配 置 归 类 大 文 件 ： 跟 普 通 文 件 一 样 进 行 提 交 操 作 ： 但 是 推 送 操 作 是 不 同 的 ， 因 为     使 用 自 己 的 分 支 来 跟 踪 资 产 。 您 首 次 推 送 可 能 需 要     选 项 ， 具 体 取 决 于 您 如 何 管 理 您 的 存 储 库 ： 和   g i t - m e d i a   一 样 ， 普 通 的     命 令 是 不 会 拷 贝 资 料 到 服 务 器 的 ， 仅 仅 只 是 发 送 了 相 关 的 消 息 ， 要 真 正 共 享 文 件 ， 需 要 运 行 同 步 命 令 ： 如 果 别 人 已 经 提 交 了 共 享 资 源 ， 您 需 要 拉 取 它 们 ，   命 令 将 提 示 您 要 在 本 地 检 出 你 本 机 没 有 ， 但 在 服 务 器 上 存 在 的 资 源 。 g i t   a n n e x 1 .   $   g i t   a n n e x   a d d   b i g b l o b f i l e . f l a c 2 .   a d d   b i g b l o b f i l e . f l a c 3 .   ( c h e c k s u m )   o k 4 .   ( R e c o r d i n g   s t a t e   i n   G i t . . . ) 1 .   $   g i t   c o m m i t   - m   ' a d d e d   f l a c   s o u r c e   f o r   s o u n d   f x ' g i t   a n n e x - u 1 .   $   g i t   p u s h   - u   o r i g i n   m a s t e r   g i t - a n n e x 2 .   T o   s e t h @ e x a m p l e . c o m : / o p t / j u p i t e r . g i t 3 .   *   [ n e w   b r a n c h ]   m a s t e r   - >   m a s t e r 4 .   *   [ n e w   b r a n c h ]   g i t - a n n e x   - >   g i t - a n n e x g i t   p u s h 1 .   $   g i t   a n n e x   s y n c   - - c o n t e n t g i t   a n n e x   s y n c
g i t - m e d i a   和   g i t - a n n e x   都 非 常 灵 活 ， 都 可 以 使 用 本 地 存 储 库 来 代 替 服 务 器 ， 所 以 它 们 也 常 用 于 管 理 私 有 的 本 地 项 目 。 G i t   是 一 个 非 常 强 大 和 扩 展 性 非 常 强 的 系 统 应 用 软 件 ， 我 们 应 该 毫 不 犹 豫 的 使 用 它 。 现 在 就 开 始 试 试 吧 ！ v i a :   h t t p s : / / o p e n s o u r c e . c o m / l i f e / 1 6 / 8 / h o w - m a n a g e - b i n a r y - b l o b s - g i t - p a r t - 7 作 者 ： S e t h   K e n l o n [ 6 ]   译 者 ： r u n n i n g w a t e r   校 对 ： w x y 本 文 由   L C T T [ 7 ]   原 创 编 译 ， L i n u x 中 国   荣 誉 推 出 推 荐 文 章 滑 动 查 看 更 多 输 入 文 章   I D   或 长 按 二 维 码 直 达 [ 1 ] :   h t t p s : / / o s t r e e . r e a d t h e d o c s . i o / e n / l a t e s t / [ 2 ] :   h t t p s : / / g i t - l f s . g i t h u b . c o m / [ 3 ] :   h t t p s : / / g i t h u b . c o m / a l e b e d e v / g i t - m e d i a [ 4 ] :   h t t p s : / / g i t - a n n e x . b r a n c h a b l e . c o m / w a l k t h r o u g h / [ 5 ] :   h t t p s : / / g i t h u b . c o m / a l e b e d e v / g i t - m e d i a [ 6 ] :   h t t p s : / / o p e n s o u r c e . c o m / u s e r s / s e t h [ 7 ] :   h t t p s : / / g i t h u b . c o m / L C T T / T r a n s l a t e P r o j e c t 阅 读 原 文
回复

举报

高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

使用Markdown编辑器编辑 使用富文本编辑器编辑

Archiver| 手机版| 小黑屋|
Powered by Discuz! X3.4 Copyright © 2001-2020, Tencent Cloud. 商业源码建议获取授权，如侵犯您的权益，请联系客服处理