搜索

[25078] 2016-06-04_ZFS那点事

文档创建者：s7ckTeam
浏览次数：2
最后更新：2025-01-18
2016-06-04_ZFS那点事 Z F S   那 点 事 作 者 ： T i m . T a n g   L i n u x 中 国   2 0 1 6 - 0 6 - 0 4 转 载 自 ：   h t t p s : / / t i m t a n g . m e / b l o g / 2 0 1 6 / 0 5 / 3 1 / s m a r t o s - z f s - y o u - s h o u l d - k n o w   作 者 ：   T i m . T a n g 最 近 看 到 很 多 关 于 Z F S 移 植 到 L i n u x 上 文 章 ， 看 来 Z F S 还 是 很 被 大 家 看 好 ， 那 就 写 点 关 于 Z F S 的 东 西 ， 之 前 对 Z F S 的 使 用 主 要 集 中 在 S m a r t O S [ 1 ] 上 ， 那 就 在 聊 聊 我 对 S m a r t O S 上 使 用 Z F S 的 体 验 和 Z F S 的 特 性 吧 。 Z F S   C O W   ( C o p y   O n   W r i t e ) 首 先 说 下 Z F S 的 c o p y   o n   w r i t e   这 个 技 术 并 不 复 杂 ， 看 下 图 比 较 清 晰 ，
c o w 图 － 1 :   可 以 看 到 u b e r b l o c k 实 际 上 是 M e r k l e   T r e e 的 r o o t .   它 记 录 了 文 件 系 统 的 所 有 状 态 ， 当 检 索 一 个 数 据 块 的 时 候 ,   会 从 u b e r b l o c k 这 里 一 路 往 下 查 找 m e t a d a t a   b l o c k 同 时 比 较 c h e c k s u m ,   直 到 找 到 对 应 的 数 据 块 。 图 － 2 :   当 写 一 个 新 的 b l o c k   时 ， 没 有 p e r f o r m a n c e 的 影 响 ， 当 修 改 一 个 旧 的 b l o c k 时 ， 需 要 先 c o p y 一 份 ,   实 际 上 会 带 来 一 些 p e r f o r m a n c e 的 问 题 ,   实 际 上 所 有 的 m e t a d a t a 和 c h e c k s u m 都 是 需 要 复 制 新 建 。   但 C O W 和 T r a n s a c t i o n 技 术 一 起 ， 可 以 对 数 据 的 一 致 性 得 到 比 较 好 的 保 护 。 图 － 3 :   数 据 已 经 写 入 ， 上 层 的 m e t a d a t a 和 c h e c k s u m 的 数 据 也 已 经 修 改 好 ， 但 u b e r b l o c k 还 没 被 更 新 ， 这 个 时 候 断 电 重 新 启 动 ， 数 据 不 会 丢 失 ， 我 们 仍 然 可 用 找 到 修 改 的 数 据 ,   然 后 将 u b e r b l o c k 原 子 的 更 新 。 图 － 4 :   u b e r b l o c k 是 通 过 原 子 的 方 式 ， 所 有 绿 色 的 部 分 都 已 经 更 新 。 C O W   带 来 另 一 个 好 处 是 S n a p s h o t ， R e p l i c a t i o n 非 常 方 便 ,   如 下 图 :   s n a p s h o t 做 s n a p s h o t 只 需 要 找 上 图 中 不 同 颜 色 的 相 关 的 数 据 指 针 即 可 ！
再 看 R e p l i c a t i o n ,   如 下 图 :   r e p l i c a t i o n 这 里 M e r k l e   T r e e 的 每 个 父 亲 节 点 都 有 一 个 b i r t h   t i m e 的 元 数 据 ， b i r t h   t i m e 代 表 着 t r a n s a c t i o n   g r o u p 的 I D . 这 时 如 果 想 要 复 制 1 9 - 3 7 之 间 的 数 据 就 非 常 的 容 易 ， 找 到 所 有 b i r t h   t i m e 大 于 1 9 的 父 亲 节 点 再 使 用 数 据 指 针 和 c h e c k s u m 的 数 据 ， 找 到 对 应 的 数 据 块 即 可 用 。 Z F S   C h e c k s u m 在 Z F S 中 ， 对 所 有 数 据 不 管 是 用 户 数 据 还 是 文 件 系 统 自 身 的 m e t a d a t a 数 据 都 进 行 2 5 6 位 的 C h e c k s u m ， C h e c k s u m 的 数 据 存 储 在 父 亲 节 点 上 ， 形 成 一 棵 自 验 证 的 M e r k l e   T r e e [ 2 ] ,   当 Z F S 在 提 交 数 据 时 会 进 行 校 验 。 c h e c k s u m 当 磁 盘 ， R A I D 卡 的 硬 件 问 题 或 者 驱 动 b u g 这 种 些 S i l e n t   D a t a   C o r r u p t i o n 的 情 况 , 在 Z F S 中 则 提 出 了 相 对 应 的 Z F S   M i r r o r 和 R A I D - Z 方 式 ， 它 在 负 责 读 取 数 据 的 时 候 会 自 动 和 2 5 6 位 校 验 码 进 行 校 验 ， 会 主 动 发 现 这 种 S i l e n t   D a t a   C o r r u p t i o n ， 然 后 通 过 相 应 的 M i r r o r 硬 盘 或 者 通 过 R A I D - Z 阵 列 中 其 他 硬 盘 得 到 正 确 的 数 据 返 回 给 上 层 应 用 ， 并 且 同 时 自 动 修 复 原 硬 盘 的 C o r r u p t i o n   D a t a 。 这 样 Z F S 通 过 C O W 技 术 和 C h u m s u m 技 术 有 效 的 保 护 了 数 据 的 完 整 性 。
Z F S   R a i d z Z F S 提 供 了 多 种 s o f t   r a i d 的 方 式 ， 下 面 看 使 用 比 较 多 的 R a i d z 的 整 列 方 式 ， 创 建 各 种 R a i d z 1 / 2 / 3 的 情 况 下 ， v d e v 我 们 应 该 使 用 多 少 的 磁 盘 会 比 较 合 适 ?   参 考 Z F S   B e s t   P r a c t i c e s [ 3 ]   答 案 如 下 ： 推 荐 使 用 2 ^ n + x 的 个 数 ,   x 指 校 验 数 据 的 份 数 ,   即 允 许 坏 多 少 块 盘 。 r a i d z 1 :   底 层 块 设 备 个 数 3 ,   5 ,   9 ,   1 7 等 r a i d z 2 :   底 层 块 设 备 个 数 4 ,   6 ,   1 0 ,   1 8 等 r a i d z 3 :   底 层 块 设 备 个 数 5 ,   7 ,   1 1 ,   1 9 等 建 议 基 数 不 超 过 1 6 ( 除 非 你 的 C P U 特 别 强 悍 ) Z F S   D y n a m i c   S t r i p 由 于 Z F S 是 基 于 C O W 和 一 个 全 局 动 态 的 Z F S   P o o l ， 任 何 一 次 写   操 作 ， 都 是 对 一 块 新 数 据 块 （ B l o c k ） 的 一 次 写 操 作 。 Z F S 从 Z F S   P o o l 中 动 态 挑 选 出 一 个 最 优 的 设 备 ， 并 且 以 一 个 t r a n s a c t i o n （ 事 务 ） 线 性 写 入 ， 充 分 有 效 地 利 用 了 现 有 设 备 的 带 宽 ,   也 减 少 了 r e a d - m o d i f y - w r i t e 的 次 数 。 如 下 图 我 们 有 5 个 磁 盘 ， 组 成 了 r a i d z 1 的 整 列 ， 每 次 不 同 的 颜 色 代 表 不 同 的 s t r i p ,   所 有 的 写 入 都 是 一 个 完 整 的 s t r i p 。 对 于 写 入 的 r e c o r d s i z e 都 是 可 以 动 态 调 整 的 ， 但 只 是 对 新 文 件 创 建 有 影 响 。 已 存 在 的 文 件 还 是 保 持 其 原 有 的 r e c o r d s i z e 。 调 节 r e c o r d s i z e 对 顺 序 类 型 的 负 载 没 有 帮 助 。 调 节 r e c o r d s i z e 的 方 式 是 针 对 使 用 随 机 少 量 的 读 写 来 密 集 的 处 理 大 文 件 的 情 况 来 提 升 作 业 量 。 r a i d z Z F S   T r a n s a c t i o n 先 给 个 图 看 下 Z F S 的 整 个 I / O   S t a c k :
s t a c k 我 们 知 道 Z F S 是 事 务 型 的 文 件 系 统 ， 提 供 了 同 步 和 异 步 写 2 种 方 式 ， Z P L ( z f s   p o s i x   l a y e r ) 把 所 有 的 写 操 作 ( 包 括 m e t a d a t a 和 r e a l   d a t a ) 封 装 进 了 事 务 ,   Z P L 会 开 事 务 把 多 个 写 操 作 放 入 一 个 事 务 ,   这 个 事 务 并 不 会 马 上 提 交 ， 将 数 据 写 到 物 理 磁 盘 ， 而 是 收 集 起 来 放 入 一 个 t r a n s a c t i o n   g r o u p 。 这 里 所 有 的 写 请 求 都 会 放 在 t r a n s a c t i o n   g r o u p 中 ， t r a n s a c t i o n   g r o u p 会 同 步 或 者 异 步 的 方 式 最 总 写 到 磁 盘 。 T r a s c t i o n   G r o u p 在 任 意 时 刻 ， 系 统 最 多 同 时 存 在 如 下 3 种 类 型 的 t r a n s a c t i o n   g r o u p 在 一 个 p o o l 里 面 : O p e n   G r o u p :   维 护 文 件 系 统 把 新 的 写 请 求 Q u i e s c i n g   G r o u p :   在 这 个 g r o u p   新 的 写 请 求 是 无 法 加 入 的 ,   会 等 待 所 有 G r o u p 中 所 有 t r a n s a c t i o n   c o m m i t 。 S y n c   G r o u p :   将 数 据 同 步 到 磁 盘 。 这 里 你 可 能 会 问 用 多 个 t r a n s a c t i o n   g r o u p 而 不 是 单 个 t r a n s a c t i o n 带 来 了 什 么 好 处 ? A : 好 处 是 你 可 以 捆 绑 多 个 t r a n s a c t i o n 进 一 个 大 的 写 操 作 ， 这 样 就 减 少 了 I O P S . 这 里 每 个 t r a n s a c t i o n   g r o u p 都 有 一 个 唯 一 的 I D , 而 且 这 个 I D 是 顺 序 单 调 递 增 的 ， 这 个 标 示 写 在 u b e r b l o c k 里 面 ， 每 次 t r a n s a c t i o n   g r o u p 的 s y n c 都 会 更 新 这 个 u b e r b l o c k ,   u b e r b l o c k 是 一 个 r i n g   b u f f e r   1 2 8 个 s l o t ,   存 储 在 整 个 磁 盘 整 列 上 ,   将 t r a n s a c t i o n   g r o u p 的 i d 对 1 2 8 取 模 ， 就 是 这 个 t r a n s a c t i o n g r o u p 在 这 个 u b e r b l o c k 上 的 值 。 实 际 上 z f s 会 在 每 个 磁 盘 上 存 4 个 u b e r b l o c k 的 副 本 ， 当 z f s 启 动 一 个 p o o l 会 查 找 所 有 4 份 u b e r b l o c k 副 本 的 这 1 2 8 个 s l o t 找 到 t r a n s a c t i o n   g r o u p   i d 最 大 的 u b e r b l o c k ,   把 它 设 置 成 当 前 的 可 用 u b e r b l o c k . 这 里 问 题 来 了 ， 如 果 写 u b e r b l o c k 的 时 候 断 电 ， 怎 么 处 理 ? 这 里 u b e r b l o c k 通 过 c h e c k s u m 的 值 来 做 断 电 保 护 ， 一 个 有 效 的 u b e r b l o c k 需 要 符 合 条 件 : 正 确 的 c h e c k s u m   +   最 大 的 t r a n s a c t i o n   g r o u p   i d 这 2 个 条 件 。 再 加 上 Z F S   C o p y   O n   W r i t e 的 机 制 ( u b e r b l o c k 一 旦 写 成 功 ， 所 有 老 的 数 据 不 再 相 关 ) ， 保 证 了 数 据 在 磁 盘 上 的 一 致 性 。
关 于 T r a n s a c t i o n   G r o u p 更 细 节 的 介 绍 可 以 看 Z F S   f u n d a m e n t a l s   T r a n s a c t i o n   G r o u p s [ 4 ] 和 i l l u m o s 的 源 码 t x g . c [ 5 ] 异 步 异 步 I / O 到 这 里 你 可 能 会 问 ， 对 于 用 户 写 入 数 据 到 数 据 通 过 S y n c   G r o u p 同 步 到 磁 盘 这 段 时 间 数 据 存 哪 里 ？ 只 要 数 据 没 有 s y n c 到 磁 盘 ， 都 是 在 A R C ( A d a p t i v e   R e p l a c e m e n t   C a c h e [ 6 ] ) 里 面 ,   可 以 看 成 内 存 内 ， 实 际 上 是 对 内 存 的 不 停 修 改 ， 所 以 当 内 存 挂 掉 ， 内 存 中 的 数 据 也 就 没 了 ， 所 以 不 建 议 将 Z F S   s y n c 的 配 置 设 置 成 d i s a b l e ,   但 是 在 d a t a   p o o l 的 数 据 一 致 性 是 可 用 保 证 的 。 既 然 我 们 不 推 荐 用 a s y n c 的 方 式 ， 但 我 们 又 不 能 让 数 据 仅 仅 留 在 内 存 ( 尽 管 留 在 内 存 的 时 间 非 常 短 暂 5 - 3 0 s ) ， 还 是 需 要 同 步 到 磁 盘 ,   这 个 时 候 Z I L 登 场 了 。 Z I L   ( Z F S   I n t e n t   L o g ) Z I L   我 们 一 般 使 用 一 个 或 则 多 个 硬 盘 ， 正 常 情 况 下 使 用 s s d 的 磁 盘 ， Z I L 能 记 录 所 有 的 写 操 作 ， 然 后 写 到 Z I L   的 磁 盘 ， 因 为 z f s   c o p y   o n   w r i t e 的 机 制 ， Z I L 实 际 的 存 储 信 息 很 小 ,   只 保 存 修 改 的 数 据 ， 或 者 是 数 据 块 的 外 部 指 针 ,   假 如 你 写 入 一 个 大 的 数 据 文 件 ， 如 果 设 置 l o g b i a s = t r o u g h p u t , 那 么 这 个 所 有 的 写 操 作 是 直 接 到 d a t a   p o o l 的 不 经 过 Z I L ,   Z I L 中 只 保 存 数 据 的 指 针 ,   所 以 说 如 果 设 置 l o g b i a s = t r o u g h p u t , 那 么 使 用 独 立 的 Z I L 设 备 是 没 有 意 义 的 。   如 果 l o g b i a s = l a t e n c y ， 由 于 z f s 对 z i l 的 使 用 有 阈 值 限 制 ,   例 如 单 次 提 交 的 写 超 过 阈 值 则 直 接 写 d a t a   p o o l ,   否 则 会 写 入 Z I L 之 后 s y n c 到 d a t a   p o o l 。 这 个 阈 值 是 通 过 设 置 z f s _ i m m e d i a t e _ w r i t e _ s z   ( / e t c / s y s t e m 文 件 ) 的 大 小 来 确 定 。 所 有 的 这 些 参 数 的 调 整 要 更 据 你 的 具 体 应 用 场 景 来 确 定 。 这 里 如 果 我 们 不 添 加 独 立 Z I L 设 备 ， 实 际 上 p o o l 里 面 的 数 据 盘 上 也 会 又 Z I L 的 存 储 ,   只 要 是 Z F S   s y n c = s t a n d a r d ,   值 得 一 提 的 是 s y n c = a l w a y s 的 话 ， 所 有 文 件 系 统 的 t r a n s a c t i o n 是 直 接 写 到 d a t a   p o o l . 为 什 么 推 荐 独 立 的 Z I L 设 备 ? 同 步 写 操 作 减 少 对 整 个 d a t a   p o o l 的 I O P S 影 响 ,   使 用 s s d 做 Z I L 可 用 降 低 同 步 写 的 延 迟 ,   这 一 点 非 常 重 要 ， N F S / I S C S I   T a r g e t / O L T P   D a t a b a s e 等 都 是 同 步 写 ， 这 里 会 大 大 提 升 性 能 。 稍 微 总 结 下 ： Z I L 提 供 了 断 电 情 况 下 的 数 据 保 护 。 在 每 次 同 步 写 发 生 的 情 况 下 避 免 更 新 整 个 磁 盘 的 d a t a   s t r u c t u r e . 大 量 的 同 步 写 操 作 会 增 加 了 整 个 d a t a   p o o l 的 I O P S 的 压 力 ， 所 有 需 要 使 用 独 立 的 Z I L 设 备 。 通 过 S S D 作 为 独 立 Z I L 设 备 可 以 加 速 同 步 写 。 甚 至 我 们 可 以 使 用 多 个 S S D 将 Z I L 做 成 M i r r o r , 防 止 单 盘 的 失 效 。 如 果 你 的 d a t a   p o o l 是 全 S S D 的 ， 又 没 有 独 立 的 Z I L 设 备 ， 可 以 直 接 将 l o g b i a s = t h r o u g h p u t 。 S m a r t O S   上 上 Z F S   I / O   T h r o t t l e 对 于 在 云 平 台 多 租 户 场 景 下 任 意 一 个 租 户 v m 的 I O 的 b u r s t 可 能 会 对 其 他 租 户 的 正 常 使 用 造 成 影 响 ,   S m a r t O S 实 现 了 I / O   t h r o t t l e : 跟 踪 每 个 v m 的 I O   请 求 ， 当 I O   请 求 超 过 合 理 的 范 围 ， 这 个 v m 的 所 有 r e a d / w r i t e 请 求 会 d e l a y 一 些 时 间 ， 最 大 是 1 0 0 微 秒 。 每 个 v m 的 I O 使 用 率 指 标 计 算 公 式 :   ( n u m b e r   o f   r e a d   s y s c a l l s )   x   ( A v e r a g e   r e a d   l a t e n c y )   +   ( n u m b e r   o f   w r i t e   s y s c a l l s )   x   ( A v e r a g e   w r i t e l a t e n c y ) I O   t h r o t t l e 只 会 出 现 现 在 整 个 系 统 I O 负 载 很 大 的 场 景 下 ,   可 以 通 过 给 v m 设 置 z f s - i o - p r i o r i t y 参 数 来 让 某 个 v m 获 得 比 较 大 的 I O 优 先 级 。 注 意 z f s - i o - p r i o r i t y 这 是 一 个 相 对 值 ，   具 体 参 考 T u n i n g   t h e   I O   T h r o t t l e [ 7 ]
根 据 S m a r t o s   Z F S   I / O   T h r o t t l e [ 8 ] ,   在 自 己 的 环 境 用 F I O [ 9 ] ,   f s y n c b o m b [ 1 0 ] 测 试 了 ( r e a d / w r i t e ,   w r i t e / w r i t e ,   r e a d / r e a d 的 场 景 ) 下 ， 基 本 符 合 预 期 ， 可 见 S m a r t O S 在 这 块 做 的 还 是 不 错 的 。 不 错 的 参 考 不 错 的 参 考 Z F S H o w M e t a d a t a U p d a t e s [ 1 1 ] Z F S   B e s t   P r a c t i s e [ 1 2 ] Z F S   E v i l   T u n i n g   G u i d e [ 1 3 ] T r a n s a c t i o n   G r o u p s   &   D i s k   P e r f o r m a n c e [ 1 4 ] 转 载 自 ：   h t t p s : / / t i m t a n g . m e / b l o g / 2 0 1 6 / 0 5 / 3 1 / s m a r t o s - z f s - y o u - s h o u l d - k n o w   作 者 ：   T i m . T a n g [ 1 ] :   h t t p s : / / s m a r t o s . o r g / [ 2 ] :   h t t p s : / / e n . w i k i p e d i a . o r g / w i k i / M e r k l e _ t r e e [ 3 ] :   h t t p : / / w w w . s o l a r i s i n t e r n a l s . c o m / w i k i / i n d e x . p h p / Z F S _ B e s t _ P r a c t i c e s _ G u i d e [ 4 ] :   h t t p : / / b l o g . d e l p h i x . c o m / a h l / 2 0 1 2 / z f s - f u n d a m e n t a l s - t r a n s a c t i o n - g r o u p s / [ 5 ] :   h t t p s : / / g i t h u b . c o m / i l l u m o s / i l l u m o s - g a t e / b l o b / m a s t e r / u s r / s r c / u t s / c o m m o n / f s / z f s / t x g . c [ 6 ] :   h t t p s : / / e n . w i k i p e d i a . o r g / w i k i / A d a p t i v e _ r e p l a c e m e n t _ c a c h e [ 7 ] :   h t t p s : / / w i k i . s m a r t o s . o r g / d i s p l a y / D O C / T u n i n g + t h e + I O + T h r o t t l e [ 8 ] :   h t t p : / / d t r a c e . o r g / b l o g s / w d p / 2 0 1 1 / 0 3 / o u r - z f s - i o - t h r o t t l e / [ 9 ] :   h t t p s : / / g i t h u b . c o m / a x b o e / f i o [ 1 0 ] :   h t t p s : / / g i t h u b . c o m / p i j e w s k i / f s y n c b o m b [ 1 1 ] :   h t t p s : / / u t c c . u t o r o n t o . c a / ~ c k s / s p a c e / b l o g / s o l a r i s / Z F S H o w M e t a d a t a U p d a t e s [ 1 2 ] :   h t t p : / / w w w . s o l a r i s i n t e r n a l s . c o m / w i k i / i n d e x . p h p / Z F S _ B e s t _ P r a c t i c e s _ G u i d e [ 1 3 ] :   h t t p : / / w w w . s o l a r i s - c o o k b o o k . e u / s o l a r i s / s o l a r i s - 1 0 - z f s - e v i l - t u n i n g - g u i d e / [ 1 4 ] :   h t t p : / / w w w . c u d d l e t e c h . c o m / b l o g / p i v o t / e n t r y . p h p ? i d = 1 0 1 5 推 荐 文 章 推 荐 文 章 点 击 标 题 或 输 入 文 章   I D   直 达 该 文 章
点 击 标 题 或 输 入 文 章   I D   直 达 该 文 章 将 文 章 分 享 给 朋 友 是 对 我 们 最 好 的 赞 赏 ！ 阅 读 原 文
回复

举报

高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

使用Markdown编辑器编辑 使用富文本编辑器编辑

Archiver| 手机版| 小黑屋|
Powered by Discuz! X3.4 Copyright © 2001-2020, Tencent Cloud. 商业源码建议获取授权，如侵犯您的权益，请联系客服处理