搜索

[28023] 2020-01-03_FabricKafka入门

文档创建者：s7ckTeam
浏览次数：2
最后更新：2025-01-19
2020-01-03_FabricKafka入门 F a b r i c   K a f k a 入 门 O t s 安 全   2 0 2 0 - 0 1 - 0 3 H y p e r l e d g e r   F a b r i c 推 荐 K a f a 用 于 生 产 环 境 。 K a f a 是 一 个 分 布 式 、 具 有 水 平 伸 缩 能 力 、 崩 溃 容 错 能 力 的 日 志 系 统 。 在 H y p e r l e d g e r   F a b r i c 区 块 链 中 可 以 有 多 个 K a f k a 节 点 ， 使 用 z o o k e e p e r 进 行 同 步 管 理 。 本 文 将 介 绍 K f a k a 的 基 本 工 作 原 理 ， 以 及 在 H y p e r l e d g e r F a b r i c 中 使 用 K a f k a 和 z o o k e e p e r 实 现 共 识 的 原 理 ， 并 通 过 一 个 实 例 剖 析 H y p e r l e d g e r   F a r b i c 中 K a f k a 共 识 的 达 成 过 程 。 如 果 希 望 快 速 掌 握 F a b r i c 区 块 链 的 链 码 及 应 用 开 发 ， 建 议 访 问 汇 智 网 的 在 线 互 动 课 程 ： F a b r i c 区 块 链 J a v a 开 发 详 解 F a b r i c 区 块 链 N o d e J s 开 发 详 解 一 、 一 、 K a f k a 工 作 原 理 工 作 原 理 K a f k a 本 质 上 是 一 个 消 息 处 理 系 统 ， 它 使 用 的 是 经 典 的 发 布 - 订 阅 模 型 。 消 息 的 消 费 者 订 阅 特 定 的 主 题 ， 以 便 收 到 新 消 息 的 通 知 ， 生 产 者 则 负 责 消 息 的 发 布 。 当 主 题 的 数 据 规 模 变 得 越 来 越 大 时 ， 可 以 拆 分 为 多 个 分 区 ， K a f k a 保 障 在 一 个 分 区 内 的 消 息 是 按 顺 序 排 列 的 。 K a f k a 并 不 跟 踪 消 费 者 读 取 了 哪 些 消 息 ， 也 不 会 自 动 删 除 已 经 读 取 的 消 息 。 K a f k a 会 保 存 消 息 一 段 时 间 ， 例 如 一 天 ， 或 者 直 到 数 据 规 模 超 过 一 定 的 阈 值 。 消 费 者 需 要 轮 询 新 的 消 息 ， 这 是 的 他 们 可 以 根 据 自 己 的 需 求 来 定 位 消 息 ， 因 此 可 以 重 放 或 重 新 处 理 事 件 。 消 费 者 处 于 不 同 的 消 费 者 分 组 ， 对 应 一 个 或 多 个 消 费 者 进 程 。 每 个 分 区 被 分 贝 给 单 一 的 消 费 者 进 程 ， 因 此 同 样 的 消 息 不 会 被 多 次 读 取 。 崩 溃 容 错 机 制 是 通 过 在 多 个 K a f k a 代 理 之 间 复 制 分 区 来 实 现 的 。 因 此 如 果 一 个 代 理 由 于 软 件 或 硬 件 故 障 挂 掉 ， 数 据 也 不 会 丢 失 。 当 然 接 下 来 还 需 要 一 个 领 导 - 跟 随 机 制 ， 领 导 者 持 有 分 区 ， 跟 随 者 则 进 行 分 区 的 复 制 。 当 领 导 者 挂 掉 后 ， 会 有 某 个 跟 随 者 转 变 为 新 的 领 导 者 。 如 果 一 个 消 费 者 订 阅 了 某 个 主 体 ， 那 么 它 怎 么 知 道 从 哪 个 分 区 领 导 者 来 读 取 订 阅 的 消 息 ？ 答 案 在 于 z o o k e e p e r 服 务 。 z o o k e e p e r 是 一 个 分 布 式 k e y - v a l u e 存 储 库 ， 通 常 用 于 存 储 元 数 据 及 集 群 机 制 的 实 现 。 z o o k e e p e r 允 许 服 务 （ K a f k a 代 理 ） 的 客 户
端 订 阅 变 化 并 获 得 实 时 通 知 。 这 就 是 代 理 如 何 确 定 应 当 使 用 哪 个 分 区 领 导 者 的 原 因 。 z o o k e e p e r 有 超 强 的 故 障 容 错 能 力 ， 因 此 K a f k a 的 运 行 严 重 依 赖 于 它 。 在 z o o k e e p e r 中 存 储 的 元 数 据 包 括 ： 消 费 者 分 组 在 每 个 分 区 的 读 取 偏 移 量 访 问 控 制 清 单 ， 用 于 访 问 授 权 与 限 制 生 产 者 及 消 费 者 配 额 ， 每 秒 最 多 消 息 数 量 分 区 领 导 者 及 健 康 信 息 二 、 二 、 H y p e r l e d g e r   F a b r i c 中 的 中 的 K a f k a 要 理 解 在 超 级 账 本 H y p e r l e d g e r   F a b r i c 中 的 K a f k a 是 如 何 工 作 的 ， 首 先 需 要 理 解 几 个 重 要 的 术 语 ： C h a i n   -   指 的 是 一 组 客 户 端 （ 通 道 / c h a n n e l ） 可 以 访 问 的 日 志 C h a n n e l   -   一 个 通 道 类 似 于 一 个 主 题 ， 授 权 的 对 等 节 点 （ p e e r ） 可 以 订 阅 并 且 成 为 通 道 的 成 员 。 只 有 通 道 的 成 员 可 以 在 通 道 上 交 易 ， 一 个 通 道 中 的 交 易 在 其 他 通 道 中 看 不 到 。 O S N   -   即 排 序 服 务 节 点 （ O r d e r i n g   S e r v i c e   N o d e ） ， 在 F a b r i c 中 被 称 为 排 序 节 点 。 排 序 节 点 负 责 ： 进 行 客 户 鉴 权 允 许 客 户 端 通 过 一 个 简 单 的 接 口 写 入 或 读 取 通 道 执 行 配 置 交 易 的 过 滤 与 验 证 ， 实 现 通 道 的 重 新 配 置 或 创 建 新 的 通 道 R P C   -   即 远 程 过 程 调 用 （ R e m o t e   P r o c e d u r e   C a l l ） ， 是 一 种 用 于 调 用 其 他 机 器 上 的 服 务 而 无 需 了 解   通 信 与 实 现 细 节 的 通 信 协 议 ， 目 的 是 像 调 用 本 地 函 数 一 样 调 用 网 络 中 其 他 机 器 上 的 函 数 广 播 P R C   -   交 易 提 交 调 用 ， 由 排 序 节 点 执 行 分 发 R P C   -   交 易 分 发 请 求 ， 当 交 易 由 k a f k a 代 理 处 理 后 ， 分 发 给 请 求 节 点 注 意 ， 虽 然 在 H y p e r l e d g e r   F a b r i c 中 K a f k a 被 称 为 共 识 （ C o n s e n s u s ） ， 但 是 其 核 心 是 交 易 排 序 服 务 以 及 额 外 的 崩 溃 容 错 能 力 。 在 H y p e r l e d g e r   F a b r i c 中 的 K a f k a 实 际 运 行 逻 辑 如 下 ： 对 于 每 一 条 链 ， 都 有 一 个 对 应 的 分 区 每 个 链 对 应 一 个 单 一 的 分 区 主 题 排 序 节 点 负 责 将 来 自 特 定 链 的 交 易 （ 通 过 广 播 R P C 接 收 ） 中 继 到 对 应 的 分 区 排 序 节 点 可 以 读 取 分 区 并 获 得 在 所 有 排 序 节 点 间 达 成 一 致 的 排 序 交 易 列 表 一 个 链 中 的 交 易 是 定 时 分 批 处 理 的 ， 也 就 是 说 当 一 个 新 的 批 次 的 第 一 个 交 易 进 来 时 ， 开 始 计 时 当 交 易 达 到 最 大 数 量 时 或 超 时 后 进 行 批 次 切 分 ， 生 成 新 的 区 块 定 时 交 易 是 另 一 个 交 易 ， 由 上 面 描 述 的 定 时 器 生 成 每 个 排 序 节 点 为 每 个 链 维 护 一 个 本 地 日 志 ， 生 成 的 区 块 保 存 在 本 地 账 本 中 交 易 区 块 通 过 分 发 R P C 返 回 客 户 端 当 发 生 崩 溃 时 ， 可 以 利 用 不 同 的 排 序 节 点 分 发 区 块 ， 因 为 所 有 的 排 序 节 点 都 维 护 有 本 地 日 志
三 、 三 、 H y p e r l e d g e r   F a b r i c   K a f k a 实 例 解 析 实 例 解 析 考 虑 下 图 ， 假 设 排 序 节 点 O S N 0 和 O S N 2 时 连 接 到 广 播 客 户 端 ， O S N 1 连 接 到 分 发 客 户 端 。 O S N 0 已 经 有 了 交 易 f o o ， 中 继 到 k a f k a 集 群 此 时 O S N 2 将 交 易 b a z 广 播 到 集 群 中 最 后 ， 交 易 b a r 由 O S N 0 发 送 到 集 群 中 集 群 现 在 有 三 个 交 易 ， 可 以 在 图 中 看 到 三 个 交 易 的 在 日 志 中 的 位 置 偏 移 量 客 户 端 发 送 分 发 请 求 ， 在 O S N 1 的 本 地 日 志 中 ， 上 述 三 个 交 易 在 4 # 区 块 里 。 因 此 O S N 1 将 4 # 区 块 返 回 客 户 端 ， 处 理 结 束 K a k f a 的 高 性 能 对 于 H y p e r l e d g e r   F a b r i c 有 很 大 的 帮 助 ， 多 个 排 序 节 点 通 过 K a f k a 实 现 同 步 ， 而 K a f k a 本 身 并 不 是 排 序 节 点 ， 它 只
是 将 排 序 节 点 通 过 流 连 接 起 来 。 虽 然 K a f k a 支 持 崩 溃 容 错 ， 它 并 不 能 提 供 对 网 络 中 恶 意 攻 击 的 保 护 。 需 要 一 种 拜 占 庭 容 错 方 案 （ B F T ） 才 可 以 对 抗 恶 意 的 攻 击 ， 但 是 目 前 在 F a r b i c 框 架 中 还 有 待 实 现 这 一 机 制 。 总 而 言 之 ， 在 H y p e r l e d g e r   F a r b i c 中 ， K a f k a 共 识 模 块 是 可 以 用 于 生 产 环 境 的 ， 它 可 以 支 持 崩 溃 容 错 ， 但 无 法 对 抗 恶 意 攻 击 。 阅 读 原 文
回复

举报

高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

使用Markdown编辑器编辑 使用富文本编辑器编辑

Archiver| 手机版| 小黑屋|
Powered by Discuz! X3.4 Copyright © 2001-2020, Tencent Cloud. 商业源码建议获取授权，如侵犯您的权益，请联系客服处理