搜索

[15811] 2020-09-04_Siem落地方案：初识clickhouse

文档创建者：s7ckTeam
浏览次数：2
最后更新：2025-01-18
2020-09-04_Siem落地方案：初识clickhouse S i e m 落 地 方 案 ： 初 识 c l i c k h o u s e 原 创   陌 度   F r e e B u f   2 0 2 0 - 0 9 - 0 4 简 述 简 述 首 先 ， E L K 是 支 持 S I E M ， 一 开 始 我 也 是 用 E L K 进 行 数 据 收 集 、 数 据 展 示 和 数 据 分 析 ， 但 是 逐 渐 到 后 面 ， 有 一 些 功 能 需 求 使 用 查 询 语 句 是 非 常 复 杂 ， 虽 然 E L K 提 供 云 S I E M ， 但 是 作 为 动 手 能 力 非 常 强 的 人 （ 穷 穷 ） ， 就 有 放 弃 E L K 这 个 想 法 。 后 来 某 大 佬 说 c l i c k h o u s e 非 常 香 ， 于 是 就 开 始 去 了 解 这 个 东 西 。 c l i c k h o u s e （ 以 下 简 称 C H ） 是 列 式 数 据 库 ， 作 为 数 据 库 小 白 ， 当 然 要 查 询 一 下 与 传 统 行 式 数 据 库 的 区 别 ， 看 起 来 好 像 列 式 数 据 库 很 厉 害 。 下 图 是 官 方 对 于 行 式 和 列 式 数 据 库 查 询 的 对 比 ， 可 以 看 到 行 式 是 扫 描 全 表 ， 而 列 式 数 据 库 是 直 接 找 到 相 关 列 的 数 据 ， 查 询 速 度 不 言 而 喻 。
说 明 一 下 ， 应 用 场 景 不 同 采 用 的 架 构 方 案 不 同 。 为 什 么 C H 会 适 合 做 S I E M 呢 ？ 咱 们 看 看 官 方 对 于 C H 功 能 特 点 描 述 O L A P 场 景 的 关 键 特 征 场 景 的 关 键 特 征 大 多 数 是 读 请 求 （ s i e m 展 示 就 是 查 询 语 句 去 查 询 ， 所 以 大 多 数 是 读 请 求 展 示 就 是 查 询 语 句 去 查 询 ， 所 以 大 多 数 是 读 请 求 ） 数 据 总 是 以 相 当 大 的 批 ( >   1 0 0 0   r o w s ) 进 行 写 入 （ 成 千 上 万 服 务 器 的 日 志 量 存 储 怕 不 止 成 千 上 万 服 务 器 的 日 志 量 存 储 怕 不 止 1 千 行 吧 千 行 吧 ） 不 修 改 已 添 加 的 数 据 （ s i e m 就 是 要 日 志 存 储 ， 要 修 改 他 数 据 干 嘛 就 是 要 日 志 存 储 ， 要 修 改 他 数 据 干 嘛 ） 每 次 查 询 都 从 数 据 库 中 读 取 大 量 的 行 ， 但 是 同 时 又 仅 需 要 少 量 的 列 （ 查 询 特 定 列 的 大 量 行 内 容 查 询 特 定 列 的 大 量 行 内 容 ） 宽 表 ， 即 每 个 表 包 含 着 大 量 的 列 （ 对 的 ， 有 大 量 的 字 段 ， 这 边 字 段 有 上 百 个 对 的 ， 有 大 量 的 字 段 ， 这 边 字 段 有 上 百 个 ） 较 少 的 查 询 ( 确 实 不 多 ， 确 实 不 多 ， s i e m 展 示 的 展 示 的 S Q L 也 不 超 过 几 百 条 查 询 语 句 也 不 超 过 几 百 条 查 询 语 句 ) 对 于 简 单 查 询 ， 允 许 延 迟 大 约 5 0 毫 秒 （ 这 个 是 允 许 的 ， 相 对 于 这 个 是 允 许 的 ， 相 对 于 E S 查 询 ， 这 个 真 香 查 询 ， 这 个 真 香 ） 列 中 的 数 据 相 对 较 小 ： 数 字 和 短 字 符 串 ( 例 如 ， 每 个 例 如 ， 每 个 U R L   6 0 个 字 节 个 字 节 ) 处 理 单 个 查 询 时 需 要 高 吞 吐 量 （ 每 个 服 务 器 每 秒 高 达 数 十 亿 行 每 个 服 务 器 每 秒 高 达 数 十 亿 行 ） 事 务 不 是 必 须 的 （ 不 用 做 事 务 操 作 不 用 做 事 务 操 作 ） 对 数 据 一 致 性 要 求 低 （ 这 块 还 没 有 研 究 ， 目 前 没 这 个 需 求 ， 以 后 出 现 再 补 回 来 ） 每 一 个 查 询 除 了 一 个 大 表 外 都 很 小 查 询 结 果 明 显 小 于 源 数 据 ， （ 数 据 被 过 滤 或 聚 合 后 能 够 被 盛 放 在 单 台 服 务 器 的 内 存 中 数 据 被 过 滤 或 聚 合 后 能 够 被 盛 放 在 单 台 服 务 器 的 内 存 中 ） 那 么 按 照 这 些 关 键 特 征 ， 很 满 足 咱 们 对 于 s i e m 存 储 和 查 询 的 功 能 ， 接 下 来 就 实 战 看 看 是 不 是 如 此 。 安 装 安 装 官 方 有 y u m 源 ， 可 以 直 接 通 过 y u m 进 行 安 装 。
导 入 仓 库 地 址 信 息 安 装 C H 服 务 端 和 客 户 端 。 安 装 之 后 ， 启 动 服 务 使 用 客 户 端 进 行 进 去 ， 默 认 是 走 9 0 0 0 端 口 通 信 ， 并 且 没 有 密 码 认 证 实 战 实 战 C H 核 心 是 数 据 引 擎 ， 也 就 是 t a b l e 处 理 方 法 ， 我 这 边 使 用 T i n y L o g 和 M e r g e T r e e ， 前 者 存 储 数 据 量 最 好 不 能 过 百 万 ， 用 来 做 一 些 表 的 对 比 和 记 录 ； 后 者 是 可 以 做 基 于 时 间 的 时 序 数 据 库 ， 用 来 后 面 g r a f a n a 展 示 使 用 的 。 具 体 的 细 节 可 以 参 考 这 边 文 章 ： C l i c k H o u s e   快 速 入 门 开 发 我 这 边 补 充 一 下 细 节 ， 测 试 发 现 我 这 边 补 充 一 下 细 节 ， 测 试 发 现 C H 不 支 持 存 储 过 程 ， 假 如 要 写 递 归 功 能 ， 抱 歉 不 支 持 。 不 过 不 支 持 存 储 过 程 ， 假 如 要 写 递 归 功 能 ， 抱 歉 不 支 持 。 不 过 C H 定 义 了 递 归 功 定 义 了 递 归 功 能 ， 针 对 于 找 爸 爸 的 功 能 （ 子 能 ， 针 对 于 找 爸 爸 的 功 能 （ 子 I D 找 父 找 父 I D ） ， 说 实 话 这 个 功 能 还 是 有 缺 陷 的 ， 测 试 发 现 ， 量 大 会 出 现 找 爸 爸 错 ） ， 说 实 话 这 个 功 能 还 是 有 缺 陷 的 ， 测 试 发 现 ， 量 大 会 出 现 找 爸 爸 错 误 。 误 。 C H 查 询 语 句 跟 M Y S Q L 差 不 多 ， 大 体 上 是 一 致 的 ， 不 同 的 地 方 可 以 翻 文 档 查 按 照 官 方 文 档 ， 我 下 载 了 他 们 脱 敏 的 数 据 库 ， 导 入 进 去 ， 有 两 个 表 。 s u d o   y u m   i n s t a l l   y u m - u t i l s s u d o   r p m   - - i m p o r t   h t t p s : / / r e p o . c l i c k h o u s e . t e c h / C L I C K H O U S E - K E Y . G P G s u d o   y u m - c o n f i g - m a n a g e r   - - a d d - r e p o   h t t p s : / / r e p o . c l i c k h o u s e . t e c h / r p m / s t a b l e / x 8 6 _ 6 4 s u d o   y u m   i n s t a l l   c l i c k h o u s e - s e r v e r   c l i c k h o u s e - c l i e n t / e t c / i n i t . d / c l i c k h o u s e - s e r v e r   s t a r t
查 看 其 中 一 个 表 结 构 ， 都 有 1 3 3 个 列 我 这 边 测 试 机 器 是 双 核 8 G 虚 拟 机 ， 查 询 速 度 3 亿 行 数 据 ， 需 要 1 分 钟 ， 因 为 列 式 数 据 库 是 吃 内 存 的 ， 所 以 内 存 越 大 查 询 速 度 越 快 。
查 询 两 个 列 ， 可 以 看 到 速 度 简 直 无 敌 聚 合 查 询 也 是 如 此
精 彩 推 荐 精 彩 推 荐
阅 读 原 文
回复

举报

高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

使用Markdown编辑器编辑 使用富文本编辑器编辑

Archiver| 手机版| 小黑屋|
Powered by Discuz! X3.4 Copyright © 2001-2020, Tencent Cloud. 商业源码建议获取授权，如侵犯您的权益，请联系客服处理