搜索

[22121] 2021-06-30_搞懂ELK并不是一件特别难的事

文档创建者：s7ckTeam
浏览次数：5
最后更新：2025-01-18
2021-06-30_搞懂ELK并不是一件特别难的事 搞 懂 E L K 并 不 是 一 件 特 别 难 的 事 L e m o n S e c   2 0 2 1 - 0 6 - 3 0 本 篇 文 章 主 要 介 绍 E L K 的 一 些 框 架 组 成 ， 原 理 和 实 践 ， 采 用 的 E L K 本 版 为 7 . 7 . 0 版 本 。 E L K 介 绍 介 绍 E L K 简 介 简 介 E L K 是 E l a s t i c s e a r c h 、 L o g s t a s h 、 K i b a n a 三 大 开 源 框 架 首 字 母 大 写 简 称 （ 但 是 后 期 出 现 的 F i l e b e a t （ b e a t s 中 的 一 种 ） 可 以 用 来 替 代 L o g s t a s h 的 数 据 收 集 功 能 ， 比 较 轻 量 级 ） 。 市 面 上 也 被 成 为 E l a s t i c   S t a c k 。 F i l e b e a t 是 用 于 转 发 和 集 中 日 志 数 据 的 轻 量 级 传 送 工 具 。 F i l e b e a t 监 视 您 指 定 的 日 志 文 件 或 位 置 ， 收 集 日 志 事 件 ， 并 将 它 们 转 发 到 E l a s t i c s e a r c h 或   L o g s t a s h 进 行 索 引 。 F i l e b e a t 的 工 作 方 式 如 下 ： 启 动 F i l e b e a t 时 ， 它 将 启 动 一 个 或 多 个 输 入 ， 这 些 输 入 将 在 为 日 志 数 据 指 定 的 位 置 中 查 找 。 对 于 F i l e b e a t 所 找 到 的 每 个 日 志 ， F i l e b e a t 都 会 启 动 收 集 器 。 每 个 收 集 器 都 读 取 单 个 日 志 以 获 取 新 内 容 ， 并 将 新 日 志 数 据 发 送 到 l i b b e a t ， l i b b e a t 将 聚 集 事 件 ， 并 将 聚 集 的 数 据 发 送 到 为 F i l e b e a t 配 置 的 输 出 。 L o g s t a s h 是 免 费 且 开 放 的 服 务 器 端 数 据 处 理 管 道 ， 能 够 从 多 个 来 源 采 集 数 据 ， 转 换 数 据 ， 然 后 将 数 据 发 送 到 您 最 喜 欢 的 “ 存 储 库 ” 中 。 L o g s t a s h 能 够 动 态 地 采 集 、 转 换 和 传 输 数 据 ， 不 受 格 式 或 复 杂 度 的 影 响 。 利 用 G r o k 从 非 结 构 化 数 据 中 派 生 出 结 构 ， 从 I P 地 址 解 码 出 地 理 坐 标 ， 匿 名 化 或 排 除 敏 感 字 段 ， 并 简 化 整 体 处 理 过 程 。 E l a s t i c s e a r c h 是 E l a s t i c   S t a c k 核 心 的 分 布 式 搜 索 和 分 析 引 擎 ， 是 一 个 基 于 L u c e n e 、 分 布 式 、 通 过 R e s t f u l 方 式 进 行 交 互 的 近 实 时 搜 索 平 台 框 架 。 E l a s t i c s e a r c h 为 所 有 类 型 的 数 据 提 供 近 乎 实 时 的 搜 索 和 分 析 。 无 论 您 是 结 构 化 文 本 还 是 非 结 构 化 文 本 ， 数 字 数 据 或 地 理 空 间 数 据 ， E l a s t i c s e a r c h 都 能 以 支 持 快 速 搜 索 的 方 式 有 效 地 对 其 进 行 存 储 和 索 引 。 K i b a n a 是 一 个 针 对 E l a s t i c s e a r c h 的 开 源 分 析 及 可 视 化 平 台 ， 用 来 搜 索 、 查 看 交 互 存 储 在 E l a s t i c s e a r c h 索 引 中 的 数 据 。 使 用 K i b a n a ， 可 以 通 过 各 种 图 表 进 行 高 级 数 据 分 析 及 展 示 。 并 且 可 以 为 L o g s t a s h 和 E l a s t i c S e a r c h 提 供 的 日 志 分 析 友 好 的 W e b   界 面 ， 可 以 汇 总 、 分 析 和 搜 索 重 要 数 据 日 志 。 还 可 以 让 海 量 数 据 更 容 易 理 解 。 它 操 作 简 单 ， 基 于 浏 览 器 的 用 户 界 面 可 以 快 速 创 建 仪 表 板 （ D a s h b o a r d ） 实 时 显 示 E l a s t i c s e a r c h 查 询 动 态 。 为 什 么 要 使 用 为 什 么 要 使 用 E L K 日 志 主 要 包 括 系 统 日 志 、 应 用 程 序 日 志 和 安 全 日 志 。 系 统 运 维 和 开 发 人 员 可 以 通 过 日 志 了 解 服 务 器 软 硬 件 信 息 、 检 查 配 置 过 程 中 的 错 误 及 错 误 发 生 的 原 因 。 经 常 分 析 日 志 可 以 了 解 服 务 器 的 负 荷 ， 性 能 安 全 性 ， 从 而 及 时 采 取 措 施 纠 正 错 误 。 往 往 单 台 机 器 的 日 志 我 们 使 用 g r e p 、 a w k 等 工 具 就 能 基 本 实 现 简 单 分 析 ， 但 是 当 日 志 被 分 散 的 储 存 不 同 的 设 备 上 。 如 果 你 管 理 数 十 上 百 台 服 务 器 ， 你 还 在 使 用 依 次 登 录 每 台 机 器 的 传 统 方 法 查 阅 日 志 。 这 样 是 不 是 感 觉 很 繁 琐 和 效 率 低 下 。 当 务 之 急 我 们 使 用 集 中 化 的 日 志 管 理 ， 例 如 ： 开 源 的 S y s l o g ， 将 所 有 服 务 器 上 的 日 志 收 集 汇 总 。 集 中 化 管 理 日 志 后 ， 日 志 的 统 计 和 检 索 又 成 为 一 件 比 较 麻 烦 的 事 情 ， 一 般 我 们 使 用 g r e p 、 a w k 和 w c 等 L i n u x 命 令 能 实 现 检 索 和 统 计 ， 但 是 对 于 要 求 更 高 的 查 询 、 排 序 和 统 计 等 要 求 和 庞 大 的 机 器 数 量 依 然 使 用 这 样 的 方 法 难 免 有 点 力 不 从 心 。 一 般 大 型 系 统 是 一 个 分 布 式 部 署 的 架 构 ， 不 同 的 服 务 模 块 部 署 在 不 同 的 服 务 器 上 ， 问 题 出 现 时 ， 大 部 分 情 况 需 要 根 据 问 题 暴 露 的 关 键 信 息 ， 定 位 到 具 体 的 服 务 器 和 服 务 模 块 ， 构 建 一 套 集 中 式 日 志 系 统 ， 可 以 提 高 定 位 问 题 的 效 率 。
完 整 日 志 系 统 基 本 特 征 完 整 日 志 系 统 基 本 特 征 收 集 ： 能 够 采 集 多 种 来 源 的 日 志 数 据 传 输 ： 能 够 稳 定 的 把 日 志 数 据 解 析 过 滤 并 传 输 到 存 储 系 统 存 储 ： 存 储 日 志 数 据 分 析 ： 支 持 U I 分 析 警 告 ： 能 够 提 供 错 误 报 告 ， 监 控 机 制 E L K 架 构 分 析 架 构 分 析 B e a t s   +   E l a s t i c s e a r c h   +   K i b a n a 模 式 模 式 如 上 图 所 示 ， 该 E L K 框 架 由 B e a t s （ 日 志 分 析 我 们 通 常 使 用 F i l e b e a t ） +   E l a s t i c s e a r c h   +   K i b a n a 构 成 ， 这 个 框 架 比 较 简 单 ， 入 门 级 的 框 架 。 其 中 F i l e b e a t 也 能 通 过 m o d u l e 对 日 志 进 行 简 单 的 解 析 和 索 引 。 并 查 看 预 建 的 K i b a n a 仪 表 板 。 该 框 架 适 合 简 单 的 日 志 数 据 ， 一 般 可 以 用 来 玩 玩 ， 生 产 环 境 建 议 接 入 L o g s t a s h 。 B e a t s   +   L o g s t a s h   +   E l a s t i c s e a r c h   +   K i b a n a 模 式 模 式
该 框 架 是 在 上 面 的 框 架 的 基 础 上 引 入 了 L o g s t a s h ， 引 入 L o g s t a s h 带 来 的 好 处 如 下 ： 通 L o g s t a s h 具 有 基 于 磁 盘 的 自 适 应 缓 冲 系 统 ， 该 系 统 将 吸 收 传 入 的 吞 吐 量 ， 从 而 减 轻 背 压 从 其 他 数 据 源 （ 例 如 数 据 库 ， S 3 或 消 息 传 递 队 列 ） 中 提 取 将 数 据 发 送 到 多 个 目 的 地 ， 例 如 S 3 ， H D F S 或 写 入 文 件 使 用 条 件 数 据 流 逻 辑 组 成 更 复 杂 的 处 理 管 道 F i l e b e a t 结 合 L o g s t a s h 带 来 的 优 势 ： 水 平 可 扩 展 性 ， 高 可 用 性 和 可 变 负 载 处 理 ： F i l e b e a t 和 L o g s t a s h 可 以 实 现 节 点 之 间 的 负 载 均 衡 ， 多 个 L o g s t a s h 可 以 实 现 L o g s t a s h 的 高 可 用 。 消 息 持 久 性 与 至 少 一 次 交 付 保 证 ： 使 用 F i l e b e a t 或 W i n l o g b e a t 进 行 日 志 收 集 时 ， 可 以 保 证 至 少 一 次 交 付 。 从 F i l e b e a t 或 W i n l o g b e a t 到 L o g s t a s h 以 及 从 L o g s t a s h 到 E l a s t i c s e a r c h 的 两 种 通 信 协 议 都 是 同 步 的 ， 并 且 支 持 确 认 。 L o g s t a s h 持 久 队 列 提 供 跨 节 点 故 障 的 保 护 。 对 于 L o g s t a s h 中 的 磁 盘 级 弹 性 ， 确 保 磁 盘 冗 余 非 常 重 要 。 具 有 身 份 验 证 和 有 线 加 密 的 端 到 端 安 全 传 输 ： 从 B e a t s 到 L o g s t a s h 以 及 从 L o g s t a s h 到 E l a s t i c s e a r c h 的 传 输 都 可 以 使 用 加 密 方 式 传 递   。 与 E l a s t i c s e a r c h 进 行 通 讯 时 ， 有 很 多 安 全 选 项 ， 包 括 基 本 身 份 验 证 ， T L S ， P K I ， L D A P ， A D 和 其 他 自 定 义 领 域 。 当 然 在 该 框 架 的 基 础 上 还 可 以 引 入 其 他 的 输 入 数 据 的 方 式 ： 比 如 ： T C P ， U D P 和 H T T P 协 议 是 将 数 据 输 入 L o g s t a s h 的 常 用 方 法 （ 如 下 图 所 示 ） ： B e a t s + 缓 存 缓 存 / 消 息 队 列 消 息 队 列 +   L o g s t a s h   +   E l a s t i c s e a r c h   +   K i b a n a 模 式 模 式
在 如 上 的 基 础 上 我 们 可 以 在 B e a t s 和 L o g s t a s h 中 间 添 加 一 些 组 件 R e d i s 、 K a f k a 、 R a b b i t M Q 等 ， 添 加 中 间 件 将 会 有 如 下 好 处 ： 降 低 对 日 志 所 在 机 器 的 影 响 ， 这 些 机 器 上 一 般 都 部 署 着 反 向 代 理 或 应 用 服 务 ， 本 身 负 载 就 很 重 了 ， 所 以 尽 可 能 的 在 这 些 机 器 上 少 做 事 ； 如 果 有 很 多 台 机 器 需 要 做 日 志 收 集 ， 那 么 让 每 台 机 器 都 向 E l a s t i c s e a r c h 持 续 写 入 数 据 ， 必 然 会 对 E l a s t i c s e a r c h 造 成 压 力 ， 因 此 需 要 对 数 据 进 行 缓 冲 ， 同 时 ， 这 样 的 缓 冲 也 可 以 一 定 程 度 的 保 护 数 据 不 丢 失 ； 将 日 志 数 据 的 格 式 化 与 处 理 放 到 I n d e x e r 中 统 一 做 ， 可 以 在 一 处 修 改 代 码 、 部 署 ， 避 免 需 要 到 多 台 机 器 上 去 修 改 配 置 。 E L K 部 署 部 署 E L K 各 个 组 件 的 网 址 可 以 在 官 网 下 载 ： h t t p s : / / w w w . e l a s t i c . c o / c n / 或 者 在 中 文 社 区 下 载 ： h t t p s : / / e l a s t i c s e a r c h . c n / d o w n l o a d / 注 ： 本 次 安 装 都 是 采 用 压 缩 包 的 方 式 安 装 。 F i l e b e a t 的 安 装 介 绍 的 安 装 介 绍 原 理 原 理 F i l e b e a t 的 工 作 方 式 如 下 ： 启 动 F i l e b e a t 时 ， 它 将 启 动 一 个 或 多 个 输 入 ， 这 些 输 入 将 在 为 日 志 数 据 指 定 的 位 置 中 查 找 。 对 于 F i l e b e a t 所 找 到 的 每 个 日 志 ， F i l e b e a t 都 会 启 动 收 集 器 。 每 个 收 集 器 都 读 取 单 个 日 志 以 获 取 新 内 容 ， 并 将 新 日 志 数 据 发 送 到 L i b b e a t ， L i b b e a t 将 聚 集 事 件 ， 并 将 聚 集 的 数 据 发 送 到 为 F i l e b e a t 配 置 的 输 出 。 F i l e b e a t 结 构 ： 由 两 个 组 件 构 成 ， 分 别 是 i n p u t s （ 输 入 ） 和 h a r v e s t e r s （ 收 集 器 ） ， 这 些 组 件 一 起 工 作 来 跟 踪 文 件 并 将 事 件 数 据 发 送 到 您 指 定 的 输 出 ， h a r v e s t e r 负 责 读 取 单 个 文 件 的 内 容 。 h a r v e s t e r 逐 行 读 取 每 个 文 件 ， 并 将 内 容 发 送 到 输 出 。 为 每 个 文 件 启 动 一 个 h a r v e s t e r 。 h a r v e s t e r 负 责 打 开 和 关 闭 文 件 ， 这 意 味 着 文 件 描 述 符 在 h a r v e s t e r 运 行 时 保 持 打 开 状 态 。 如 果 在 收 集 文 件 时 删 除 或 重 命 名 文 件 ， F i l e b e a t 将 继 续 读 取 该 文 件 。 这 样 做 的 副 作 用 是 ， 磁 盘 上 的 空 间 一 直 保 留 到 h a r v e s t e r 关 闭 。 默 认 情 况 下 ， F i l e b e a t 保 持 文 件 打 开 ， 直 到 达 到 c l o s e _ i n a c t i v e 。 简 单 安 装 简 单 安 装
本 文 采 用 压 缩 包 的 方 式 安 装 ， L i n u x 版 本 ， F i l e b e a t - 7 . 7 . 0 - l i n u x - x 8 6 _ 6 4 . t a r . g z 。 c u r l - L - O h t t p s : / / a r t i f a c t s . e l a s t i c . c o / d o w n l o a d s / b e a t s / f i l e b e a t / f i l e b e a t - 7 . 7 . 0 - l i n u x - x 8 6 _ 6 4 . t a r . g z t a r   - x z v f   f i l e b e a t - 7 . 7 . 0 - l i n u x - x 8 6 _ 6 4 . t a r . g z 配 置 示 例 文 件 ： f i l e b e a t . r e f e r e n c e . y m l （ 包 含 所 有 未 过 时 的 配 置 项 ） 配 置 文 件 ： f i l e b e a t . y m l 启 动 命 令 ： . / f i l e b e a t   - e 具 体 的 原 理 、 使 用 、 实 例 见 文 ： h t t p s : / / w w w . c n b l o g s . c o m / z s q l / p / 1 3 1 3 7 8 3 3 . h t m l L o g s t a s h 的 安 装 介 绍 的 安 装 介 绍 基 本 原 理 基 本 原 理 L o g s t a s h 分 为 三 个 步 骤 ： i n p u t s （ 必 须 的 ） →   f i l t e r s （ 可 选 的 ） →   o u t p u t s （ 必 须 的 ） ， i n p u t s 生 成 时 间 ， f i l t e r s 对 其 事 件 进 行 过 滤 和 处 理 ， o u t p u t s 输 出 到 输 出 端 或 者 决 定 其 存 储 在 哪 些 组 件 里 。 i n p u t s 和 o u t p u t s 支 持 编 码 和 解 码 。 L o g s t a s h 管 道 中 的 每 个 i n p u t 阶 段 都 在 自 己 的 线 程 中 运 行 。 将 写 事 件 输 入 到 内 存 （ 默 认 ） 或 磁 盘 上 的 中 心 队 列 。 每 个 管 道 工 作 线 程 从 该 队 列 中 取 出 一 批 事 件 ， 通 过 配 置 的 f i l t e r 处 理 该 批 事 件 ， 然 后 通 过 o u t p u t 输 出 到 指 定 的 组 件 存 储 。 管 道 处 理 数 据 量 的 大 小 和 管 道 工 作 线 程 的 数 量 是 可 配 置 的 。 简 单 安 装 简 单 安 装 下 载 地 址 1 ： h t t p s : / / w w w . e l a s t i c . c o / c n / d o w n l o a d s / l o g s t a s h 下 载 地 址 2 ： h t t p s : / / e l a s t i c s e a r c h . c n / d o w n l o a d / 这 里 需 要 安 装 J D K ， 我 使 用 的 是 E l a s t i c s e a r c h   7 . 7 . 0 自 带 的 J D K ： 解 压 即 安 装 ： t a r   - z x v f   l o g s t a s h - 7 . 7 . 0 . t a r . g z 来 个 L o g s t a s h 版 本 的 H e l l o W o r l d ： . / b i n / l o g s t a s h   - e   ' i n p u t   {   s t d i n   {   }   }   o u t p u t   {   s t d o u t   { }   } '
具 体 的 原 理 、 使 用 、 实 例 见 文 ： h t t p s : / / w w w . c n b l o g s . c o m / z s q l / p / 1 3 1 4 3 4 4 5 . h t m l E l a s t i c s e a r c h 的 安 装 介 绍 的 安 装 介 绍 基 本 介 绍 基 本 介 绍 E l a s t i c s e a r c h （ E S ） 是 一 个 基 于 L u c e n e 构 建 的 开 源 、 分 布 式 、 R E S T f u l 接 口 的 全 文 搜 索 引 擎 。 E l a s t i c s e a r c h 还 是 一 个 分 布 式 文 档 数 据 库 ， 其 中 每 个 字 段 均 可 被 索 引 ， 而 且 每 个 字 段 的 数 据 均 可 被 搜 索 ， E S 能 够 横 向 扩 展 至 数 以 百 计 的 服 务 器 存 储 以 及 处 理 P B 级 的 数 据 。 可 以 在 极 短 的 时 间 内 存 储 、 搜 索 和 分 析 大 量 的 数 据 。 基 本 概 念 有 ： C l u s t e r   集 群 、 N o d e 节 点 、 I n d e x 索 引 、 D o c u m e n t 文 档 、 S h a r d s   &   R e p l i c a s 分 片 与 副 本 等 。 E l a s t i c s e a r c h 的 优 势 ： 分 布 式 ： 横 向 扩 展 非 常 灵 活 ； 全 文 检 索 ： 基 于 L u c e n e 的 强 大 的 全 文 检 索 能 力 ； 近 实 时 搜 索 和 分 析 ： 数 据 进 入 E S ， 可 达 到 近 实 时 搜 索 ， 还 可 进 行 聚 合 分 析 ； 高 可 用 ： 容 错 机 制 ， 自 动 发 现 新 的 或 失 败 的 节 点 ， 重 组 和 重 新 平 衡 数 据 ； 模 式 自 由 ： E S 的 动 态 m a p p i n g 机 制 可 以 自 动 检 测 数 据 的 结 构 和 类 型 ， 创 建 索 引 并 使 数 据 可 搜 索 ； R E S T f u l   A P I ： J S O N   +   H T T P 。 L i n u x 系 统 参 数 设 置 系 统 参 数 设 置 1 、 设 置 系 统 配 置 u l i m i t   # 暂 时 修 改 ， 切 换 到 该 用 户 e s ， u l i m i t   - n   6 5 5 3 5   / e t c / s e c u r i t y / l i m i t s . c o n f   # 永 久 修 改   e s   -     n o f i l e     6 5 5 3 5 u l i m i t   - a   # 查 看 当 前 用 户 的 资 源 限 制 2 、 禁 用 s a w p p i n g
方 式 一 ： s w a p o f f   - a   # 临 时 禁 用 所 有 的 s w a p 文 件 v i m   / e t c / f s t a b   # 注 释 掉 所 有 的 s w a p 相 关 的 行 ， 永 久 禁 用 方 式 二 ： c a t   / p r o c / s y s / v m / s w a p p i n e s s   # 查 看 该 值 s y s c t l   v m . s w a p p i n e s s = 1   # 临 时 修 改 该 值 为 1 v i m   / e t c / s y s c t l . c o n f   # 修 改 文 件   永 久 生 效 v m . s w a p p i n e s s   =   1   # 如 果 有 该 值 ， 则 修 改 该 值 ， 若 没 有 ， 则 追 加 该 选 项 ， s y s c t l   - p 生 效 命 令 方 式 三 ： 配 置 e l a s t i c s e a r c h . y m l 文 件 ， 添 加 如 下 配 置 ： b o o t s t r a p . m e m o r y _ l o c k :   t r u e G E T   _ n o d e s ? f i l t e r _ p a t h = * * . m l o c k a l l     # 检 查 如 上 配 置 是 否 成 功 注 意 ： 如 果 试 图 分 配 比 可 用 内 存 更 多 的 内 存 ， m l o c k a l l 可 能 会 导 致 J V M 或 s h e l l 会 话 退 出 ！ 3 、 配 置 文 件 描 述 符 u l i m i t   - n   6 5 5 3 5     # 临 时 修 改 v i m   / e t c / s e c u r i t y / l i m i t s . c o n f   # 永 久 修 改 e s                   s o f t         n p r o c           6 5 5 3 5 e s                   h a r d         n p r o c           6 5 5 3 5 4 、 配 置 虚 拟 内 存 s y s c t l   - w   v m . m a x _ m a p _ c o u n t = 2 6 2 1 4 4   # 临 时 修 改 该 值 v i m   / e t c / s y s c t l . c o n f   # 永 久 修 改 v m . m a x _ m a p _ c o u n t = 2 6 2 1 4 4 5 、 配 置 线 程 数 u l i m i t   - u   4 0 9 6   # 临 时 修 改 v i m   / e t c / s e c u r i t y / l i m i t s . c o n f   # 永 久 修 改 E l a s t i c s e a r c h 安 装 安 装 E l a s t i c s e a r c h 是 需 要 其 他 用 户 启 动 的 ， 所 以 需 要 先 创 建 一 个 新 的 用 户 E L K ：
g r o u p a d d     e l a s t i c u s e r a d d   e l k   - d   / d a t a / h d 0 5 / e l k   - g   e l a s t i c e c h o   ' 2 e d s e o i r @ '   |   p a s s w d   e l k   - - s t d i n 下 载 ： h t t p s : / / e l a s t i c s e a r c h . c n / d o w n l o a d / 也 可 以 去 官 网 下 载 w g e t ： h t t p s : / / a r t i f a c t s . e l a s t i c . c o / d o w n l o a d s / e l a s t i c s e a r c h / e l a s t i c s e a r c h - 7 . 7 . 0 - l i n u x - x 8 6 _ 6 4 . t a r . g z 解 压 ： t a r   - z x v f   e l a s t i c s e a r c h - 7 . 7 . 0 - l i n u x - x 8 6 _ 6 4 . t a r . g z 建 立 软 链 接 ： l n   – s   e l a s t i c s e a r c h - 7 . 7 . 0   e s 目 录 介 绍 ： $ E S _ H O M E ： / d a t a / h d 0 5 / e l k / e l a s t i c s e a r c h - 7 . 7 . 0 b i n :   $ E S _ H O M E / b i n     # E S 启 动 命 令 和 插 件 安 装 命 令 c o n f ： $ E S _ H O M E / c o n f   # e l a s t i c s e a r c h . y m l 配 置 文 件 目 录 d a t a ： $ E S _ H O M E / d a t a     # 对 应 的 参 数 p a t h . d a t a ， 用 于 存 放 索 引 分 片 数 据 文 件 l o g s ： $ E S _ H O M E / l o g s     # 对 应 的 参 数 p a t h . l o g s ， 用 于 存 放 日 志 j d k ： $ E S _ H O M E / j d k     # 自 带 支 持 该 E S 版 本 的 J D K p l u g i n s ：   $ E S _ H O M E / j p l u g i n s   # 插 件 存 放 目 录 l i b ：   $ E S _ H O M E / l i b   # 存 放 依 赖 包 ， 比 如 J a v a 类 库 m o d u l e s ：   $ E S _ H O M E / m o d u l e s   # 包 含 所 有 的 E S 模 块 配 置 自 带 的 J a v a 环 境 ： V i m   ~ / . b a s h r c # # # # # # # # # # # # 往 后 面 添 加 如 下 内 容 # # # # # # # # # # # # # # # # # # # # # # e x p o r t   J A V A _ H O M E = / d a t a / h d 0 5 / e l k / e s / j d k e x p o r t   P A T H = J A V A H O M E / b i n : P A T H e x p o r t   C L A S S P A T H = . : $ J A V A _ H O M E / l i b / d t . j a r : / l i b / t o o l s . j a r j v m . o p t i o n s 文 件 说 明 ：
配 置 J a v a 参 数 一 种 是 通 过 修 改 / d a t a / h d 0 5 / e l k / e l a s t i c s e a r c h - 7 . 7 . 0 / c o n f i g / j v m . o p t i o n s 文 件 修 改 J V M 参 数 ， 一 个 使 用 过 一 个 变 量 E S _ J A V A _ O P T S 来 声 明 J V M 参 数 / d a t a / h d 0 5 / e l k / e l a s t i c s e a r c h - 7 . 7 . 0 / c o n f i g / j v m . o p t i o n s 介 绍 ： 8 : - X m x 2 g     # 表 示 只 适 合 J a v a   8 8 - : - X m x 2 g     # 表 示 适 合 高 于 J a v a   8 的 版 本 8 - 9 : - X m x 2 g   # 表 示 适 合 J a v a   8 ， 和 J a v a   9 其 他 配 置 ， 都 是 J V M 的 相 关 参 数 ， 如 果 要 想 明 白 ， 得 去 看 J a v a 虚 拟 机 通 过 变 量 E S _ J A V A _ O P T S 来 声 明 J V M 参 数 ： 例 如 ： e x p o r t   E S _ J A V A _ O P T S = " $ E S _ J A V A _ O P T S   - D j a v a . i o . t m p d i r = / p a t h / t o / t e m p / d i r " . / b i n / e l a s t i c s e a r c h 配 置 c o n f i g / j v m . o p t i o n s ： [ e l k @ l g h   c o n f i g ] $   c a t     j v m . o p t i o n s     |   e g r e p   - v   ' ^ $ | # '                                   - X m s 2 g - X m x 2 g 8 - 1 3 : - X X : + U s e C o n c M a r k S w e e p G C 8 - 1 3 : - X X : C M S I n i t i a t i n g O c c u p a n c y F r a c t i o n = 7 5 8 - 1 3 : - X X : + U s e C M S I n i t i a t i n g O c c u p a n c y O n l y 1 4 - : - X X : + U s e G 1 G C 1 4 - : - X X : G 1 R e s e r v e P e r c e n t = 2 5 1 4 - : - X X : I n i t i a t i n g H e a p O c c u p a n c y P e r c e n t = 3 0 - D j a v a . i o . t m p d i r = $ { E S _ T M P D I R } - X X : + H e a p D u m p O n O u t O f M e m o r y E r r o r - X X : H e a p D u m p P a t h = d a t a - X X : E r r o r F i l e = l o g s / h s _ e r r _ p i d % p . l o g 8 : - X X : + P r i n t G C D e t a i l s 8 : - X X : + P r i n t G C D a t e S t a m p s 8 : - X X : + P r i n t T e n u r i n g D i s t r i b u t i o n 8 : - X X : + P r i n t G C A p p l i c a t i o n S t o p p e d T i m e 8 : - X l o g g c : l o g s / g c . l o g 8 : - X X : + U s e G C L o g F i l e R o t a t i o n 8 : - X X : N u m b e r O f G C L o g F i l e s = 3 2 8 : - X X : G C L o g F i l e S i z e = 6 4 m 9 - : - X l o g : g c * , g c + a g e = t r a c e , s a f e p o i n t : f i l e = l o g s / g c . l o g : u t c t i m e , p i d , t a g s : f i l e c o u n t = 3 2 , f i l e s i z e = 6 4 m 配 置 加 密 通 信 证 书 ： 生 成 证 书 ：
方 法 一 ： . / b i n / e l a s t i c s e a r c h - c e r t u t i l   c a   - o u t   c o n f i g / e l a s t i c - c e r t i f i c a t e s . p 1 2   - p a s s   " p a s s w o r d " 查 看 c o n f i g 目 录 ， 有 e l a s t i c - c e r t i f i c a t e s . p 1 2 文 件 生 成 ： 方 法 二 ： . / b i n / e l a s t i c s e a r c h - c e r t u t i l   c a     # 创 建 集 群 认 证 机 构 ， 需 要 交 互 输 入 密 码 . / b i n / e l a s t i c s e a r c h - c e r t u t i l   c e r t   - - c a   e l a s t i c - s t a c k - c a . p 1 2     # 为 节 点 颁 发 证 书 ， 与 上 面 密 码 一 样 执 行 . / b i n / e l a s t i c s e a r c h - k e y s t o r e   a d d   x p a c k . s e c u r i t y . t r a n s p o r t . s s l . k e y s t o r e . s e c u r e _ p a s s w o r d   并 输 入 第 一 步 输 入 的 密 码   执 行 . / b i n / e l a s t i c s e a r c h - k e y s t o r e   a d d   x p a c k . s e c u r i t y . t r a n s p o r t . s s l . t r u s t s t o r e . s e c u r e _ p a s s w o r d   并 输 入 第 一 步 输 入 的 密 码   将 生 成 的 e l a s t i c - c e r t i f i c a t e s . p 1 2 、 e l a s t i c - s t a c k - c a . p 1 2 文 件 移 动 到 c o n f i g 目 录 下 配 置 c o n f i g / e l a s t i c s e a r c h . y m l ：
回复

举报

高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

使用Markdown编辑器编辑 使用富文本编辑器编辑

Archiver| 手机版| 小黑屋|
Powered by Discuz! X3.4 Copyright © 2001-2020, Tencent Cloud. 商业源码建议获取授权，如侵犯您的权益，请联系客服处理