搜索

[24254] 2015-09-04_Linux日志管理指南

文档创建者：s7ckTeam
浏览次数：2
最后更新：2025-01-18
2015-09-04_Linux日志管理指南 L i n u x   日 志 管 理 指 南 原 创   w y a n g s u n   L i n u x 中 国   2 0 1 5 - 0 9 - 0 4 管 理 日 志 的 一 个 最 好 做 法 是 将 你 的 日 志 集 中 或 整 合 到 一 个 地 方 ， 特 别 是 在 你 有 许 多 服 务 器 或 多 层 级 架 构 时 。 我 们 将 告 诉 你 为 什 么 这 是 一 个 好 主 意 ， 然 后 给 出 如 何 更 容 易 的 做 这 件 事 的 一 些 小 技 巧 。 集 中 管 理 日 志 的 好 处 如 果 你 有 很 多 服 务 器 ， 查 看 某 个 日 志 文 件 可 能 会 很 麻 烦 。 现 代 的 网 站 和 服 务 经 常 包 括 许 多 服 务 器 层 级 、 分 布 式 的 负 载 均 衡 器 ， 等 等 。 找 到 正 确 的 日 志 将 花 费 很 长 时 间 ， 甚 至 要 花 更 长 时 间 在 登 录 服 务 器 的 相 关 问 题 上 。 没 什 么 比 发 现 你 找 的 信 息 没 有 被 保 存 下 来 更 沮 丧 的 了 ， 或 者 本 该 保 留 的 日 志 文 件 正 好 在 重 启 后 丢 失 了 。 集 中 你 的 日 志 使 它 们 查 找 更 快 速 ， 可 以 帮 助 你 更 快 速 的 解 决 产 品 问 题 。 你 不 用 猜 测 那 个 服 务 器 存 在 问 题 ， 因 为 所 有 的 日 志 在 同 一 个 地 方 。 此 外 ， 你 可 以 使 用 更 强 大 的 工 具 去 分 析 它 们 ， 包 括 日 志 管 理 解 决 方 案 。 一 些 解 决 方 案 能 转 换 纯 文 本 日 志 为 一 些 字 段 ， 更 容 易 查 找 和 分 析 。 集 中 你 的 日 志 也 可 以 使 它 们 更 易 于 管 理 ： 它 们 更 安 全 ， 当 它 们 备 份 归 档 到 一 个 单 独 区 域 时 会 有 意 无 意 地 丢 失 。 如 果 你 的 服 务 器 宕 机 或 者 无 响 应 ， 你 可 以 使 用 集 中 的 日 志 去 调 试 问 题 。 你 不 用 担 心 s s h 或 者 低 效 的 g r e p 命 令 在 陷 入 困 境 的 系 统 上 需 要 更 多 的 资 源 。 你 不 用 担 心 磁 盘 占 满 ， 这 个 能 让 你 的 服 务 器 死 机 。 你 能 保 持 你 的 产 品 服 务 器 的 安 全 性 ， 只 是 为 了 查 看 日 志 无 需 给 你 所 有 团 队 登 录 权 限 。 给 你 的 团 队 从 日 志 集 中 区 域 访 问 日 志 权 限 更 安 全 。 随 着 集 中 日 志 管 理 ， 你 仍 需 处 理 由 于 网 络 联 通 性 不 好 或 者 耗 尽 大 量 网 络 带 宽 从 而 导 致 不 能 传 输 日 志 到 中 心 区 域 的 风 险 。 在 下 面 的 章 节 我 们 将 要 讨 论 如 何 聪 明 的 解 决 这 些 问 题 。 流 行 的 日 志 归 集 工 具 在   L i n u x   上 最 常 见 的 日 志 归 集 是 通 过 使 用   s y s l o g   守 护 进 程 或 者 日 志 代 理 。 s y s l o g   守 护 进 程 支 持 本 地 日 志 的 采 集 ， 然 后 通 过 s y s l o g   协 议 传 输 日 志 到 中 心 服 务 器 。 你 可 以 使 用 很 多 流 行 的 守 护 进 程 来 归 集 你 的 日 志 文 件 ： r s y s l o g   是 一 个 轻 量 后 台 程 序 ， 在 大 多 数   L i n u x   分 支 上 已 经 安 装 。 s y s l o g - n g   是 第 二 流 行 的   L i n u x   系 统 日 志 后 台 程 序 。 l o g s t a s h   是 一 个 重 量 级 的 代 理 ， 它 可 以 做 更 多 高 级 加 工 和 分 析 。 f l u e n t d   是 另 一 个 具 有 高 级 处 理 能 力 的 代 理 。 R s y s l o g   是 集 中 日 志 数 据 最 流 行 的 后 台 程 序 ， 因 为 它 在 大 多 数   L i n u x   分 支 上 是 被 默 认 安 装 的 。 你 不 用 下 载 或 安 装 它 ， 并 且 它 是 轻 量 的 ， 所 以 不 需 要 占 用 你 太 多 的 系 统 资 源 。 如 果 你 需 要 更 多 先 进 的 过 滤 或 者 自 定 义 分 析 功 能 ， 如 果 你 不 在 乎 额 外 的 系 统 负 载 ， L o g s t a s h   是 另 一 个 最 流 行 的 选 择 。 配 置   r s y s l o g . c o n f 既 然   r s y s l o g   是 最 广 泛 使 用 的 系 统 日 志 程 序 ， 我 们 将 展 示 如 何 配 置 它 为 日 志 中 心 。 它 的 全 局 配 置 文 件 位 于   / e t c / r s y s l o g . c o n f 。 它 加 载 模 块 ， 设 置 全 局 指 令 ， 和 包 含 位 于 目 录   / e t c / r s y s l o g . d   中 的 应 用 的 特 有 的 配 置 。 目 录 中 包 含 的   / e t c / r s y s l o g . d / 5 0 - d e f a u l t . c o n f   指 示   r s y s l o g   将 系 统 日 志 写 到 文 件 。 在   r s y s l o g   文 档 中 你 可 以 阅 读 更 多 相 关 配 置 。
r s y s l o g   配 置 语 言 是 是 R a i n e r S c r i p t 。 你 可 以 给 日 志 指 定 输 入 ， 就 像 将 它 们 输 出 到 另 外 一 个 位 置 一 样 。 r s y s l o g   已 经 配 置 标 准 输 入 默 认 是   s y s l o g   ， 所 以 你 通 常 只 需 增 加 一 个 输 出 到 你 的 日 志 服 务 器 。 这 里 有 一 个   r s y s l o g   输 出 到 一 个 外 部 服 务 器 的 配 置 例 子 。 在 本 例 中 ， B E B O P   是 一 个 服 务 器 的 主 机 名 ， 所 以 你 应 该 替 换 为 你 的 自 己 的 服 务 器 名 。 你 可 以 发 送 你 的 日 志 到 一 个 有 足 够 的 存 储 容 量 的 日 志 服 务 器 来 存 储 ， 提 供 查 询 ， 备 份 和 分 析 。 如 果 你 存 储 日 志 到 文 件 系 统 ， 那 么 你 应 该 建 立 日 志 轮 转 来 防 止 你 的 磁 盘 爆 满 。 作 为 一 种 选 择 ， 你 可 以 发 送 这 些 日 志 到 一 个 日 志 管 理 方 案 。 如 果 你 的 解 决 方 案 是 安 装 在 本 地 你 可 以 发 送 到 系 统 文 档 中 指 定 的 本 地 主 机 和 端 口 。 如 果 你 使 用 基 于 云 提 供 商 ， 你 将 发 送 它 们 到 你 的 提 供 商 特 定 的 主 机 名 和 端 口 。 日 志 目 录 你 可 以 归 集 一 个 目 录 或 者 匹 配 一 个 通 配 符 模 式 的 所 有 文 件 。 n x l o g   和   s y s l o g - n g   程 序 支 持 目 录 和 通 配 符 ( * ) 。 常 见 的   r s y s l o g   不 能 直 接 监 控 目 录 。 作 为 一 种 解 决 办 法 ， 你 可 以 设 置 一 个 定 时 任 务 去 监 控 这 个 目 录 的 新 文 件 ， 然 后 配 置   r s y s l o g   来 发 送 这 些 文 件 到 目 的 地 ， 比 如 你 的 日 志 管 理 系 统 。 举 个 例 子 ， 日 志 管 理 提 供 商   L o g g l y   有 一 个 开 源 版 本 的 目 录 监 控 脚 本 。 哪 个 协 议 :   U D P 、 T C P   或   R E L P ? 当 你 使 用 网 络 传 输 数 据 时 ， 有 三 个 主 流 协 议 可 以 选 择 。 U D P   在 你 自 己 的 局 域 网 是 最 常 用 的 ， T C P   用 在 互 联 网 。 如 果 你 不 能 失 去 （ 任 何 ） 日 志 ， 就 要 使 用 更 高 级 的   R E L P   协 议 。 U D P   发 送 一 个 数 据 包 ， 那 只 是 一 个 单 一 的 信 息 包 。 它 是 一 个 只 外 传 的 协 议 ， 所 以 它 不 会 发 送 给 你 回 执 （ A C K ） 。 它 只 尝 试 发 送 包 。 当 网 络 拥 堵 时 ， U D P   通 常 会 巧 妙 的 降 级 或 者 丢 弃 日 志 。 它 通 常 使 用 在 类 似 局 域 网 的 可 靠 网 络 。 T C P   通 过 多 个 包 和 返 回 确 认 发 送 流 式 信 息 。 T C P   会 多 次 尝 试 发 送 数 据 包 ， 但 是 受 限 于   T C P   缓 存 的 大 小 。 这 是 在 互 联 网 上 发 送 送 日 志 最 常 用 的 协 议 。 R E L P   是 这 三 个 协 议 中 最 可 靠 的 ， 但 是 它 是 为   r s y s l o g   创 建 的 ， 而 且 很 少 有 行 业 采 用 。 它 在 应 用 层 接 收 数 据 ， 如 果 有 错 误 就 会 重 发 。 请 确 认 你 的 日 志 接 受 位 置 也 支 持 这 个 协 议 。 用 磁 盘 辅 助 队 列 可 靠 的 传 送 如 果   r s y s l o g   在 存 储 日 志 时 遭 遇 错 误 ， 例 如 一 个 不 可 用 网 络 连 接 ， 它 能 将 日 志 排 队 直 到 连 接 还 原 。 队 列 日 志 默 认 被 存 储 在 内 存 里 。 无 论 如 何 ， 内 存 是 有 限 的 并 且 如 果 问 题 仍 然 存 在 ， 日 志 会 超 出 内 存 容 量 。 警 告 ： 如 果 你 只 存 储 日 志 到 内 存 ， 你 可 能 会 失 去 数 据 。 警 告 ： 如 果 你 只 存 储 日 志 到 内 存 ， 你 可 能 会 失 去 数 据 。 r s y s l o g   能 在 内 存 被 占 满 时 将 日 志 队 列 放 到 磁 盘 。 磁 盘 辅 助 队 列 使 日 志 的 传 输 更 可 靠 。 这 里 有 一 个 例 子 如 何 配 置 r s y s l o g   的 磁 盘 辅 助 队 列 ： 使 用   T L S   加 密 日 志 如 果 你 担 心 你 的 数 据 的 安 全 性 和 隐 私 性 ， 你 应 该 考 虑 加 密 你 的 日 志 。 如 果 你 使 用 纯 文 本 在 互 联 网 传 输 日 志 ， 嗅 探 器 和 中 间 人 可 以 读 到 你 的 日 志 。 如 果 日 志 包 含 私 人 信 息 、 敏 感 的 身 份 数 据 或 者 政 府 管 制 数 据 ， 你 应 该 加 密 你 的 日 志 。 r s y s l o g   程 序 能 使 用   T L S   协 议 加 密 你 的 日 志 保 证 你 的 数 据 更 安 全 。 建 立   T L S   加 密 ， 你 应 该 做 如 下 任 务 ： 1 .   a c t i o n ( t y p e = " o m f w d "   p r o t o c o l = " t c p "   t a r g e t = " B E B O P "   p o r t = " 5 1 4 " ) 1 .   $ W o r k D i r e c t o r y   / v a r / s p o o l / r s y s l o g   #   暂 存 文 件 （ s p o o l ） 放 置 位 置 2 .   $ A c t i o n Q u e u e F i l e N a m e   f w d R u l e 1           #   暂 存 文 件 的 唯 一 名 字 前 缀 3 .   $ A c t i o n Q u e u e M a x D i s k S p a c e   1 g               #   1 g b   空 间 限 制 （ 尽 可 能 大 ） 4 .   $ A c t i o n Q u e u e S a v e O n S h u t d o w n   o n           #   关 机 时 保 存 日 志 到 磁 盘 5 .   $ A c t i o n Q u e u e T y p e   L i n k e d L i s t               #   异 步 运 行 6 .   $ A c t i o n R e s u m e R e t r y C o u n t   - 1                 #   如 果 主 机 宕 机 ， 不 断 重 试
1 .   生 成 一 个 证 书 授 权 ( C A ) 。 在   / c o n t r i b / g n u t l s   有 一 些 证 书 例 子 ， 可 以 用 来 测 试 ， 但 是 你 需 要 为 产 品 环 境 创 建 自 己 的 证 书 。 如 果 你 正 在 使 用 一 个 日 志 管 理 服 务 ， 它 会 给 你 一 个 证 书 。 2 .   为 你 的 服 务 器 生 成 一 个 数 字 证 书 使 它 能 启 用   S S L   操 作 ， 或 者 使 用 你 自 己 的 日 志 管 理 服 务 提 供 商 的 一 个 数 字 证 书 。 3 .   配 置 你 的   r s y s l o g   程 序 来 发 送   T L S   加 密 数 据 到 你 的 日 志 管 理 系 统 。 这 有 一 个   r s y s l o g   配 置   T L S   加 密 的 例 子 。 替 换   C E R T   和   D O M A I N _ N A M E   为 你 自 己 的 服 务 器 配 置 。 应 用 日 志 的 最 佳 管 理 方 法 除   L i n u x   默 认 创 建 的 日 志 之 外 ， 归 集 重 要 的 应 用 日 志 也 是 一 个 好 主 意 。 几 乎 所 有 基 于   L i n u x   的 服 务 器 应 用 都 把 它 们 的 状 态 信 息 写 入 到 独 立 、 专 门 的 日 志 文 件 中 。 这 包 括 数 据 库 产 品 ， 像   P o s t g r e S Q L   或 者   M y S Q L ， 网 站 服 务 器 ， 像   N g i n x   或 者   A p a c h e ， 防 火 墙 ， 打 印 和 文 件 共 享 服 务 ， 目 录 和   D N S   服 务 等 等 。 管 理 员 安 装 一 个 应 用 后 要 做 的 第 一 件 事 是 配 置 它 。 L i n u x   应 用 程 序 典 型 的 有 一 个 放 在   / e t c   目 录 里   . c o n f   文 件 。 它 也 可 能 在 其 它 地 方 ， 但 是 那 是 大 家 找 配 置 文 件 首 先 会 看 的 地 方 。 根 据 应 用 程 序 有 多 复 杂 多 庞 大 ， 可 配 置 参 数 的 数 量 可 能 会 很 少 或 者 上 百 行 。 如 前 所 述 ， 大 多 数 应 用 程 序 可 能 会 在 某 种 日 志 文 件 写 它 们 的 状 态 ： 配 置 文 件 是 定 义 日 志 设 置 和 其 它 东 西 的 地 方 。 如 果 你 不 确 定 它 在 哪 ， 你 可 以 使 用 l o c a t e 命 令 去 找 到 它 ： 设 置 一 个 日 志 文 件 的 标 准 位 置 L i n u x   系 统 一 般 保 存 它 们 的 日 志 文 件 在   / v a r / l o g   目 录 下 。 一 般 是 这 样 ， 但 是 需 要 检 查 一 下 应 用 是 否 保 存 它 们 在   / v a r / l o g   下 的 特 定 目 录 。 如 果 是 ， 很 好 ， 如 果 不 是 ， 你 也 许 想 在   / v a r / l o g   下 创 建 一 个 专 用 目 录 ？ 为 什 么 ？ 因 为 其 它 程 序 也 在   / v a r / l o g   下 保 存 它 们 的 日 志 文 件 ， 如 果 你 的 应 用 保 存 超 过 一 个 日 志 文 件   -   也 许 每 天 一 个 或 者 每 次 重 启 一 个   -   在 这 么 大 的 目 录 也 许 有 点 难 于 搜 索 找 到 你 想 要 的 文 件 。 如 果 在 你 网 络 里 你 有 运 行 多 于 一 个 的 应 用 实 例 ， 这 个 方 法 依 然 便 利 。 想 想 这 样 的 情 景 ， 你 也 许 有 一 打   w e b   服 务 器 在 你 的 网 络 运 行 。 当 排 查 任 何 一 个 机 器 的 问 题 时 ， 你 就 很 容 易 知 道 确 切 的 位 置 。 使 用 一 个 标 准 的 文 件 名 给 你 的 应 用 最 新 的 日 志 使 用 一 个 标 准 的 文 件 名 。 这 使 一 些 事 变 得 容 易 ， 因 为 你 可 以 监 控 和 追 踪 一 个 单 独 的 文 件 。 很 多 应 用 程 序 在 它 们 的 日 志 文 件 上 追 加 一 种 时 间 戳 。 它 让   r s y s l o g   更 难 于 找 到 最 新 的 文 件 和 设 置 文 件 监 控 。 一 个 更 好 的 方 法 是 使 用 日 志 轮 转 给 老 的 日 志 文 件 增 加 时 间 。 这 样 更 易 去 归 档 和 历 史 查 询 。 追 加 日 志 文 件 日 志 文 件 会 在 每 个 应 用 程 序 重 启 后 被 覆 盖 吗 ？ 如 果 这 样 ， 我 们 建 议 关 掉 它 。 每 次 重 启   a p p   后 应 该 去 追 加 日 志 文 件 。 这 样 ， 你 就 可 以 追 溯 重 启 前 最 后 的 日 志 。 日 志 文 件 追 加   v s .   轮 转 要 是 应 用 程 序 每 次 重 启 后 写 一 个 新 日 志 文 件 ， 如 何 保 存 当 前 日 志 ？ 追 加 到 一 个 单 独 的 、 巨 大 的 文 件 ？ L i n u x   系 统 并 不 以 频 繁 重 启 或 者 崩 溃 而 出 名 ： 应 用 程 序 可 以 运 行 很 长 时 间 甚 至 不 间 歇 ， 但 是 也 会 使 日 志 文 件 非 常 大 。 如 果 你 查 询 分 析 上 周 发 生 连 接 错 误 的 原 因 ， 你 可 能 无 疑 的 要 在 成 千 上 万 行 里 搜 索 。 我 们 建 议 你 配 置 应 用 每 天 半 晚 轮 转 （ r o t a t e ） 它 的 日 志 文 件 。 为 什 么 ？ 首 先 它 将 变 得 可 管 理 。 找 一 个 带 有 特 定 日 期 的 文 件 名 比 遍 历 一 个 文 件 中 指 定 日 期 的 条 目 更 容 易 。 文 件 也 小 的 多 ： 你 不 用 考 虑 当 你 打 开 一 个 日 志 文 件 时   v i 僵 住 。 第 二 ， 如 果 你 正 发 送 日 志 到 另 一 个 位 置   -   也 许 每 晚 备 份 任 务 拷 贝 到 归 集 日 志 服 务 器   -   这 样 不 会 消 耗 你 的 网 络 带 宽 。 最 后 第 三 点 ， 这 样 帮 助 你 做 日 志 保 留 。 1 .   $ D e f a u l t N e t s t r e a m D r i v e r C A F i l e   / e t c / r s y s l o g . d / k e y s / c a . d / C E R T . c r t 2 .   $ A c t i o n S e n d S t r e a m D r i v e r   g t l s 3 .   $ A c t i o n S e n d S t r e a m D r i v e r M o d e   1 4 .   $ A c t i o n S e n d S t r e a m D r i v e r A u t h M o d e   x 5 0 9 / n a m e 5 .   $ A c t i o n S e n d S t r e a m D r i v e r P e r m i t t e d P e e r   * . D O M A I N _ N A M E . c o m 1 .   [ r o o t @ l o c a l h o s t   ~ ] #   l o c a t e   p o s t g r e s q l . c o n f 2 .   / u s r / p g s q l - 9 . 4 / s h a r e / p o s t g r e s q l . c o n f . s a m p l e 3 .   / v a r / l i b / p g s q l / 9 . 4 / d a t a / p o s t g r e s q l . c o n f
如 果 你 想 剔 除 旧 的 日 志 记 录 ， 这 样 删 除 超 过 指 定 日 期 的 文 件 比 用 一 个 应 用 解 析 一 个 大 文 件 更 容 易 。 日 志 文 件 的 保 留 你 保 留 你 的 日 志 文 件 多 长 时 间 ？ 这 绝 对 可 以 归 结 为 业 务 需 求 。 你 可 能 被 要 求 保 持 一 个 星 期 的 日 志 信 息 ， 或 者 管 理 要 求 保 持 一 年 的 数 据 。 无 论 如 何 ， 日 志 需 要 在 一 个 时 刻 或 其 它 情 况 下 从 服 务 器 删 除 。 在 我 们 看 来 ， 除 非 必 要 ， 只 在 线 保 持 最 近 一 个 月 的 日 志 文 件 ， 并 拷 贝 它 们 到 第 二 个 地 方 如 日 志 服 务 器 。 任 何 比 这 更 旧 的 日 志 可 以 被 转 到 一 个 单 独 的 介 质 上 。 例 如 ， 如 果 你 在   A W S   上 ， 你 的 旧 日 志 可 以 被 拷 贝 到   G l a c i e r 。 给 日 志 单 独 的 磁 盘 分 区 更 好 的 ， L i n u x   通 常 建 议 挂 载 到   / v a r   目 录 到 一 个 单 独 的 文 件 系 统 。 这 是 因 为 这 个 目 录 的 高   I / O 。 我 们 推 荐 挂 载   / v a r / l o g   目 录 到 一 个 单 独 的 磁 盘 系 统 下 。 这 样 可 以 节 省 与 主 要 的 应 用 数 据 的   I / O   竞 争 。 另 外 ， 如 果 一 些 日 志 文 件 变 的 太 多 ， 或 者 一 个 文 件 变 的 太 大 ， 不 会 占 满 整 个 磁 盘 。 日 志 条 目 每 个 日 志 条 目 中 应 该 捕 获 什 么 信 息 ？ 这 依 赖 于 你 想 用 日 志 来 做 什 么 。 你 只 想 用 它 来 排 除 故 障 ， 或 者 你 想 捕 获 所 有 发 生 的 事 ？ 这 是 一 个 捕 获 每 个 用 户 在 运 行 什 么 或 查 看 什 么 的 规 则 条 件 吗 ？ 如 果 你 正 用 日 志 做 错 误 排 查 的 目 的 ， 那 么 只 保 存 错 误 ， 报 警 或 者 致 命 信 息 。 没 有 理 由 去 捕 获 调 试 信 息 ， 例 如 ， 应 用 也 许 默 认 记 录 了 调 试 信 息 或 者 另 一 个 管 理 员 也 许 为 了 故 障 排 查 而 打 开 了 调 试 信 息 ， 但 是 你 应 该 关 闭 它 ， 因 为 它 肯 定 会 很 快 的 填 满 空 间 。 在 最 低 限 度 上 ， 捕 获 日 期 、 时 间 、 客 户 端 应 用 名 、 来 源   i p   或 者 客 户 端 主 机 名 、 执 行 的 动 作 和 信 息 本 身 。 一 个   P o s t g r e S Q L   的 实 例 作 为 一 个 例 子 ， 让 我 们 看 看   v a n i l l a   P o s t g r e S Q L   9 . 4   安 装 的 主 配 置 文 件 。 它 叫 做   p o s t g r e s q l . c o n f ， 与 其 它 L i n u x   系 统 中 的 配 置 文 件 不 同 ， 它 不 保 存 在   / e t c   目 录 下 。 下 列 的 代 码 段 ， 我 们 可 以 在 我 们 的   C e n t o s   7   服 务 器 的   / v a r / l i b / p g s q l   目 录 下 找 到 它 ： 1 .   r o o t @ l o c a l h o s t   ~ ] #   v i   / v a r / l i b / p g s q l / 9 . 4 / d a t a / p o s t g r e s q l . c o n f 2 .   . . .   3 .   # - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - 4 .   #   E R R O R   R E P O R T I N G   A N D   L O G G I N G 5 .   # - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - 6 .   #   -   W h e r e   t o   L o g   - 7 .   l o g _ d e s t i n a t i o n   =   ' s t d e r r '             8 .               #   V a l i d   v a l u e s   a r e   c o m b i n a t i o n s   o f 9 .               #   s t d e r r ,   c s v l o g ,   s y s l o g ,   a n d   e v e n t l o g , 1 0 .               #   d e p e n d i n g   o n   p l a t f o r m .   c s v l o g 1 1 .               #   r e q u i r e s   l o g g i n g _ c o l l e c t o r   t o   b e   o n . 1 2 .   #   T h i s   i s   u s e d   w h e n   l o g g i n g   t o   s t d e r r : 1 3 .   l o g g i n g _ c o l l e c t o r   =   o n                     1 4 .               #   E n a b l e   c a p t u r i n g   o f   s t d e r r   a n d   c s v l o g 1 5 .               #   i n t o   l o g   f i l e s .   R e q u i r e d   t o   b e   o n   f o r 1 6 .               #   c s v l o g s . 1 7 .               #   ( c h a n g e   r e q u i r e s   r e s t a r t ) 1 8 .   #   T h e s e   a r e   o n l y   u s e d   i f   l o g g i n g _ c o l l e c t o r   i s   o n : 1 9 .   l o g _ d i r e c t o r y   =   ' p g _ l o g '               2 0 .               #   d i r e c t o r y   w h e r e   l o g   f i l e s   a r e   w r i t t e n , 2 1 .               #   c a n   b e   a b s o l u t e   o r   r e l a t i v e   t o   P G D A T A 2 2 .   l o g _ f i l e n a m e   =   ' p o s t g r e s q l - % a . l o g '         #   l o g   f i l e   n a m e   p a t t e r n , 2 3 .             #   c a n   i n c l u d e   s t r f t i m e ( )   e s c a p e s 2 4 .   #   l o g _ f i l e _ m o d e   =   0 6 0 0                       . 2 5 .             #   c r e a t i o n   m o d e   f o r   l o g   f i l e s , 2 6 .             #   b e g i n   w i t h   0   t o   u s e   o c t a l   n o t a t i o n
2 7 .   l o g _ t r u n c a t e _ o n _ r o t a t i o n   =   o n       #   I f   o n ,   a n   e x i s t i n g   l o g   f i l e   w i t h   t h e 2 8 .             #   s a m e   n a m e   a s   t h e   n e w   l o g   f i l e   w i l l   b e 2 9 .             #   t r u n c a t e d   r a t h e r   t h a n   a p p e n d e d   t o . 3 0 .             #   B u t   s u c h   t r u n c a t i o n   o n l y   o c c u r s   o n 3 1 .             #   t i m e - d r i v e n   r o t a t i o n ,   n o t   o n   r e s t a r t s 3 2 .             #   o r   s i z e - d r i v e n   r o t a t i o n .   D e f a u l t   i s 3 3 .             #   o f f ,   m e a n i n g   a p p e n d   t o   e x i s t i n g   f i l e s 3 4 .             #   i n   a l l   c a s e s . 3 5 .   l o g _ r o t a t i o n _ a g e   =   1 d                       3 6 .             #   A u t o m a t i c   r o t a t i o n   o f   l o g f i l e s   w i l l   h a p p e n   a f t e r   t h a t   t i m e .   0   d i s a b l e s . 3 7 .   l o g _ r o t a t i o n _ s i z e   =   0                       #   A u t o m a t i c   r o t a t i o n   o f   l o g f i l e s   w i l l   h a p p e n   a f t e r   t h a t   m u c h   l o g   o u t p u t .   0   d i s a b l e s . 3 8 .   #   T h e s e   a r e   r e l e v a n t   w h e n   l o g g i n g   t o   s y s l o g : 3 9 .   # s y s l o g _ f a c i l i t y   =   ' L O C A L 0 ' 4 0 .   # s y s l o g _ i d e n t   =   ' p o s t g r e s ' 4 1 .   #   T h i s   i s   o n l y   r e l e v a n t   w h e n   l o g g i n g   t o   e v e n t l o g   ( w i n 3 2 ) : 4 2 .   # e v e n t _ s o u r c e   =   ' P o s t g r e S Q L ' 4 3 .   #   -   W h e n   t o   L o g   - 4 4 .   # c l i e n t _ m i n _ m e s s a g e s   =   n o t i c e       #   v a l u e s   i n   o r d e r   o f   d e c r e a s i n g   d e t a i l : 4 5 .   #   d e b u g 5 4 6 .   #   d e b u g 4 4 7 .   #   d e b u g 3 4 8 .   #   d e b u g 2 4 9 .   #   d e b u g 1 5 0 .   #   l o g 5 1 .   #   n o t i c e 5 2 .   #   w a r n i n g 5 3 .   #   e r r o r 5 4 .   # l o g _ m i n _ m e s s a g e s   =   w a r n i n g           #   v a l u e s   i n   o r d e r   o f   d e c r e a s i n g   d e t a i l : 5 5 .   #   d e b u g 5 5 6 .   #   d e b u g 4 5 7 .   #   d e b u g 3 5 8 .   #   d e b u g 2 5 9 .   #   d e b u g 1 6 0 .   #   i n f o 6 1 .   #   n o t i c e 6 2 .   #   w a r n i n g 6 3 .   #   e r r o r 6 4 .   #   l o g 6 5 .   #   f a t a l 6 6 .   #   p a n i c 6 7 .   # l o g _ m i n _ e r r o r _ s t a t e m e n t   =   e r r o r         #   v a l u e s   i n   o r d e r   o f   d e c r e a s i n g   d e t a i l : 6 8 .   #   d e b u g 5 6 9 .   #   d e b u g 4 7 0 .   #   d e b u g 3 7 1 .   #   d e b u g 2 7 2 .   #   d e b u g 1 7 3 .   #   i n f o 7 4 .   #   n o t i c e 7 5 .   #   w a r n i n g 7 6 .   #   e r r o r 7 7 .   #   l o g 7 8 .   #   f a t a l
虽 然 大 多 数 参 数 被 加 上 了 注 释 ， 它 们 使 用 了 默 认 值 。 我 们 可 以 看 见 日 志 文 件 目 录 是   p g l o g （ l o g d i r e c t o r y   参 数 ， 在   / v a r / l i b / p g s q l / 9 . 4 / d a t a /   下 的 子 目 录 ） ， 文 件 名 应 该 以   p o s t g r e s q l   开 头 （ l o g f i l e n a m e 参 数 ） ， 文 件 每 天 轮 转 一 次 （ l o g r o t a t i o n a g e   参 数 ） 然 后 每 行 日 志 记 录 以 时 间 戳 开 头 （ l o g l i n e p r e f i x 参 数 ） 。 特 别 值 得 说 明 的 是 l o g l i n e _ p r e f i x   参 数 ： 全 部 的 信 息 你 都 可 以 包 含 在 这 。 看   / v a r / l i b / p g s q l / 9 . 4 / d a t a / p g _ l o g   目 录 下 展 现 给 我 们 这 些 文 件 ： 7 8 .   #   f a t a l 7 9 .   #   p a n i c   ( e f f e c t i v e l y   o f f ) 8 0 .   # l o g _ m i n _ d u r a t i o n _ s t a t e m e n t   =   - 1           #   - 1   i s   d i s a b l e d ,   0   l o g s   a l l   s t a t e m e n t s 8 1 .   #   a n d   t h e i r   d u r a t i o n s ,   >   0   l o g s   o n l y 8 2 .   #   s t a t e m e n t s   r u n n i n g   a t   l e a s t   t h i s   n u m b e r 8 3 .   #   o f   m i l l i s e c o n d s 8 4 .   #   -   W h a t   t o   L o g   8 5 .   # d e b u g _ p r i n t _ p a r s e   =   o f f 8 6 .   # d e b u g _ p r i n t _ r e w r i t t e n   =   o f f 8 7 .   # d e b u g _ p r i n t _ p l a n   =   o f f 8 8 .   # d e b u g _ p r e t t y _ p r i n t   =   o n 8 9 .   # l o g _ c h e c k p o i n t s   =   o f f 9 0 .   # l o g _ c o n n e c t i o n s   =   o f f 9 1 .   # l o g _ d i s c o n n e c t i o n s   =   o f f 9 2 .   # l o g _ d u r a t i o n   =   o f f 9 3 .   # l o g _ e r r o r _ v e r b o s i t y   =   d e f a u l t         9 4 .   #   t e r s e ,   d e f a u l t ,   o r   v e r b o s e   m e s s a g e s 9 5 .   # l o g _ h o s t n a m e   =   o f f 9 6 .   l o g _ l i n e _ p r e f i x   =   ' <   % m   > '                     #   s p e c i a l   v a l u e s : 9 7 .   #   % a   =   a p p l i c a t i o n   n a m e 9 8 .   #   % u   =   u s e r   n a m e 9 9 .   #   % d   =   d a t a b a s e   n a m e 1 0 0 .   #   % r   =   r e m o t e   h o s t   a n d   p o r t 1 0 1 .   #   % h   =   r e m o t e   h o s t 1 0 2 .   #   % p   =   p r o c e s s   I D 1 0 3 .   #   % t   =   t i m e s t a m p   w i t h o u t   m i l l i s e c o n d s 1 0 4 .   #   % m   =   t i m e s t a m p   w i t h   m i l l i s e c o n d s 1 0 5 .   #   % i   =   c o m m a n d   t a g 1 0 6 .   #   % e   =   S Q L   s t a t e 1 0 7 .   #   % c   =   s e s s i o n   I D 1 0 8 .   #   % l   =   s e s s i o n   l i n e   n u m b e r 1 0 9 .   #   % s   =   s e s s i o n   s t a r t   t i m e s t a m p 1 1 0 .   #   % v   =   v i r t u a l   t r a n s a c t i o n   I D 1 1 1 .   #   % x   =   t r a n s a c t i o n   I D   ( 0   i f   n o n e ) 1 1 2 .   #   % q   =   s t o p   h e r e   i n   n o n - s e s s i o n 1 1 3 .   #   p r o c e s s e s 1 1 4 .   #   % %   =   ' % ' 1 1 5 .   #   e . g .   ' < % u % % % d >   ' 1 1 6 .   # l o g _ l o c k _ w a i t s   =   o f f                               #   l o g   l o c k   w a i t s   > =   d e a d l o c k _ t i m e o u t 1 1 7 .   # l o g _ s t a t e m e n t   =   ' n o n e '                           #   n o n e ,   d d l ,   m o d ,   a l l 1 1 8 .   # l o g _ t e m p _ f i l e s   =   - 1                                 #   l o g   t e m p o r a r y   f i l e s   e q u a l   o r   l a r g e r 1 1 9 .   #   t h a n   t h e   s p e c i f i e d   s i z e   i n   k i l o b y t e s ; 5 #   - 1   d i s a b l e s ,   0   l o g s   a l l   t e m p   f i l e s 5 1 2 0 .   l o g _ t i m e z o n e   =   ' A u s t r a l i a / A C T ' 1 .   [ r o o t @ l o c a l h o s t   ~ ] #   l s   - l   / v a r / l i b / p g s q l / 9 . 4 / d a t a / p g _ l o g
所 以 日 志 文 件 名 只 有 星 期 命 名 的 标 签 。 我 们 可 以 改 变 它 。 如 何 做 ？ 在   p o s t g r e s q l . c o n f   配 置   l o g _ f i l e n a m e   参 数 。 查 看 一 个 日 志 内 容 ， 它 的 条 目 仅 以 日 期 时 间 开 头 ： 归 集 应 用 的 日 志 使 用   i m f i l e   监 控 日 志 习 惯 上 ， 应 用 通 常 记 录 它 们 数 据 在 文 件 里 。 文 件 容 易 在 一 个 机 器 上 寻 找 ， 但 是 多 台 服 务 器 上 就 不 是 很 恰 当 了 。 你 可 以 设 置 日 志 文 件 监 控 ， 然 后 当 新 的 日 志 被 添 加 到 文 件 尾 部 后 就 发 送 事 件 到 一 个 集 中 服 务 器 。 在   / e t c / r s y s l o g . d /   里 创 建 一 个 新 的 配 置 文 件 然 后 增 加 一 个 配 置 文 件 ， 然 后 输 入 如 下 ： 替 换   F I L E 1   和   A P P N A M E 1   为 你 自 己 的 文 件 名 和 应 用 名 称 。 r s y s l o g   将 发 送 它 到 你 配 置 的 输 出 目 标 中 。 本 地 套 接 字 日 志 与   i m u x s o c k 套 接 字 类 似   U N I X   文 件 句 柄 ， 所 不 同 的 是 套 接 字 内 容 是 由   s y s l o g   守 护 进 程 读 取 到 内 存 中 ， 然 后 发 送 到 目 的 地 。 不 需 要 写 入 文 件 。 作 为 一 个 例 子 ， l o g g e r   命 令 发 送 它 的 日 志 到 这 个   U N I X   套 接 字 。 如 果 你 的 服 务 器   I / O   有 限 或 者 你 不 需 要 本 地 文 件 日 志 ， 这 个 方 法 可 以 使 系 统 资 源 有 效 利 用 。 这 个 方 法 缺 点 是 套 接 字 有 队 列 大 小 的 限 制 。 如 果 你 的   s y s l o g   守 护 进 程 宕 掉 或 者 不 能 保 持 运 行 ， 然 后 你 可 能 会 丢 失 日 志 数 据 。 r s y s l o g   程 序 将 默 认 从   / d e v / l o g   套 接 字 中 读 取 ， 但 是 你 需 要 使 用 如 下 命 令 来 让   i m u x s o c k   输 入 模 块   启 用 它 ： 2 .   t o t a l   2 0 3 .   - r w - - - - - - - .   1   p o s t g r e s   p o s t g r e s   1 2 1 2   M a y   1   2 0 : 1 1   p o s t g r e s q l - F r i . l o g 4 .   - r w - - - - - - - .   1   p o s t g r e s   p o s t g r e s   2 4 3   F e b   9   2 1 : 4 9   p o s t g r e s q l - M o n . l o g 5 .   - r w - - - - - - - .   1   p o s t g r e s   p o s t g r e s   1 1 3 8   F e b   7   1 1 : 0 8   p o s t g r e s q l - S a t . l o g 6 .   - r w - - - - - - - .   1   p o s t g r e s   p o s t g r e s   1 2 0 3   F e b   2 6   2 1 : 3 2   p o s t g r e s q l - T h u . l o g 7 .   - r w - - - - - - - .   1   p o s t g r e s   p o s t g r e s   3 2 6   F e b   1 0   0 1 : 2 0   p o s t g r e s q l - T u e . l o g 1 .   [ r o o t @ l o c a l h o s t   ~ ] #   c a t   / v a r / l i b / p g s q l / 9 . 4 / d a t a / p g _ l o g / p o s t g r e s q l - F r i . l o g 2 .   . . . 3 .   <   2 0 1 5 - 0 2 - 2 7   0 1 : 2 1 : 2 7 . 0 2 0   E S T   > L O G :   r e c e i v e d   f a s t   s h u t d o w n   r e q u e s t 4 .   <   2 0 1 5 - 0 2 - 2 7   0 1 : 2 1 : 2 7 . 0 2 5   E S T   > L O G :   a b o r t i n g   a n y   a c t i v e   t r a n s a c t i o n s 5 .   <   2 0 1 5 - 0 2 - 2 7   0 1 : 2 1 : 2 7 . 0 2 6   E S T   > L O G :   a u t o v a c u u m   l a u n c h e r   s h u t t i n g   d o w n 6 .   <   2 0 1 5 - 0 2 - 2 7   0 1 : 2 1 : 2 7 . 0 3 6   E S T   > L O G :   s h u t t i n g   d o w n 7 .   <   2 0 1 5 - 0 2 - 2 7   0 1 : 2 1 : 2 7 . 2 1 1   E S T   > L O G :   d a t a b a s e   s y s t e m   i s   s h u t   d o w n 1 .   $ M o d L o a d   i m f i l e 2 .   $ I n p u t F i l e P o l l I n t e r v a l   1 0 3 .   $ P r i v D r o p T o G r o u p   a d m 1 .   #   I n p u t   f o r   F I L E 1 2 .   $ I n p u t F i l e N a m e   / F I L E 1 3 .   $ I n p u t F i l e T a g   A P P N A M E 1 4 .   $ I n p u t F i l e S t a t e F i l e   s t a t - A P P N A M E 1   # t h i s   m u s t   b e   u n i q u e   f o r   e a c h   f i l e   b e i n g   p o l l e d 5 .   $ I n p u t F i l e S e v e r i t y   i n f o 6 .   $ I n p u t F i l e P e r s i s t S t a t e I n t e r v a l   2 0 0 0 0 7 .   $ I n p u t R u n F i l e M o n i t o r 1 .   $ M o d L o a d   i m u x s o c k
U D P   日 志 与   i m u p d 一 些 应 用 程 序 使 用   U D P   格 式 输 出 日 志 数 据 ， 这 是 在 网 络 上 或 者 本 地 传 输 日 志 文 件 的 标 准   s y s l o g   协 议 。 你 的   s y s l o g   守 护 进 程 接 受 这 些 日 志 ， 然 后 处 理 它 们 或 者 用 不 同 的 格 式 传 输 它 们 。 备 选 的 ， 你 可 以 发 送 日 志 到 你 的 日 志 服 务 器 或 者 到 一 个 日 志 管 理 方 案 中 。 使 用 如 下 命 令 配 置   r s y s l o g   通 过   U D P   来 接 收 标 准 端 口   5 1 4   的   s y s l o g   数 据 ： 用   l o g r o t a t e   管 理 日 志 日 志 轮 转 是 当 日 志 到 达 指 定 的 时 期 时 自 动 归 档 日 志 文 件 的 方 法 。 如 果 不 介 入 ， 日 志 文 件 一 直 增 长 ， 会 用 尽 磁 盘 空 间 。 最 后 它 们 将 破 坏 你 的 机 器 。 l o g r o t a t e   工 具 能 随 着 日 志 的 日 期 截 取 你 的 日 志 ， 腾 出 空 间 。 你 的 新 日 志 文 件 保 持 该 文 件 名 。 你 的 旧 日 志 文 件 被 重 命 名 加 上 后 缀 数 字 。 每 次   l o g r o t a t e   工 具 运 行 ， 就 会 创 建 一 个 新 文 件 ， 然 后 现 存 的 文 件 被 逐 一 重 命 名 。 你 来 决 定 何 时 旧 文 件 被 删 除 或 归 档 的 阈 值 。 当   l o g r o t a t e   拷 贝 一 个 文 件 ， 新 的 文 件 会 有 一 个 新 的   i n o d e ， 这 会 妨 碍   r s y s l o g   监 控 新 文 件 。 你 可 以 通 过 增 加 c o p y t r u n c a t e   参 数 到 你 的   l o g r o t a t e   定 时 任 务 来 缓 解 这 个 问 题 。 这 个 参 数 会 拷 贝 现 有 的 日 志 文 件 内 容 到 新 文 件 然 后 从 现 有 文 件 截 短 这 些 内 容 。 因 为 日 志 文 件 还 是 同 一 个 ， 所 以   i n o d e   不 会 改 变 ； 但 它 的 内 容 是 一 个 新 文 件 。 l o g r o t a t e   工 具 使 用 的 主 配 置 文 件 是   / e t c / l o g r o t a t e . c o n f ， 应 用 特 有 设 置 在   / e t c / l o g r o t a t e . d /   目 录 下 。 D i g i t a l O c e a n   有 一 个 详 细 的 l o g r o t a t e   教 程 管 理 很 多 服 务 器 的 配 置 当 你 只 有 很 少 的 服 务 器 ， 你 可 以 登 录 上 去 手 动 配 置 。 一 旦 你 有 几 打 或 者 更 多 服 务 器 ， 你 可 以 利 用 工 具 的 优 势 使 这 变 得 更 容 易 和 更 可 扩 展 。 基 本 上 ， 所 有 的 事 情 就 是 拷 贝 你 的   r s y s l o g   配 置 到 每 个 服 务 器 ， 然 后 重 启   r s y s l o g   使 更 改 生 效 。 p s s h 这 个 工 具 可 以 让 你 在 很 多 服 务 器 上 并 行 的 运 行 一 个   s s h   命 令 。 使 用   p s s h   部 署 仅 用 于 少 量 服 务 器 。 如 果 你 其 中 一 个 服 务 器 失 败 ， 然 后 你 必 须   s s h   到 失 败 的 服 务 器 ， 然 后 手 动 部 署 。 如 果 你 有 很 多 服 务 器 失 败 ， 那 么 手 动 部 署 它 们 会 话 费 很 长 时 间 。 P u p p e t / C h e f P u p p e t   和   C h e f   是 两 个 不 同 的 工 具 ， 它 们 能 在 你 的 网 络 按 你 规 定 的 标 准 自 动 的 配 置 所 有 服 务 器 。 它 们 的 报 表 工 具 可 以 使 你 了 解 错 误 情 况 ， 然 后 定 期 重 新 同 步 。 P u p p e t   和   C h e f   都 有 一 些 狂 热 的 支 持 者 。 如 果 你 不 确 定 那 个 更 适 合 你 的 部 署 配 置 管 理 ， 你 可 以 拜 读 一 下   I n f o W o r l d   上 这 两 个 工 具 的 对 比 一 些 厂 商 也 提 供 一 些 配 置   r s y s l o g   的 模 块 或 者 方 法 。 这 有 一 个   L o g g l y   上   P u p p e t   模 块 的 例 子 。 它 提 供 给   r s y s l o g   一 个 类 ， 你 可 以 添 加 一 个 标 识 令 牌 ： D o c k e r D o c k e r   使 用 容 器 去 运 行 应 用 ， 不 依 赖 于 底 层 服 务 。 所 有 东 西 都 运 行 在 内 部 的 容 器 ， 你 可 以 把 它 想 象 为 一 个 功 能 单 元 。 Z D N e t   有 一 篇 关 于 在 你 的 数 据 中 心 使 用 D o c k e r   的 深 入 文 章 。 1 .   $ M o d L o a d   i m u d p 1 .   $ U D P S e r v e r R u n   5 1 4 1 .   n o d e   ' m y _ s e r v e r _ n o d e . e x a m p l e . n e t '   { 2 .       #   S e n d   s y s l o g   e v e n t s   t o   L o g g l y 3 .       c l a s s   {   ' l o g g l y : : r s y s l o g ' : 4 .           c u s t o m e r _ t o k e n   = >   ' d e 7 b 5 c c d - 0 4 d e - 4 d c 4 - f b c 9 - 5 0 1 3 9 3 6 0 0 0 0 0 ' , 5 .       } 6 .   }
这 里 有 很 多 方 式 从   D o c k e r   容 器 记 录 日 志 ， 包 括 链 接 到 一 个 日 志 容 器 ， 记 录 到 一 个 共 享 卷 ， 或 者 直 接 在 容 器 里 添 加 一 个   s y s l l o g   代 理 。 其 中 最 流 行 的 日 志 容 器 叫 做 l o g s p o u t 。 供 应 商 的 脚 本 或 代 理 大 多 数 日 志 管 理 方 案 提 供 一 些 脚 本 或 者 代 理 ， 可 以 从 一 个 或 更 多 服 务 器 相 对 容 易 地 发 送 数 据 。 重 量 级 代 理 会 耗 尽 额 外 的 系 统 资 源 。 一 些 供 应 商 像   L o g g l y   提 供 配 置 脚 本 ， 来 使 用 现 存 的   s y s l o g   守 护 进 程 更 轻 松 。 这 有 一 个   L o g g l y   上 的 例 子 脚 本 ， 它 能 运 行 在 任 意 数 量 的 服 务 器 上 。 v i a :   h t t p : / / w w w . l o g g l y . c o m / u l t i m a t e - g u i d e / l o g g i n g / m a n a g i n g - l i n u x - l o g s / 作 者 ： J a s o n   S k o w r o n s k i   作 者 ： A m y   E c h e v e r r i   作 者 ： S a d e q u l   H u s s a i n   译 者 ： w y a n g s u n   校 对 ： w x y 本 文 由   L C T T   原 创 翻 译 ， L i n u x 中 国   荣 誉 推 出
阅 读 原 文
回复

举报

高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

使用Markdown编辑器编辑 使用富文本编辑器编辑

Archiver| 手机版| 小黑屋|
Powered by Discuz! X3.4 Copyright © 2001-2020, Tencent Cloud. 商业源码建议获取授权，如侵犯您的权益，请联系客服处理