搜索

[26306] 2020-11-13_别小看tail命令，它难倒了技术总监

文档创建者：s7ckTeam
浏览次数：15
最后更新：2025-01-19
2020-11-13_别小看tail命令，它难倒了技术总监 别 小 看 t a i l   命 令 ， 它 难 倒 了 技 术 总 监 L i n u x 学 习   2 0 2 0 - 1 1 - 1 3 以 下 文 章 来 源 于 小 姐 姐 味 道   ， 作 者 小 姐 姐 养 的 狗 来 自 公 众 号 ： 来 自 公 众 号 ： 小 姐 姐 味 道 小 姐 姐 味 道 作 者 简 介 ： 小 姐 姐 味 道 ， 一 个 不 允 许 程 序 员 走 弯 路 的 公 众 号 。 聚 焦 基 础 架 构 和 L i n u x 。 十 年 架 构 ， 日 百 亿 流 量 ， 与 你 探 讨 高 并 发 世 界 ， 给 你 不 一 样 的 味 道 。 t a i l 命 令 能 够 看 到 日 志 的 滚 动 ， 非 常 方 便 。 于 是 想 ， 既 然 我 们 能 够 用 这 个 命 令 ， 看 到 所 有 的 日 志 ， 那 能 不 能 使 用 t a i l 命 令 ， 做 日 志 收 集 呢 ？ 想 象 归 想 象 ， 如 果 你 想 要 一 个 快 速 的 日 志 收 集 工 具 ， 那 t a i l 确 实 是 个 非 常 棒 的 工 具 。 它 比 什 么 f l u m e 、 l o g s t a t s h ， 比 什 么 f i l e b e a t 之 类 的 ， 快 捷 的 多 。 事 实 上 ， 在 工 具 缺 乏 的 旧 年 代 ， 我 就 曾 经 这 么 干 过 ， 而 且 它 工 作 的 很 好 。 下 面 是 一 段 使 用 J a v a 语 言 书 写 的 代 码 。 我 们 可 以 按 行 读 取 日 志 ， 然 后 使 用 自 己 喜 欢 的 语 言 ， 做 任 何 事 情 。 小 姐 姐 味 道 小 姐 姐 味 道   . 不 羡 鸳 鸯 不 羡 仙 ， 一 行 代 码 调 半 天 x j j d o g 实 时
主 要 的 思 想 ， 就 是 使 用 J a v a 的 P r o c e s s 启 动 一 个 子 t a i l 进 程 ， 一 直 监 控 着 文 件 的 输 出 。 然 后 把 标 准 输 出 和 标 准 错 误 流 ， 全 部 定 向 到 B u f f e r e d R e a d e r 中 。 接 下 来 ， 你 能 做 你 想 要 做 的 任 何 事 。 这 有 一 定 的 风 险 ， 假 如 t a i l 命 令 被 杀 掉 了 ， 我 们 的 J a v a 程 序 就 失 去 了 作 用 。 程 序 很 简 单 ， 但 在 这 里 讨 论 的 却 不 是 这 个 简 单 的 收 集 程 序 ， 而 是 命 令 的 一 些 有 趣 的 特 性 ， 你 可 以 从 中 一 窥 一 些 日 志 收 集 工 具 对 文 件 的 特 殊 处 理 。 你 知 道 你 知 道 t a i l   - f 和 和 t a i l   - F 的 区 别 么 ？ 的 区 别 么 ？ 在 回 答 这 个 问 题 之 前 ， 我 们 先 回 忆 一 下 ， J a v a 常 用 的 日 志 框 架 ， 对 日 志 的 处 理 。 i m p o r t   j a v a . i o . B u f f e r e d R e a d e r ; i m p o r t   j a v a . i o . I n p u t S t r e a m R e a d e r ; p u b l i c   c l a s s   T a i l R e a d e r   {         p u b l i c   s t a t i c   v o i d   m a i n ( S t r i n g [ ]   a r g s )   t h r o w s   E x c e p t i o n   {                 P r o c e s s B u i l d e r   p s   =   n e w   P r o c e s s B u i l d e r ( " t a i l " ,   " - f " ,   " / t m p / t a i l 0 " ) ;                 / / 把 错 误 输 出 也 打 印                 p s . r e d i r e c t E r r o r S t r e a m ( t r u e ) ;                 P r o c e s s   p r o c e s s   =   p s . s t a r t ( ) ;                 / / 持 续 读 取 t a i l 的 输 出                 t r y   ( B u f f e r e d R e a d e r   i n   =   n e w   B u f f e r e d R e a d e r ( n e w   I n p u t S t r e a m R e a d e r ( p r o c e s s . g e t I n p u t S t r e a m ( ) ) ) )   {                         S t r i n g   l i n e ;                         w h i l e   ( ( l i n e   =   i n . r e a d L i n e ( ) )   ! =   n u l l )   {                                 s e t L o g T o K a f k a ( l i n e ) ;                                 / / 注 意 这 里 不 要 产 生 异 常 ， 否 则 会 打 断 w h i l e 循 环                         }                 }         }         / / 模 拟 发 送 到 k a f k a ， 我 们 这 里 只 简 单 的 打 印 出 来         s t a t i c   v o i d   s e t L o g T o K a f k a ( S t r i n g   l i n e )   {                 S y s t e m . o u t . p r i n t l n ( l i n e ) ;         } } x j j d o g t a i l
上 面 的 配 置 ， 将 在 每 晚 凌 晨 的 时 候 ， 滚 动 形 成 一 个 新 的 文 件 。 那 这 个 滚 动 ， 是 如 何 做 的 呢 ？ 我 们 可 以 收 工 模 拟 这 个 过 程 。 测 试 一 下 测 试 一 下 文 件 滚 动 ， 会 生 成 新 的 文 件 ， 那 t a i l 命 令 还 能 跟 踪 到 么 ？ 我 们 来 测 试 一 下 。 第 一 步 ， 创 建 要 监 控 的 文 件 第 一 步 ， 创 建 要 监 控 的 文 件 第 二 步 ， 启 动 我 们 的 第 二 步 ， 启 动 我 们 的 J a v a 代 码 代 码 < c o n f i g u r a t i o n >     < a p p e n d e r   n a m e = " F I L E "   c l a s s = " c h . q o s . l o g b a c k . c o r e . r o l l i n g . R o l l i n g F i l e A p p e n d e r " >         < ! - -   S u p p o r t   m u l t i p l e - J V M   w r i t i n g   t o   t h e   s a m e   l o g   f i l e   - - >         < p r u d e n t > t r u e < / p r u d e n t >         < r o l l i n g P o l i c y   c l a s s = " c h . q o s . l o g b a c k . c o r e . r o l l i n g . T i m e B a s e d R o l l i n g P o l i c y " >             < f i l e N a m e P a t t e r n > l o g F i l e . % d { y y y y - M M - d d } . l o g < / f i l e N a m e P a t t e r n >             < m a x H i s t o r y > 3 0 < / m a x H i s t o r y >               < t o t a l S i z e C a p > 3 G B < / t o t a l S i z e C a p >         < / r o l l i n g P o l i c y >         < e n c o d e r >             < p a t t e r n > % - 4 r e l a t i v e   [ % t h r e a d ]   % - 5 l e v e l   % l o g g e r { 3 5 }   -   % m s g % n < / p a t t e r n >         < / e n c o d e r >     < / a p p e n d e r >       < r o o t   l e v e l = " D E B U G " >         < a p p e n d e r - r e f   r e f = " F I L E "   / >     < / r o o t > < / c o n f i g u r a t i o n > m v   r u n . l o g   r u n . 2 0 2 0 - 1 1 - 0 2 . l o g t o u c h   r u n . l o g t o u c h   / t m p / t a i l 0
第 三 步 ， 生 成 一 个 不 间 断 的 流 第 三 步 ， 生 成 一 个 不 间 断 的 流 上 面 的 命 令 每 隔 1 秒 钟 ， 往 我 们 的 文 件 中 打 印 一 下 当 前 的 日 期 ， 可 以 看 到 J a v a 端 已 经 收 到 了 这 些 数 据 。 第 四 步 ， 模 拟 文 件 滚 动 第 四 步 ， 模 拟 文 件 滚 动 此 时 ， 我 们 可 以 看 到 ， J a v a 端 此 时 已 经 接 受 不 到 数 据 了 。 W h y ? 为 了 看 到 这 是 为 什 么 ， 我 们 使 用 两 个 命 令 来 看 一 下 进 程 的 一 些 状 态 。 首 先 ， 使 用 p s 命 令 ， 查 看 当 前 的 t a i l 进 程 。 这 正 是 我 们 的 命 令 。 我 们 使 用 l s o f 命 令 去 查 看 这 个 进 程 所 关 联 的 文 件 。 w a t c h   - n   1     ' e c h o   ` d a t e `   > >   / t m p / t a i l 0   ' m v   / t m p / t a i l 0   / t m p / t a i l . b a k t o u c h   / t m p / t a i l 0 p s   - e f | g r e p   t a i l     5 0 1   2 1 3 7 4   2 1 3 7 3       0     1 : 5 1 P M   ? ?                   0 : 0 0 . 0 1   t a i l   - f   / t m p / t a i l 0
我 们 看 到 t a i l 进 程 所 监 控 的 文 件 ， 其 实 是 t a i l . b a k 文 件 ， 已 经 和 t a i l 命 令 没 什 么 关 系 了 。 我 们 尝 试 像 t a i l . b a k 输 入 一 点 内 容 。 此 时 如 我 们 所 愿 ， J a v a 进 程 有 反 应 了 ， 正 常 输 出 了 这 句 话 。 怎 么 办 ？ 怎 么 办 ？ 就 如 同 我 们 问 题 中 问 的 一 样 ， 把 换 成 就 可 以 了 。 的 意 思 是 ， 根 据 文 件 描 述 符 进 行 追 踪 。 的 意 思 是 ， 根 据 文 件 名 进 行 追 踪 ， 它 会 有 重 试 的 动 作 。 所 以 ， 我 们 的 日 志 收 集 程 序 ， 毫 无 疑 问 是 根 据 日 志 名 称 追 踪 的 ， 应 该 把 改 成 。 E n d 既 然 知 道 了 这 些 小 区 别 ， 我 们 就 对 日 常 工 作 中 遇 到 的 一 些 灵 异 问 题 有 了 解 释 。 l s o f   - p   2 1 3 7 4   |   a w k   ' { p r i n t   $ 4   " t "     $ 9 } ' F D   N A M E c w d   / t m p / t x t   / u s r / b i n / t a i l t x t   / u s r / l i b / d y l d 3 r   / p r i v a t e / t m p / t a i l . b a k e c h o   " h a h a :   x j j d o g ,   i   a m   f r o m   t a i l . b a k "   > >   / t m p / t a i l . b a k t a i l   - f t a i l   - F t a i l   - f t a i l   - F f F
大 家 都 知 道 r m 命 令 ， 能 够 删 除 一 个 文 件 。 如 果 有 这 个 文 件 ， 正 在 被 其 他 进 程 所 使 用 ， 那 这 些 文 件 你 看 起 来 像 是 删 掉 了 ， 但 它 的 内 容 却 不 释 放 。 上 面 这 个 命 令 ， 能 够 看 到 这 些 失 控 的 文 件 。 一 般 你 k i l l 掉 相 应 的 进 程 ， 这 些 句 柄 也 就 释 放 了 。 但 你 删 除 这 些 文 件 的 本 意 ， 就 是 为 了 避 免 重 启 应 用 ， 这 可 真 让 人 纠 结 。 所 以 我 们 在 删 除 文 件 的 时 候 ， 一 般 不 会 使 用 r m ， 而 应 该 使 用 重 定 向 符 号 。 将 万 物 皆 空 的 ， 发 向 它 们 。 推 荐 推 荐 ↓ ↓ ↓ 运 维 运 维   l s o f   |   g r e p   d e l e t e d   c a t   / d e v / n u l l   >   l o g p a t h / d e v / n u l l
回复

举报

高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

使用Markdown编辑器编辑 使用富文本编辑器编辑

Archiver| 手机版| 小黑屋|
Powered by Discuz! X3.4 Copyright © 2001-2020, Tencent Cloud. 商业源码建议获取授权，如侵犯您的权益，请联系客服处理