搜索

[24495] 2015-11-24_使用LinuxUnix进行文本处理

文档创建者：s7ckTeam
浏览次数：3
最后更新：2025-01-18
2015-11-24_使用LinuxUnix进行文本处理 使 用   L i n u x / U n i x   进 行 文 本 处 理 s o n g 4   L i n u x 中 国   2 0 1 5 - 1 1 - 2 4 正 则 表 达 式 翻 译 领 域 不 乏 让 人 摸 不 着 头 脑 的 词 汇 ， 比 如 “ 句 柄 ” 、 “ 套 接 字 ” 、 “ 鲁 棒 性 ” 。 当 然 ， “ 正 则 表 达 式 ” 也 属 于 这 一 类 词 汇 。 我 刚 接 触 正 则 表 达 式 的 时 候 ， 对 这 个 名 词 感 到 非 常 迷 惑 。 深 入 了 解 之 后 ， 才 突 然 明 白 ， 原 来 所 谓 的   r e g u l a r   e x p r e s s i o n ，   其 实 就 是 “ 有 规 律 、 有 模 式 的 字 符 串 ” 而 已 。 很 少 有 一 门 技 术 ， 只 需 要 投 入 少 量 的 学 习 成 本 即 可 获 得 巨 大 的 价 值 回 报 。 正 则 表 达 式 就 属 于 这 一 类 技 术 。 可 惜 很 多 人 被 它 密 码 般 的 语 法 形 式 当 头 棒 喝 ， 甚 至 连 门 都 不 得 而 入 。 为 什 么 你 应 该 学 习 正 则 表 达 式 ？ 其 一 ， 在 实 践 中 应 用 这 门 技 术 其 实 不 难 ， 只 需 理 解 为 数 不 多 的 几 个 元 字 符 以 及 并 不 复 杂 的 语 法 ， 就 能 够 获 得 强 大 的 文 本 操 控 能 力 ； 其 二 ， 正 则 表 达 式 往 往 能 提 供 处 理 文 本 的 最 简 单 最 高 效 的 解 决 方 法 （ 有 时 也 许 是 唯 一 的 解 法 ） 。 遇 上 复 杂 的 情 况 ， 如 果 你 不 会 正 则 表 达 式 ， 就 只 好 束 手 无 策 、 黯 然 神 伤 了 。 正 则 表 达 式 入 门 容 易 ， 精 通 却 难 。 本 文 并 不 打 算 挑 战 此 项 任 务 ， 如 果 你 希 望 系 统 地 学 习 正 则 表 达 式 ， 请 一 定 阅 读   J e f f r e y   F r i e d l   的 著 作   精 通 正 则 表 达 式 。 正 则 表 达 式 文 本 检 索 g r e p   命 令 可 以 完 成 简 单 的 文 本 搜 索 任 务 。 先 来 准 备 一 份 文 本 材 料 ， 把   g r e p   的 帮 助 页 保 存 为 文 本 文 件 ： 下 面 ， 我 想 检 索   g r e p h e l p . t x t   文 件 中 所 有 包 含   " f i n d "   这 个 单 词 的 文 本 行 ： 1 .   >   m a n   g r e p   |   c o l   - b   >   g r e p h e l p . t x t 1 .   >   g r e p   " f i n d "   g r e p h e l p . t x t 2 .             T o   f i n d   a l l   o c c u r r e n c e s   o f   t h e   w o r d   ` p a t r i c i a '   i n   a   f i l e : 3 .             T o   f i n d   a l l   o c c u r r e n c e s   o f   t h e   p a t t e r n   ` . P p '   a t   t h e   b e g i n n i n g   o f   a   l i n e : 4 .             T o   f i n d   a l l   l i n e s   i n   a   f i l e   w h i c h   d o   n o t   c o n t a i n   t h e   w o r d s   ` f o o '   o r
我 希 望 匹 配 到 的 文 本 使 用 不 同 的 颜 色 显 示 ， 可 以 添 加 选 项 ， 默 认 的 颜 色 是 红 色 。 我 希 望 在 匹 配 结 果 中 显 示 文 件 名 和 行 号 ， 使 用 选 项 可 以 显 示 文 件 名 ， 使 用 选 项 可 以 显 示 行 号 ： 很 多 时 候 ， 我 们 需 要 知 道 匹 配 行 前 后 的 上 下 文 。 和 这 两 个 选 项 会 是 你 的 好 朋 友 。 表 示 显 示 匹 配 行 以 及 其 后 的   n   行 ； 表 示 显 示 匹 配 行 以 及 之 前 的   n   行 。 现 在 ， 我 们 在 匹 配 行 的 前 后 分 别 额 外 显 示 两 行 ： - - c o l o r 1 .   >   g r e p   - - c o l o r   " f i n d "   g r e p h e l p . t x t - H - n 1 .   >   g r e p   - H   - n   - - c o l o r   " f i n d "   g r e p h e l p . t x t 2 .   g r e p h e l p . t x t : 2 5 2 :           T o   f i n d   a l l   o c c u r r e n c e s   o f   t h e   w o r d   ` p a t r i c i a '   i n   a   f i l e : 3 .   g r e p h e l p . t x t : 2 5 6 :           T o   f i n d   a l l   o c c u r r e n c e s   o f   t h e   p a t t e r n   ` . P p '   a t   t h e   b e g i n n i n g   o f   a   l i n e : 4 .   g r e p h e l p . t x t : 2 6 5 :           T o   f i n d   a l l   l i n e s   i n   a   f i l e   w h i c h   d o   n o t   c o n t a i n   t h e   w o r d s   ` f o o '   o r - A - B - A   n - B   n 1 .   >   g r e p   - A   2   - B   2   - H   - n   - - c o l o r   " f i n d "   g r e p h e l p . t x t 2 .   g r e p h e l p . t x t - 2 5 0 - 3 .   g r e p h e l p . t x t - 2 5 1 - E X A M P L E S 4 .   g r e p h e l p . t x t : 2 5 2 :           T o   f i n d   a l l   o c c u r r e n c e s   o f   t h e   w o r d   ` p a t r i c i a '   i n   a   f i l e : 5 .   g r e p h e l p . t x t - 2 5 3 - 6 .   g r e p h e l p . t x t - 2 5 4 -               $   g r e p   ' p a t r i c i a '   m y f i l e 7 .   - -
如 果 需 要 查 找 所 有 不 包 含   " f i n d "   的 文 本 行 ， 该 怎 么 做 呢 ？ 很 简 单 ， 使 用 选 项 即 可 。 g r e p   还 有 两 个 变 体 ， e g r e p   和   f g r e p 。 相 对 于 仅 支 持 基 本 正 则 模 式 （ B R E s ） 的   g r e p   来 说 ， e g r e p   支 持 扩 展 正 则 模 式 （ E R E s ） ， 因 而 检 索 能 力 更 为 强 大 ； f g r e p   是 所 有 三 个 工 具 中 速 度 最 快 的 一 个 ， 因 为 它 完 全 不 支 持 正 则 模 式 。 其 实 ， 我 更 喜 欢 一 个 叫 做   a c k   的 工 具 。 a c k 文 本 替 换 t r   命 令 可 以 完 成 简 单 的 字 符 转 换 任 务 。 例 如 ， 可 以 通 过   t r   把   g r e p h e l p . t x t   文 件 转 换 为 全 文 大 写 ： 8 .   - - 9 .   g r e p h e l p . t x t - 2 5 4 -               $   g r e p   ' p a t r i c i a '   m y f i l e 1 0 .   g r e p h e l p . t x t - 2 5 5 - 1 1 .   g r e p h e l p . t x t : 2 5 6 :           T o   f i n d   a l l   o c c u r r e n c e s   o f   t h e   p a t t e r n   ` . P p '   a t   t h e   b e g i n n i n g   o f   a   l i n e : 1 2 .   g r e p h e l p . t x t - 2 5 7 - 1 3 .   g r e p h e l p . t x t - 2 5 8 -               $   g r e p   ' ^ . P p '   m y f i l e 1 4 .   - - 1 5 .   - - 1 6 .   g r e p h e l p . t x t - 2 6 3 -           m a t c h   a n y   c h a r a c t e r . 1 7 .   g r e p h e l p . t x t - 2 6 4 - 1 8 .   g r e p h e l p . t x t : 2 6 5 :           T o   f i n d   a l l   l i n e s   i n   a   f i l e   w h i c h   d o   n o t   c o n t a i n   t h e   w o r d s   ` f o o '   o r 1 9 .   g r e p h e l p . t x t - 2 6 6 -           ` b a r ' : 2 0 .   g r e p h e l p . t x t - 2 6 7 - - v
简 而 言 之 ， t r   的 工 作 就 是 把 第 一 个 集 合 中 的 字 符 转 换 为 第 二 个 集 合 中 的 相 应 的 字 符 。 常 用 的 字 符 集 合 有 下 面 这 些 ： ： 字 母 数 字 ： 字 母 ： 控 制 字 符 ： 数 字 :   图 形 字 符 ： 小 写 字 母 ： 可 打 印 字 符 ： 标 点 符 号 ： 空 白 字 符 ： 大 写 字 母 ： 十 六 进 制 数 字 t r   命 令 的 应 用 场 景 非 常 受 限 ， 如 果 希 望 进 行 更 加 灵 活 的 模 式 替 换 ， 我 们 还 有   s e d （ 也 就 是   s t r e a m   e d i t o r ， 流 编 辑 器 ） 。 把 文 件 中 所 有 的   " f i n d "   文 本 替 换 为   " s e a r c h " ： 这 条 命 令 中 ， 表 示 执 行 “ 替 换 操 作 ” ， 表 示 把   " f i n d "   替 换 为   " s e a r c h " ， 表 示 对 一 行 中 所 有 的 匹 配 进 行 替 换 。 s e d   默 认 把 处 理 结 果 打 印 到 标 准 输 出 ， 我 们 可 以 通 过 重 定 向 把 处 理 结 果 转 储 到 一 个 新 文 件 中 ， 或 者 使 用 选 项 把 结 果 直 接 写 回 原 文 件 （ 有 风 险 ， 需 谨 慎 ） ： 1 .   >   c a t   g r e p h e l p . t x t   |   t r   ' [ : l o w e r : ] '   ' [ : u p p e r : ] ' [ : a l n u m : ] [ : a l p h a : ] [ : c n t r l : ] [ : d i g i t : ] [ : g r a p h : ] [ : l o w e r : ] [ : p r i n t : ] [ : p u n c t : ] [ : s p a c e : ] [ : u p p e r : ] [ : x d i g i t : ] 1 .   >   s e d   " s / f i n d / s e a r c h / g "   g r e p h e l p . t x t s / f i n d / s e a r c h / g - i
把 文 件 中 所 有 的 数 字   n   替 换 为   " - - n - - "   的 形 式 ： 选 项 表 示 在 处 理 过 程 中 使 用 扩 展 的 正 则 模 式 （ E R E s ） ， 替 换 命 令 中 的 表 示 引 用 正 则 表 达 式 的 第 一 个 捕 获 分 组 。 请 注 意 ， 这 个 选 项 只 在   M a c   O S   X   系 统 和   F r e e B S D   系 统 上 有 效 ， 其 他   U n i x   系 统 需 要 使 用 另 一 个 等 效 的 选 项 。 s e d   的 功 能 远 不 止 这 一 些 ， 篇 幅 所 限 ， 不 可 能 详 细 讲 解   s e d   的 用 法 。 如 果 希 望 学 习 更 多 ， 请 移 步 这 篇 文 章 。 文 本 去 重 1 .   >   s e d   - i   " s / f i n d / s e a r c h / g "   g r e p h e l p . t x t 1 .   >   s e d   - E   " s / ( [ 0 - 9 ] + ) / - - 1 - - / g "   g r e p h e l p . t x t - E 1 - E - r 1 .   >   c a t   - n   s o n n e t 1 1 6 . t x t 2 .             1         L e t   m e   n o t   t o   t h e   m a r r i a g e   o f   t r u e   m i n d s 3 .             2         A d m i t   i m p e d i m e n t s .   L o v e   i s   n o t   l o v e 4 .             3         W h i c h   a l t e r s   w h e n   i t   a l t e r a t i o n   f i n d s , 5 .             4         O r   b e n d s   w i t h   t h e   r e m o v e r   t o   r e m o v e : 6 .             5         O ,   n o !   i t   i s   a n   e v e r - f i x ` e d   m a r k , 7 .             6         O ,   n o !   i t   i s   a n   e v e r - f i x ` e d   m a r k , 8 .             7         T h a t   l o o k s   o n   t e m p e s t s   a n d   i s   n e v e r   s h a k e n ; 9 .             8         I t   i s   t h e   s t a r   t o   e v e r y   w a n d ' r i n g   b a r k , 1 0 .             9         W h o s e   w o r t h ' s   u n k n o w n ,   a l t h o u g h   h i s   h e i g h t h   b e   t a k e n . 1 1 .           1 0         L o v e ' s   n o t   T i m e ' s   f o o l ,   t h o u g h   r o s y   l i p s   a n d   c h e e k s 1 2 .           1 1         L o v e ' s   n o t   T i m e ' s   f o o l ,   t h o u g h   r o s y   l i p s   a n d   c h e e k s 1 3 .           1 2         L o v e ' s   n o t   T i m e ' s   f o o l ,   t h o u g h   r o s y   l i p s   a n d   c h e e k s 1 4 .           1 3         W i t h i n   h i s   b e n d i n g   s i c k l e ' s   c o m p a s s   c o m e ;
这 是 莎 士 比 亚 的 一 首 十 四 行 诗 ， 只 可 惜 第 5 行 和 第 1 0 行 有 重 复 （ 而 且 第 1 0 行 重 复 了 3 次 ） 。 怎 么 查 看 文 本 中 重 复 的 行 呢 ？ u n i q   命 令 可 以 帮 助 你 。 选 项 表 示 仅 输 出 重 复 的 行 。 如 果 需 要 去 重 ， 使 用 不 带 选 项 的   u n i q   命 令 就 可 以 了 ： 想 要 查 看 每 一 行 究 竟 重 复 了 多 少 次 ？ 没 问 题 ， 使 用 选 项 1 5 .           1 4         L o v e   a l t e r s   n o t   w i t h   h i s   b r i e f   h o u r s   a n d   w e e k s , 1 6 .           1 5         B u t   b e a r s   i t   o u t   e v e n   t o   t h e   e d g e   o f   d o o m : 1 7 .           1 6         I f   t h i s   b e   e r r o r   a n d   u p o n   m e   p r o v e d , 1 8 .           1 7         I   n e v e r   w r i t ,   n o r   n o   m a n   e v e r   l o v e d . 1 .   >   u n i q   - d   s o n n e t 1 1 6 . t x t 2 .   O ,   n o !   i t   i s   a n   e v e r - f i x ` e d   m a r k , 3 .   L o v e ' s   n o t   T i m e ' s   f o o l ,   t h o u g h   r o s y   l i p s   a n d   c h e e k s - d 1 .   >   u n i q   s o n n e t 1 1 6 . t x t 2 .   L e t   m e   n o t   t o   t h e   m a r r i a g e   o f   t r u e   m i n d s 3 .   A d m i t   i m p e d i m e n t s .   L o v e   i s   n o t   l o v e 4 .   W h i c h   a l t e r s   w h e n   i t   a l t e r a t i o n   f i n d s , 5 .   O r   b e n d s   w i t h   t h e   r e m o v e r   t o   r e m o v e : 6 .   O ,   n o !   i t   i s   a n   e v e r - f i x ` e d   m a r k , 7 .   T h a t   l o o k s   o n   t e m p e s t s   a n d   i s   n e v e r   s h a k e n ; 8 .   I t   i s   t h e   s t a r   t o   e v e r y   w a n d ' r i n g   b a r k , 9 .   W h o s e   w o r t h ' s   u n k n o w n ,   a l t h o u g h   h i s   h e i g h t h   b e   t a k e n . 1 0 .   L o v e ' s   n o t   T i m e ' s   f o o l ,   t h o u g h   r o s y   l i p s   a n d   c h e e k s 1 1 .   W i t h i n   h i s   b e n d i n g   s i c k l e ' s   c o m p a s s   c o m e ; 1 2 .   L o v e   a l t e r s   n o t   w i t h   h i s   b r i e f   h o u r s   a n d   w e e k s , 1 3 .   B u t   b e a r s   i t   o u t   e v e n   t o   t h e   e d g e   o f   d o o m : 1 4 .   I f   t h i s   b e   e r r o r   a n d   u p o n   m e   p r o v e d , 1 5 .   I   n e v e r   w r i t ,   n o r   n o   m a n   e v e r   l o v e d .
： 文 本 排 序 假 设 有 这 样 一 个 报 表 文 件 ， 第 一 列 是 月 份 ， 第 二 列 是 当 月 的 销 售 个 数 ： - c 1 .   >   u n i q   - c   s o n n e t 1 1 6 . t x t 2 .         1   L e t   m e   n o t   t o   t h e   m a r r i a g e   o f   t r u e   m i n d s 3 .         1   A d m i t   i m p e d i m e n t s .   L o v e   i s   n o t   l o v e 4 .         1   W h i c h   a l t e r s   w h e n   i t   a l t e r a t i o n   f i n d s , 5 .         1   O r   b e n d s   w i t h   t h e   r e m o v e r   t o   r e m o v e : 6 .         2   O ,   n o !   i t   i s   a n   e v e r - f i x ` e d   m a r k , 7 .         1   T h a t   l o o k s   o n   t e m p e s t s   a n d   i s   n e v e r   s h a k e n ; 8 .         1   I t   i s   t h e   s t a r   t o   e v e r y   w a n d ' r i n g   b a r k , 9 .         1   W h o s e   w o r t h ' s   u n k n o w n ,   a l t h o u g h   h i s   h e i g h t h   b e   t a k e n . 1 0 .         3   L o v e ' s   n o t   T i m e ' s   f o o l ,   t h o u g h   r o s y   l i p s   a n d   c h e e k s 1 1 .         1   W i t h i n   h i s   b e n d i n g   s i c k l e ' s   c o m p a s s   c o m e ; 1 2 .         1   L o v e   a l t e r s   n o t   w i t h   h i s   b r i e f   h o u r s   a n d   w e e k s , 1 3 .         1   B u t   b e a r s   i t   o u t   e v e n   t o   t h e   e d g e   o f   d o o m : 1 4 .         1   I f   t h i s   b e   e r r o r   a n d   u p o n   m e   p r o v e d , 1 5 .         1   I   n e v e r   w r i t ,   n o r   n o   m a n   e v e r   l o v e d . 1 .   >   c a t   r e p o r t . t x t 2 .   M a r c h , 1 9 3 .   J u n e , 5 0 4 .   F e b r u a r y , 1 7 5 .   M a y , 1 8 6 .   A u g u s t , 1 6 7 .   A p r i l , 3 1 8 .   M a y , 1 8 9 .   J u l y , 2 6 1 0 .   J a n u a r y , 2 4 1 1 .   A u g u s t , 1 6
这 个 文 件 的 内 容 不 仅 顺 序 是 乱 的 ， 而 且 还 有 重 复 。 我 希 望 按 字 母 表 顺 序 排 序 ， 可 以 下 面 这 个 命 令 ： 选 项 （ 表 示   u n i q u e ） 可 以 在 排 序 结 果 中 去 除 重 复 行 ： 能 不 能 按 照 月 份 排 序 呢 ？ 选 项 （ 表 示   m o n t h - s o r t ） 可 以 帮 助 我 们 ： 1 .   >   s o r t   r e p o r t . t x t 2 .   A p r i l , 3 1 3 .   A u g u s t , 1 6 4 .   A u g u s t , 1 6 5 .   F e b r u a r y , 1 7 6 .   J a n u a r y , 2 4 7 .   J u l y , 2 6 8 .   J u n e , 5 0 9 .   M a r c h , 1 9 1 0 .   M a y , 1 8 1 1 .   M a y , 1 8 - u 1 .   >   s o r t   - u   r e p o r t . t x t 2 .   A p r i l , 3 1 3 .   A u g u s t , 1 6 4 .   F e b r u a r y , 1 7 5 .   J a n u a r y , 2 4 6 .   J u l y , 2 6 7 .   J u n e , 5 0 8 .   M a r c h , 1 9 9 .   M a y , 1 8 - M
按 照 第 二 列 的 数 字 进 行 排 序 也 是 很 简 单 的 ： 上 面 的 例 子 中 ， 选 项 表 示 以 逗 号 为 分 隔 符 对 文 本 进 行 列 分 割 ； 表 示 对 第 2 列 进 行 排 序 。 当 然 了 ， 把 结 果 逆 序 排 列 也 并 非 不 可 能 ： 1 .   >   s o r t   - u   - M   r e p o r t . t x t 2 .   J a n u a r y , 2 4 3 .   F e b r u a r y , 1 7 4 .   M a r c h , 1 9 5 .   A p r i l , 3 1 6 .   M a y , 1 8 7 .   J u n e , 5 0 8 .   J u l y , 2 6 9 .   A u g u s t , 1 6 1 .   >   s o r t   - u   - t ' , '   - k 2   r e p o r t . t x t 2 .   A u g u s t , 1 6 3 .   F e b r u a r y , 1 7 4 .   M a y , 1 8 5 .   M a r c h , 1 9 6 .   J a n u a r y , 2 4 7 .   J u l y , 2 6 8 .   A p r i l , 3 1 9 .   J u n e , 5 0 - t ' , ' - k 2 1 .   >   s o r t   - u   - r   - t ' , '   - k 2   r e p o r t . t x t 2 .   J u n e , 5 0 3 .   A p r i l , 3 1 4 .   J u l y , 2 6
文 本 统 计 w c   命 令 用 来 完 成 文 本 统 计 工 作 ， 通 过 使 用 不 同 的 选 项 ， 它 可 以 统 计 文 件 中 的 字 节 数 （ ） ， 字 符 数 （ ） ， 单 词 数 （ ） 与 行 数 （ ） 。 例 如 ， 查 看   g r e p h e l p . t x t   这 个 文 件 总 共 有 多 少 个 单 词 ： 查 看   s o n n e t 1 1 6 . t x t   这 个 文 件 总 共 有 多 少 不 重 复 的 行 （ 废 话 ， 十 四 行 诗 当 然 是 有 1 4 行 ） ： 你 还 应 该 试 试   A w k   与   P e r l 如 果 上 面 介 绍 的 工 具 仍 然 不 能 满 足 你 ， 也 许 你 需 要 火 力 更 强 的 武 器 。 试 试   A w k   与   P e r l   吧 。 A w k   也 是 一 款 上 古 神 器 ， 它 的 年 龄 可 能 和   s e d   不 相 上 下 。 A w k   可 谓 是 专 门 为 了 文 本 处 理 而 生 ， 它 的 语 法 和 特 性 非 常 适 合 用 于 操 纵 文 本 和 生 成 报 表 。 如 需 学 习 ， 请 参 考   这 篇 文 章 ， 你 会 喜 欢 上 它 的 。 长 久 以 来 ， P e r l   背 负 了 “ 只 写 语 言 ” 的 恶 名 。 实 际 上 ， 只 要 处 理 得 当 ， 用   P e r l   一 样 可 以 写 出 模 块 清 晰 的 、 容 易 阅 读 和 理 解 的 代 码 。 根 据 我 的 经 验 ， 使 用   P e r l   的 场 合   8 0 %   以 上 与 文 本 处 理 有 关 。 P e r l   内 置 的 正 则 表 达 式 支 持 可 能 是 所 有 语 言 中 最 好 的 ， 再 加 上 简 洁 紧 凑 的 语 法 以 及 便 利 的 操 作 符 ， 这 些 特 性 帮 助   P e r l   成 了 文 本 处 理 领 域 当 仁 不 让 的 霸 主 。 5 .   J a n u a r y , 2 4 6 .   M a r c h , 1 9 7 .   M a y , 1 8 8 .   F e b r u a r y , 1 7 9 .   A u g u s t , 1 6 - c - m - w - l 1 .   >   w c   - w   g r e p h e l p . t x t 2 .           1 5 7 1   g r e p h e l p . t x t 1 .   >   u n i q   s o n n e t 1 1 6 . t x 6   |   w c   - l 2 .               1 4
回复

举报

高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

使用Markdown编辑器编辑 使用富文本编辑器编辑

Archiver| 手机版| 小黑屋|
Powered by Discuz! X3.4 Copyright © 2001-2020, Tencent Cloud. 商业源码建议获取授权，如侵犯您的权益，请联系客服处理