搜索

[26286] 2020-10-23_没想到Shell命令竟然还能这么玩？

文档创建者：s7ckTeam
浏览次数：0
最后更新：2025-01-19
2020-10-23_没想到Shell命令竟然还能这么玩？ 没 想 到   S h e l l   命 令 竟 然 还 能 这 么 玩 ？ L i n u x 学 习   2 0 2 0 - 1 0 - 2 3 来 自 公 众 号 ： 程 序 猿 石 头 来 自 公 众 号 ： 程 序 猿 石 头 关 于 作 者 ： 程 序 猿 石 头 ， 现 任 阿 里 巴 巴 技 术 专 家 ， 清 华 学 渣 ， 前 大 疆 后 端   L e a d e r 。 本 文 将 用 一 个 具 体 的 例 子 来 阐 述 如 何 用   S h e l l   来 进 行 高 效 地 数 据 统 计 和 分 析 。 最 近 北 京 又 开 始 了 新 一 批 积 分 落 户 的 填 报 工 作 ， 恰 好 这 篇 文 章 用   s h e l l   来 对 首 批 北 京 积 分 落 户 同 学 进 行   " 大 数 据 " 分 析 。 现 如 今 到 处 都 是 各 种 " 大 数 据 " ， 本 文 分 析 对 象 也 就 是 首 批 积 分 落 户 的 6 0 0 0 多 条 数 据 而 已 ， 显 然 不 能 算 什 么 大 数 据 。 印 象 中 ， 我 记 得 当 初 该 官 网 的 这 6 0 0 0 多 条 数 据 也 是 一 次 性 就 能 w g e t 下 来 的 ( 后 端 估 计 没 做 限 制 ， 可 能 稍 微 调 整 下 接 口 的 分 页 参 数 之 类 不 需 要 严 格 按 照 各 种 分 页 多 次 下 载 ) 。 问 题 描 述 问 题 描 述 输 入 是   j s o n 数 据 ， 格 式 化 之 后 的   j s o n   数 据 主 题 结 构 如 下 所 示 ， r o w s 为 数 组 ， 数 组 中 元 素 所 代 表 的   o b j e c t   即 描 述 了 获 得 北 京 户 口 的 同 学 的 各 种 属 性 ： 例 如 分 数 、 排 名 、 身 份 证 号 ( 后 四 位 打 码 了 ) 、 公 司 等 等 信 息 。
为 了 方 便 大 家 练 习 对 数 据 进 行 试 验 ， 我 将 文 中 的 数 据 附 在 这 里 ： h t t p s : / / w w w . t a n g l e i . n a m e / r e s o u r c e s / u s e - s h e l l - t o - a n a l y s i s - t h e - f i r s t - p e o p l e - o f - g e t t i n g - r e s i d e n c e - o f - b e i j i n g - b y - s c o r e / j i f e n l u o h u . j s o n . g z 拿 到 这 个 文 件 ， 比 如 希 望 你 用 最 快 的 方 法 获 得 以 下 信 息 ， 你 将 会 怎 么 做 ？ " r o w s " :   [ {         " i d " :   6 2 9 8 1 ,         " i d C a r d " :   " 3 2 0 9 2 2 1 9 7 2 1 2 2 2 * * * * " ,         " i d C a r d S H A " :   " 9 e f 7 0 b d e 8 9 4 9 5 9 a 4 e 4 a 1 d 1 b 2 b 9 5 9 2 b 4 7 0 2 9 4 f 9 e 4 0 1 2 a 8 c f 4 8 0 3 1 9 6 6 5 d 1 a 7 c 1 c 6 " ,         " i n s e r t T i m e " :   1 5 3 9 5 1 8 3 5 3 0 0 0 ,         " i n t e g r a l Q u a l i f i e d " :   1 ,         " i n t e r n e t A n n u a l " :   {                 " a n n u a l " :   2 0 1 8 ,                 " i d " :   4 3 ,                 " i n s e r t T i m e " :   1 5 3 9 5 1 8 3 5 3 0 0 0 ,                 " p u b l i c i t y E n d " :   1 5 4 0 2 2 4 0 0 0 0 0 0 ,                 " p u b l i c i t y S t a r t " :   1 5 3 9 5 9 1 6 0 0 0 0 0 ,                 " p u b l i s h R e s u l t E n d D a t e " :   1 5 4 1 6 7 9 3 0 0 0 0 0 ,                 " p u b l i s h R e s u l t S t a r t D a t e " :   1 5 3 9 5 9 1 6 0 0 0 0 0 ,                 " p u b l i s h R e s u l t S t a t u s " :   1 ,                 " s c o r e " :   9 0 . 7 5 ,                 " s t a t u s " :   1         } ,         " m d 5 C o d e " :   " 5 4 e 9 f f 7 c e 0 b 0 0 4 f 7 1 4 1 b 1 5 7 f 8 a f c 6 6 d b " ,         " n a m e " :   " 杨 效 丰 " ,         " p x i d " :   1 ,         " r a n k i n g " :   1 ,         " s 1 " :   5 1 ,         " s 1 0 " :   0 ,         " s 2 " :   1 2 . 5 9 ,         " s 3 " :   1 5 ,         " s 4 " :   0 ,         " s 5 " :   4 ,         " s 6 " :   0 ,         " s 7 " :   2 0 ,         " s 8 " :   2 0 ,         " s 9 " :   0 ,         " s c o r e " :   1 2 2 . 5 9 ,         " u n i t " :   " 北 京 利 德 华 福 电 气 技 术 有 限 公 司 " } ,
获 取 取 得 户 口 名 额 最 多 的 t o p 1 0 公 司 获 取 取 得 户 口 名 额 的 人 中 姓 氏 最 多 的 获 取 户 口 名 字 中 叫 啥 名 最 流 行 获 取 年 龄 分 布 获 取 取 得 户 口 的 同 学 户 籍 地 t o p 1 0 生 肖 / 星 座 / 生 日 . . . 当 然 ， 方 法 有 很 多 ， 比 如 熟 悉 各 种 编 程 语 言 的 ， 例 如     等 等 写 个 简 单 的 脚 本 程 序 ， 也 能 比 较 快 获 取 答 案 。 或 者 把 相 应 的 数 据 提 取 出 来 ， 放 到   e x c e l   中 也 可 以 。 如 果 你 对   S h e l l   很 熟 悉 ， 那 真 的 是 分 分 钟 ， 应 该 是 秒 秒 钟 就 能 获 取 答 案 。 就 算 用   S h e l l   来 实 现 ， 不 同 的 人 可 能 也 有 不 同 的 写 法 ， 后 面 我 就 列 举 其 中 的 一 种 来 解 决 这 些 问 题 。 本 文 不 对   S h e l l   具 体 每 个 命 令 做 过 多 的 解 释 ， 不 熟 悉 的 同 学 可 以 直 接     或 者     等 等 查 看 。 问 题 解 答 问 题 解 答 获 取 取 得 户 口 名 额 最 多 的 获 取 取 得 户 口 名 额 最 多 的 t o p 1 0 公 司 公 司 看 看 想 通 过 积 分 落 户 ， 最 好 是 进 哪 些 公 司 ， 哈 哈 。 " u n i t " :   " 北 京 利 德 华 福 电 气 技 术 有 限 公 司 " 先 通 过     得 到 包 含 公 司 名 字 的 一 行 ， 然 后 通 过   " : "   分 割     取 第 2 列 得 到 公 司 名 字 ， 对 结 果 进 行 排 序 进 行 去 重 统 计 得 到 重 复 次 数 ， 次 时 结 果 为 ， 再 对 第 一 列 p y t h o n ,   p h p ,   j a v a m a n   $ c m d $ c m d   - - h e l p g r e p c u t s o r t u n i q 重 复 次 数   公 司 名 - k   1
重 复 数 字 进 行 按 照 数 字 排 序 逆 序   即   ， 最 后 取 结 果 的 前 1 0 行   。 获 取 取 得 户 口 名 额 的 人 中 姓 氏 最 多 的 获 取 取 得 户 口 名 额 的 人 中 姓 氏 最 多 的 看 看 想 通 过 积 分 落 户 ， 最 好 是 姓 啥 ， 哈 哈 。 " n a m e " :   " 杨 效 丰 " , 套 路 跟 之 前 差 不 多 的 ， 我 这 边 就 不 特 别 指 出 了 。 下 面 s h e l l 实 际 上 是 取 到 这 行 后 ， 将 真 正 表 示 名 字 之 前 的 所 有 字 符 都 删 除 ， 就 只 剩 下 名 字 开 头 了 ， 取 行 首 第 一 个 字 符 即 得 到 姓 ， 再 按 照 之 前 的 套 路 就 能 拿 到 了 。 其 实 用 什 么 替 换 冗 余 的 字 符 都 是 多 余 的 ， 因 为 j s o n 的 格 式 都 是 良 好 的 ， 可 以 直 接 通 过     取 姓 这 个 字 符 即 可 。 也 不 用 挨 个 去 数 到 底 是 第 几 个 字 符 ， 直 接   c o p y 出 来 ， 然 后     就 能 数 到 第 几 个 字 符 了 。 - k   1 - n r s o r t   - n r   - k   1 h e a d   - n   1 0 ➜     积 分 落 户     >   g r e p   ' u n i t '   j i f e n l u o h u . j s o n |   c u t   - f 2   - d :   |   s o r t   |   u n i q   - c   |   s o r t   - n r   - k   1   |   h e a d   - n   1 0   1 3 7     " 北 京 华 为 数 字 技 术 有 限 公 司 "     7 3     " 中 央 电 视 台 "     5 7     " 北 京 首 钢 建 设 集 团 有 限 公 司 "     5 5     " 百 度 在 线 网 络 技 术 （ 北 京 ） 有 限 公 司 "     4 8     " 联 想 （ 北 京 ） 有 限 公 司 "     4 0     " 北 京 外 企 人 力 资 源 服 务 有 限 公 司 "     4 0     " 中 国 民 生 银 行 股 份 有 限 公 司 "     3 9     " 国 际 商 业 机 器 （ 中 国 ） 投 资 有 限 公 司 "     2 9     " 中 国 国 际 技 术 智 力 合 作 有 限 公 司 "     2 7     " 华 为 技 术 有 限 公 司 北 京 研 究 所 " c u t   - c   1 s e d c u t   - c   ? e c h o   - n   $ p a s t e   |   w c   - c
看 结 果 还 是 姓   " 张 ,   王 "   之 类 的 最 有 戏 。 获 取 户 口 名 字 中 叫 啥 名 最 流 行 获 取 户 口 名 字 中 叫 啥 名 最 流 行 套 路 差 不 多 ， 不 做 过 多 解 释 了 。 #   或 者   g r e p   ' " n a m e " : '   j i f e n l u o h u . j s o n |   s e d   ' s | " n a m e " :   " | | g '   |   s e d   ' s | [ [ : s p a c e : ] ] | | g '   |   c u t   - c   1   |   s o r t   |   u n i q   - c   |   s o r t   - n r   - k   1   |   h e a d   - n   1 0 ➜     积 分 落 户     >   g r e p   ' " n a m e " : '   j i f e n l u o h u . j s o n |   s e d   ' s | " n a m e " :   " | | g '   |   s e d   ' s |   | | g '   |   c u t   - c   1   |   s o r t   |   u n i q   - c   |   s o r t   - n r   - k   1   |   h e a d   - n   1 0   5 4 1   张   5 3 1   王   4 6 2   李   3 7 6   刘   2 0 5   陈   1 9 3   杨   1 6 6   赵   1 3 2   孙     9 5   郭     9 5   徐
作 为 码 农 ， 必 须 得 养 成 对 自 己 得 到 结 果 进 行 自 测 的 习 惯 ， 所 以 如 果 对 自 己 的 结 果 不 够 自 信 ， 可 以 正 向 去 计 算 一 下 最 终 的 结 果 。 例 如 可 以 简 单 一 下 进 行 验 证 ， 叫   " 海 涛 "   的 是 不 是 1 9 个 。 获 取 年 龄 分 布 获 取 年 龄 分 布 思 路 是 截 取 身 份 证 号 码 中 代 表 出 生 年 的 4 位 数 ， 然 后 拿 当 前 年 份 2 0 1 9 减 出 生 年 得 到 年 龄 ， 后 面 的 套 路 又 一 样 了 。   一 个 简 单 的 计 算 器 程 序 ， 了 解 下 ？ ➜     积 分 落 户     >   g r e p   ' " n a m e " : '   j i f e n l u o h u . j s o n |   s e d   ' s | " n a m e " :   " | | g '   |   s e d   ' s | [ [ : s p a c e : ] ] | | g '   |   c u t   - c   2 - 4   |   s o r t   |   u n i q   - c   |   s o r t   - n r   - k   1   |   h e a d   - n   1 0     5 1   伟 " ,     3 9   静 " ,     3 8   涛 " ,     3 6   勇 " ,     3 6   军 " ,     3 2   敏 " ,     3 1   颖 " ,     3 0   鹏 " ,     2 8   杰 " ,     2 8   峰 " , #   取 名 字 ,   必 须 包 含 2 个 字 ➜     积 分 落 户     >   g r e p   ' " n a m e " : '   j i f e n l u o h u . j s o n |   s e d   ' s | " n a m e " :   " | | g '   |   s e d   ' s | [ [ : s p a c e : ] ] | | g '   |   c u t   - c   2 - 3   |   s e d     ' / " / d '     1 9   海 涛     1 9   晓 东     1 2   志 强     1 1   海 燕     1 1   永 强     1 1   建 华     1 0   雪 梅       9   海 龙       9   丽 娜       8   洪 涛 g r e p ➜     积 分 落 户     >   g r e p   ' 海 涛 '   j i f e n l u o h u . j s o n   |   w c   - l             1 9     b c
  是 个 好 东 西 ， 多 练 练 。 ➜     s h e l l - t r a i n     >   e c h o   " 3 + 2 - 5 / 5 "   |   b c 4 ➜     s h e l l - t r a i n     >   e c h o   " 3 . 1 4 1 5 9 2 * 5 - 4 "   |   b c 1 1 . 7 0 7 9 6 0 # 思 路 1 :   ` c u t   - c   9 - 1 2 `   获 取 出 生 年 ,   拼 接 表 达 式   ` 2 0 1 9 - 出 生 年 `   得 到 年 龄 . ➜     积 分 落 户     >   g r e p   ' " i d C a r d " : '   j i f e n l u o h u . j s o n |   c u t   - f 2   - d :   |   c u t   - c   9 - 1 2   |   x a r g s   - n 1   e c h o   2 0 1 9   - | b c   |   s o r t   |   u n i q   - c       3   3 4     1 3   3 5     3 9   3 6   1 0 9   3 7   1 6 2   3 8   3 0 2   3 9   5 0 7   4 0   7 7 3   4 1   7 9 9   4 2   8 1 3   4 3   7 5 7   4 4   5 8 6   4 5   5 0 7   4 6   3 7 8   4 7   2 3 8   4 8       4   4 9       9   5 0       1   5 1       4   5 2       3   5 3       2   5 4       5   5 5       1   5 6       1   5 8       1   5 9       1   6 0       1   6 1 a w k
获 取 取 得 户 口 的 同 学 户 籍 地 获 取 取 得 户 口 的 同 学 户 籍 地 t o p 1 0 有 时 候 ， 我 们 在 写 S h e l l 的 时 候 ， 为 了 d e b u g 方 便 ， 可 能 会 将 一 些 中 间 结 果 缓 存 到 文 件 中 ， 后 续 以 该 文 件 为 基 础 进 行 后 续 的 计 算 。 比 如 先 拿 到 t o p 1 0 的 身 份 证 中 代 表 的 户 籍 地 的 四 位 编 码 ， 这 里 需 要 借 助 另 外 的 一 个 表 示 身 份 证 户 籍 地 的 编 码 来 进 行 对 应 。 借 此 机 会 解 释 下     这 个 命 令 。 #   拿 到 出 生 年 后 ,   直 接 通 过   a w k   计 算 结 果 输 出 ➜     积 分 落 户     >   g r e p   ' " i d C a r d " : '   j i f e n l u o h u . j s o n |   c u t   - f 2   - d :   |   c u t   - c   9 - 1 2   | a w k   ' { p r i n t   2 0 1 9 - $ 1 } '   |   s o r t   |   u n i q   - c       3   3 4     1 3   3 5     3 9   3 6   1 0 9   3 7   1 6 2   3 8   3 0 2   3 9   5 0 7   4 0   7 7 3   4 1   7 9 9   4 2   8 1 3   4 3   7 5 7   4 4   5 8 6   4 5   5 0 7   4 6   3 7 8   4 7   2 3 8   4 8       4   4 9       9   5 0       1   5 1       4   5 2       3   5 3       2   5 4       5   5 5       1   5 6       1   5 8       1   5 9       1   6 0       1   6 1       j o i n
其 实 ，   就 类 似 中 的   ，     分 隔 符 ， 默 认 为 空 格 或 。 #   身 份 证 前 4 位 为 例 ,   拿 到 户 籍 地 g r e p   ' " i d C a r d " : '   j i f e n l u o h u . j s o n |   c u t   - f 2   - d :   |   c u t   - c   3 - 6   |   s o r t   |   u n i q   - c   |   s o r t   - n r   - k   1   > t o p c i t y . c o d e #   城 市 列 表 ➜     积 分 落 户     >   m o r e   c i t y . c s v 1 1 , 北 京 市 1 1 0 1 , 北 京 市 市 辖 区 1 1 0 1 0 1 , 北 京 市 东 城 区 1 1 0 1 0 2 , 北 京 市 西 城 区 1 1 0 1 0 3 , 北 京 市 崇 文 区 1 1 0 1 0 4 , 北 京 市 宣 武 区 1 1 0 1 0 5 , 北 京 市 朝 阳 区 #   g r e p   - E   ' ^ [ 0 - 9 ] { 4 } , '   c i t y . c s v   |   s e d   ' s | , |   | g '   >   c i t y . c o d e 4 ➜   s h e l l - t r a i n     >   h e a d   - n   2   c i t y . c o d e 4 1 1 0 1   北 京 市 市 辖 区 1 1 0 2   北 京 市 市 辖 县 ➜   s h e l l - t r a i n     >   h e a d   - n   2   t o p c i t y . c o d e   1 9 7   1 2 0 1   1 5 6   1 3 0 2 ➜   s h e l l - t r a i n     >   j o i n u s a g e :   j o i n   [ - a   f i l e n o   |   - v   f i l e n o   ]   [ - e   s t r i n g ]   [ - 1   f i e l d ]   [ - 2   f i e l d ]                         [ - o   l i s t ]   [ - t   c h a r ]   f i l e 1   f i l e 2 j o i n s q l . . . i n n e r   j o i n   . . . o n   . . . - t t a b
一 定 需 要 将 结 果 输 出 到 文 件 ， 然 后 再 进 行 吗 ？ 其 实 也 不 一 定 。 用 管 道 的 方 式     可 以 将 上 一 个 命 令 的 输 出 结 果 作 为 下 一 个 命 令 的 输 入 ， 可 以 通 过     的 方 式 ， 将   的 输 出 作 为 一 个 文 件 输 入 。 举 个 例 子 用 来 将 两 个 文 件 按 列 合 并 在 一 起 ： #   未 排 序 ,   所 以 没 有 将 所 有 的 导 出 ( j o i n 需 要 排 序 ) ➜   s h e l l - t r a i n     >   j o i n   - 1   1   - 2   2   c i t y . c o d e 4   t o p c i t y . c o d e 1 2 0 1   天 津 市 市 辖 区   1 9 7 1 3 0 2   河 北 省 唐 山 市   1 5 6 2 3 0 1   黑 龙 江 哈 尔 滨 市   1 2 3 4 2 0 1   湖 北 省 武 汉 市   1 1 8 6 1 0 1   陕 西 省 西 安 市   1 0 0 6 2 0 1   甘 肃 省 兰 州 市   5 9 6 5 0 1   新 疆 乌 鲁 木 齐 市   2 9 6 5 2 3   新 疆 昌 吉 回 族 自 治 州   1 1 | < ( c o m m a n d ) c o m m a n d #   需 要 排 序 ➜   s h e l l - t r a i n     >   j o i n   - 1   1   - 2   2   c i t y . c o d e 4   < ( h e a d   - n   1 0   t o p c i t y . c o d e   |   s o r t   - k   2 ) 1 2 0 1   天 津 市 市 辖 区   1 9 7 1 3 0 1   河 北 省 石 家 庄 市   1 1 4 1 3 0 2   河 北 省 唐 山 市   1 5 6 1 3 2 4   河 北 省 保 定 地 区   1 0 3 1 5 0 1   内 蒙 古 呼 和 浩 特 市   8 8 2 1 0 1   辽 宁 省 沈 阳 市   1 0 9 2 2 0 1   吉 林 省 长 春 市   1 1 3 2 3 0 1   黑 龙 江 哈 尔 滨 市   1 2 3 4 2 0 1   湖 北 省 武 汉 市   1 1 8 6 1 0 1   陕 西 省 西 安 市   1 0 0 p a s t e
回复

举报

高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

使用Markdown编辑器编辑 使用富文本编辑器编辑

Archiver| 手机版| 小黑屋|
Powered by Discuz! X3.4 Copyright © 2001-2020, Tencent Cloud. 商业源码建议获取授权，如侵犯您的权益，请联系客服处理