搜索

[27470] 2020-12-02_那些用起来很爽，但用不好可能会被人打的Python骚操作

文档创建者：s7ckTeam
浏览次数：60
最后更新：2025-01-19
2020-12-02_那些用起来很爽，但用不好可能会被人打的Python骚操作 那 些 用 起 来 很 爽 ， 但 用 不 好 可 能 会 被 人 打 的 P y t h o n 骚 操 作 原 创   L o c o   N i g h t T e a m   2 0 2 0 - 1 2 - 0 2 " N i g h t T e a m " ， 一 个 值 得 加 星 标 的 公 众 号 。 前 言 前 言 这 是 我 在 P y C o n   C h i n a   2 0 2 0   上 海 场 闪 电 演 讲 内 容 的 文 字 版 本 。 （ 去 年 还 是 白 嫖 了 两 张 票 在 下 面 吐 槽 ， 今 年 就 变 讲 师 了 h h h h ， 这 体 验 挺 神 奇 的 ） 由 于 内 容 量 和 不 同 的 人 关 注 的 点 不 同 的 关 系 ， 我 分 享 中 主 要 是 讲 一 讲 这 些 骚 操 作 的 用 法 和 一 些 注 意 事 项 ， 实 现 原 理 方 面 网 上 有 很 多 深 入 探 讨 的 文 章 和 帖 子 ， 有 兴 趣 的 朋 友 可 以 自 己 去 搜 一 搜 、 看 一 看 ， 这 里 就 不 细 讲 了 。 快 速 将 两 个 分 别 存 放 有 快 速 将 两 个 分 别 存 放 有 k e y 和 和 v a l u e 的 列 表 合 并 成 一 个 字 典 的 列 表 合 并 成 一 个 字 典 这 个 操 作 的 用 途 对 于 爬 虫 工 程 师 而 言 挺 常 见 的 ， 比 如 说 ： 你 需 要 采 集 一 些 键 值 对 类 型 的 信 息 ， 然 后 你 可 能 会 碰 到 一 些 平 台 的 接 口 返 回 这 些 信 息 时 是 直 接 返 回 的 一 个 只 有 v a l u e 的 列 表 ， 并 且 k e y 都 是 写 死 在 代 码 或 请 求 参 数 里 的 ， 这 时 候 你 就 可 以 通 过 这 个 操 作 来 将 它 们 快 速 合 并 成 一 个 字 典 ， 这 样 就 能 比 较 方 便 地 取 值 了 ， 取 值 部 分 的 可 读 性 也 会 好 很 多 。 还 有 一 种 情 况 就 是 ， 你 可 能 会 碰 到 一 些 网 站 上 的 这 种 键 值 对 信 息 在 H T M L 中 k e y 和 v a l u e 的 元 素 是 平 级 关 系 ， 并 且 k e y 和 v a l u e 也 没 有 能 够 区 分 的 标 识 ， 这 些 情 况 我 们 只 能 通 过 把 整 个 键 值 对 部 分 的 元 素 都 提 取 出 来 转 换 成 列 表 ， 然 后 再 通 过 按 列 表 下 标 间 隔 切 片 的 方 式 分 别 取 出 k e y 和 v a l u e 的 列 表 ， 然 后 再 将 它 们 合 并 成 一 个 字 典 。 比 如 这 样 ： 需 要 注 意 的 是 ， 这 个 操 作 在 碰 到 k e y 和 v a l u e 数 量 不 一 致 的 时 候 ， 会 自 动 忽 略 掉 多 的 那 部 分 列 表 尾 部 的 值 ， 你 需 要 确 保 k e y > > >   a   =   [ " k e y 1 " ,   " k e y 2 " ,   " k e y 3 " ] > > >   b   =   [ " v a l u e 1 " ,   " v a l u e 2 " ,   " v a l u e 3 " ] > > >   d i c t ( z i p ( a ,   b ) ) { ' k e y 1 ' :   ' v a l u e 1 ' ,   ' k e y 2 ' :   ' v a l u e 2 ' ,   ' k e y 3 ' :   ' v a l u e 3 ' } > > >   r e s u l t   =   [ " k e y 1 " ,   " v a l u e 1 " ,   " k e y 2 " ,   " v a l u e 2 " ,   " k e y 3 " ,   " v a l u e 3 " ] > > >   r e s u l t [ 0 : : 2 ] [ ' k e y 1 ' ,   ' k e y 2 ' ,   ' k e y 3 ' ] > > >   r e s u l t [ 1 : : 2 ] [ ' v a l u e 1 ' ,   ' v a l u e 2 ' ,   ' v a l u e 3 ' ] > > >   d i c t ( z i p ( r e s u l t [ 0 : : 2 ] ,   r e s u l t [ 1 : : 2 ] ) ) { ' k e y 1 ' :   ' v a l u e 1 ' ,   ' k e y 2 ' :   ' v a l u e 2 ' ,   ' k e y 3 ' :   ' v a l u e 3 ' }
和 v a l u e 是 对 得 上 的 才 行 。 简 单 来 说 就 是 ， 如 果 你 的 k e y 列 表 比 v a l u e 列 表 多 一 个 值 ， 那 么 最 终 出 来 的 字 典 就 会 缺 失 掉 k e y 列 表 中 的 最 后 那 一 个 多 出 来 的 值 。 快 速 按 头 、 尾 、 中 间 部 分 切 割 元 素 ， 并 将 它 们 分 别 赋 值 给 三 个 变 量 快 速 按 头 、 尾 、 中 间 部 分 切 割 元 素 ， 并 将 它 们 分 别 赋 值 给 三 个 变 量 这 个 操 作 的 用 途 ， 对 于 爬 虫 工 程 师 或 者 是 一 些 会 接 触 到 私 有 协 议 的 后 端 工 程 师 应 该 都 挺 常 见 的 ， 比 如 说 ： 你 可 能 会 碰 到 一 些 基 于 T C P 或 U D P 搞 的 私 有 协 议 ， 然 后 它 们 可 能 会 定 义 一 个 由 内 容 类 型 头 、 通 信 内 容 、 校 验 码 之 类 的 东 西 组 成 的 结 构 ， 每 次 通 信 时 都 会 给 你 返 回 这 么 一 个 东 西 ， 然 后 你 需 要 将 它 们 切 开 并 赋 值 给 不 同 的 变 量 ， 这 时 候 你 就 可 以 通 过 这 个 操 作 来 快 速 实 现 这 个 效 果 了 。 当 然 ， 这 个 操 作 也 不 能 乱 用 ， 你 最 好 是 能 够 确 保 它 的 内 容 不 会 变 化 ， 像 私 有 协 议 这 种 情 况 ， 你 可 以 判 断 一 下 协 议 版 本 号 之 类 的 ， 以 确 保 它 的 内 容 一 定 是 这 个 结 构 。 快 速 解 压 内 含 嵌 套 列 表 的 列 表 ， 并 同 时 将 嵌 套 列 表 内 的 值 也 赋 值 给 不 同 的 变 量 快 速 解 压 内 含 嵌 套 列 表 的 列 表 ， 并 同 时 将 嵌 套 列 表 内 的 值 也 赋 值 给 不 同 的 变 量 这 个 操 作 也 是 偶 尔 会 在 处 理 一 些 私 有 协 议 时 用 到 ， 你 可 以 通 过 这 个 操 作 快 速 地 将 列 表 中 的 值 赋 值 给 不 同 的 变 量 再 进 行 处 > > >   a   =   " 1 2 3 4 5 6 7 8 9 "     #   也 可 以 是 l i s t 之 类 的 > > >   a 1 ,   * a 2 ,   a 3   =   a > > >   a 1 ' 1 ' > > >   a 2 [ ' 2 ' ,   ' 3 ' ,   ' 4 ' ,   ' 5 ' ,   ' 6 ' ,   ' 7 ' ,   ' 8 ' ] > > >   a 3 ' 9 '   > > >   r e s u l t   =   [ 1 ,   2 ,   [ 3 ,   4 ] ,   5 ] > > >   [ a ,   b ,   [ c ,   d ] ,   e ]   =   r e s u l t > > >   a 1 > > >   b 2 > > >   c 3 > > >   d 4 > > >   e 5
理 ， 非 常 方 便 。 如 果 你 只 需 要 嵌 套 列 表 中 的 某 个 开 头 的 值 ， 其 余 的 不 需 要 怎 么 办 呢 ？ 可 以 像 这 样 ： 总 之 就 是 和 前 面 的 操 作 一 样 ， 使 用 星 号 来 处 理 后 面 的 多 个 值 ， 并 将 它 们 赋 值 给 下 划 线 这 种 临 时 变 量 抛 弃 。 注 ： 下 划 线 变 量 的 用 途 和 含 义 可 以 自 行 通 过 搜 索 引 擎 搜 索 一 下 ， 网 上 有 很 多 文 章 提 到 ， 这 里 就 不 再 赘 述 了 。 遍 历 嵌 套 且 长 短 不 一 的 列 表 时 ， 按 头 、 尾 切 割 ， 并 将 它 们 分 别 赋 值 给 两 个 变 量 遍 历 嵌 套 且 长 短 不 一 的 列 表 时 ， 按 头 、 尾 切 割 ， 并 将 它 们 分 别 赋 值 给 两 个 变 量 这 个 操 作 偶 尔 会 在 处 理 一 些 私 有 协 议 或 者 奇 葩 平 台 的 接 口 时 用 到 ， 就 是 对 方 给 你 返 回 的 内 容 可 能 是 这 么 一 个 嵌 套 列 表 ， 子 列 表 的 第 一 个 值 是 k e y 、 后 面 的 部 分 是 v a l u e ， 然 后 有 些 奇 葩 点 的 平 台 可 能 连 子 列 表 的 顺 序 都 不 相 同 。 这 种 时 候 如 果 用 这 个 操 作 去 取 k e y 和 v a l u e 的 话 ， 就 会 方 便 很 多 ， 你 不 需 要 管 它 的 v a l u e 到 底 有 多 少 个 ， 也 不 需 要 按 下 标 0 去 取 嵌 套 列 表 中 的 k e y ， 你 只 需 要 直 接 这 么 f o r 一 下 然 后 处 理 k e y 和 v a l u e 就 完 事 了 。 甚 至 你 还 可 以 直 接 把 这 个 代 码 写 成 一 行 ， 直 接 将 它 们 转 成 字 典 再 做 后 续 的 处 理 。 快 速 解 压 一 个 字 典 ， 并 将 它 里 面 的 快 速 解 压 一 个 字 典 ， 并 将 它 里 面 的 k e y 和 和 v a l u e 们 分 别 赋 值 给 不 同 的 变 量 们 分 别 赋 值 给 不 同 的 变 量 > > >   r e s u l t   =   [ 1 ,   2 ,   [ 3 ,   4 ,   5 ] ] > > >   [ a ,   b ,   [ c ,   * _ ] ]   =   r e s u l t > > >   a 1 > > >   b 2 > > >   c 3 > > >   r e s u l t   =   [ [ " i t e m s " ,   " i t e m 1 " ,   " i t e m 2 " ,   " i t e m 3 " ] ,   [ " s t a t u s " ,   1 ] ] > > >   f o r   k e y ,   * v a l u e s   i n   r e s u l t : . . .           p r i n t ( k e y ) . . .           p r i n t ( v a l u e s ) . . . > > >   i t e m s [ ' i t e m 1 ' ,   ' i t e m 2 ' ,   ' i t e m 3 ' ] > > >   s t a t u s [ 1 ] > > >   { k e y : v a l u e s   f o r   k e y ,   * v a l u e s   i n   r e s u l t } { ' i t e m s ' :   [ ' i t e m 1 ' ,   ' i t e m 2 ' ,   ' i t e m 3 ' ] ,   ' s t a t u s ' :   [ 1 ] }
这 个 操 作 的 用 途 也 是 对 于 爬 虫 工 程 师 和 后 端 工 程 师 而 言 会 比 较 常 见 ， 比 如 说 ： 你 需 要 提 取 一 个 接 口 返 回 的 带 有 状 态 码 、 状 态 信 息 和 d a t a 的 内 容 ， 并 且 你 需 要 判 断 一 下 状 态 码 是 不 是 代 表 请 求 成 功 的 那 个 ， 这 时 候 如 果 是 一 个 一 个 通 过 k e y 去 取 值 、 赋 值 的 话 就 会 很 麻 烦 ， 但 如 果 你 用 这 个 操 作 的 话 ， 就 可 以 快 速 解 决 。 可 能 光 是 这 么 说 不 太 直 观 ， 看 一 段 样 例 代 码 吧 ： 当 然 这 个 操 作 也 不 能 乱 用 ， 在 使 用 这 个 操 作 时 ， 你 需 要 确 保 字 典 中 k e y 的 顺 序 严 格 一 致 ， 否 则 就 可 能 会 出 现 提 取 到 错 误 内 容 的 情 况 ， 所 以 提 取 之 前 为 了 防 止 顺 序 错 乱 ， 可 以 先 按 k e y 做 个 排 序 ， 以 确 保 顺 序 是 严 格 一 致 的 。 然 后 字 典 中 的 内 容 是 否 会 有 变 化 也 是 需 要 考 虑 的 ， 如 果 你 写 的 代 码 需 要 非 常 严 谨 ， 那 就 还 是 老 老 实 实 地 按 k e y 一 个 一 个 取 吧 ， 毕 竟 如 果 这 里 面 多 了 一 个 k e y 在 中 间 位 置 ， 取 到 的 东 西 就 会 完 全 不 同 。 动 态 构 建 出 动 态 构 建 出 P y t h o n 中 的 各 种 运 算 符 中 的 各 种 运 算 符 这 个 操 作 是 基 于 P y t h o n 标 准 库 之 一 的 o p e r a t o r 库 做 的 ， 它 可 以 实 现 各 种 比 较 运 算 、 逻 辑 运 算 、 数 学 运 算 、 序 列 运 算 。 由 于 这 个 库 里 的 东 西 比 较 多 ， 所 以 我 们 这 里 看 个 图 就 好 ， 不 多 赘 述 了 ， 大 家 可 以 后 面 自 己 看 看 官 方 文 档 。 > > >   a   =   { " k e y 1 " :   " v a l u e 1 " ,   " k e y 2 " :   " v a l u e 2 " ,   " k e y 3 " :   " v a l u e 3 " } > > >   ( k e y 1 ,   v a l u e 1 ) ,   ( k e y 2 ,   v a l u e 2 ) ,   ( k e y 3 ,   v a l u e 3 )   =   a . i t e m s ( ) > > >   k e y 1 ' k e y 1 ' > > >   v a l u e 1 ' v a l u e 1 ' > > >   k e y 2 ' k e y 2 ' > > >   v a l u e 2 ' v a l u e 2 ' > > >   r e s u l t   =   { " c o d e " :   2 0 0 ,   " d a t a " :   { " b a l a b a l a " :   1 1 1 } ,   " m s g " :   N o n e } > > >   ( _ ,   c o d e ) ,   ( _ ,   d a t a ) ,   ( _ ,   m s g )     =   r e s u l t . i t e m s ( ) > > >   c o d e 2 0 0 > > >   d a t a { ' b a l a b a l a ' :   1 1 1 } > > >   m s g > > >
然 后 用 途 的 话 ， 举 个 例 子 ， 比 如 你 是 一 个 爬 虫 工 程 师 ， 你 想 弄 一 个 纯 图 形 化 界 面 采 集 数 据 的 工 具 ， 然 后 这 时 候 你 可 能 会 碰 到 某 些 平 台 （ 网 站 和 A P P 的 统 称 ） 的 内 容 较 为 复 杂 ， 有 些 字 符 串 需 要 按 下 标 取 出 特 定 部 分 的 内 容 ， 这 时 候 你 就 可 以 通 过 来 取 ， 这 里 的 和 就 直 接 在 工 具 的 界 面 上 填 写 或 选 择 出 来 就 好 了 。 动 态 创 建 函 数 动 态 创 建 函 数 有 时 候 你 可 能 会 碰 到 类 似 这 样 的 特 殊 情 况 ： 你 有 一 些 不 同 的 值 需 要 通 过 处 理 方 式 相 同 的 函 数 进 行 处 理 ， 但 由 于 条 件 限 制 你 还 不 能 将 这 个 函 数 归 纳 为 一 个 并 通 过 传 参 的 方 式 进 行 处 理 ， 只 能 是 写 出 多 个 不 同 名 称 的 函 数 来 分 别 处 理 。 o p e r a t o r . g e t i t e m ( s t r ,   s l i c e ( s t a r t ,   e n d ) ) s t a r t e n d > > >   i m p o r t   o p e r a t o r > > >   a   =   " 6 6 6 1 1 1 6 6 6 " > > >   o p e r a t o r . g e t i t e m ( a ,   s l i c e ( 3 ,   6 ) ) ' 1 1 1 '
或 者 你 可 能 就 是 单 纯 有 个 需 求 需 要 动 态 创 建 一 个 临 时 函 数 来 使 用 。 这 时 候 如 果 使 用 这 个 操 作 的 话 ， 就 可 以 很 轻 松 地 解 决 这 个 问 题 ， 只 需 要 像 这 样 就 可 以 动 态 地 创 建 出 一 个 函 数 了 ： 注 ： 这 里 面 用 括 号 包 起 来 的 字 符 串 会 自 动 进 行 拼 接 ， 属 于 P y t h o n 中 多 行 字 符 串 的 写 法 之 一 ， 优 点 是 不 会 因 为 像 三 个 引 号 那 样 会 因 为 缩 进 导 致 字 符 串 内 容 受 影 响 。 如 果 想 了 解 更 多 可 以 自 行 查 看 P y t h o n 官 方 文 档 ， 里 面 的 字 符 串 部 分 有 讲 这 个 小 技 巧 。 我 们 还 可 以 对 里 面 那 个 函 数 代 码 字 符 串 进 行 动 态 生 成 （ 比 如 用 f o r m a t ） ， 以 实 现 对 函 数 名 和 内 容 的 修 改 ， 甚 至 我 们 还 可 以 通 过 使 用 像 J i n j a 这 种 模 板 渲 染 库 来 实 现 更 方 便 的 函 数 代 码 生 成 。 像 我 前 段 时 间 写 那 篇 发 票 整 理 工 具 的 文 章 时 ， 就 碰 到 了 前 面 说 的 那 个 特 殊 情 况 ， 由 于 D j a n g o   A d m i n 的 那 个 a c t i o n 函 数 的 参 数 是 固 定 的 ， 并 且 如 果 需 要 传 参 给 a c t i o n 函 数 的 话 就 需 要 通 过 中 间 页 来 实 现 ， 而 我 既 不 想 弄 中 间 页 、 又 有 好 几 个 不 同 的 参 数 需 要 分 别 处 理 ， 于 是 就 直 接 采 用 动 态 创 建 函 数 的 方 式 来 解 决 了 。 动 态 导 入 动 态 导 入 有 时 候 你 可 能 会 有 一 些 扩 展 代 码 之 类 的 需 要 在 运 行 时 动 态 地 被 导 入 ， 这 时 候 你 就 可 以 用 上 这 个 操 作 了 ， 比 如 说 我 们 需 要 导 入 o p e r a t o r 这 个 库 ： 然 后 这 个 m o d u l e 变 量 就 是 被 导 入 后 的 模 块 名 称 了 ， 我 们 可 以 直 接 和 正 常 导 入 时 一 样 使 用 ， 比 如 我 们 要 调 用 它 的 a d d 函 数 ： > > >   f r o m   t y p e s   i m p o r t   F u n c t i o n T y p e > > > > > >   f u n c   =   F u n c t i o n T y p e ( c o m p i l e ( . . .           ( " d e f   f u n c ( ) : n " . . .             "         p r i n t ( 1 ) n " . . .             "         r e t u r n   2 " ) , . . .           " < s t r i n g > " , . . .           " e x e c " . . .   ) . c o _ c o n s t s [ 0 ] ,   g l o b a l s ( ) ) > > >   p r i n t ( f u n c ( ) ) 1 2 > > >   i m p o r t   i m p o r t l i b > > > > > >   m o d u l e   =   i m p o r t l i b . i m p o r t _ m o d u l e ( " o p e r a t o r " ) > > >   m o d u l e . a d d ( 1 ,   1 )     #   加 法 运 算 符 2
动 态 调 用 动 态 调 用 有 时 候 你 在 动 态 导 入 之 后 ， 还 会 需 要 进 行 动 态 调 用 ， 这 时 候 你 就 可 以 这 样 ： 当 然 ， 在 使 用 动 态 创 建 、 动 态 导 入 、 动 态 调 用 这 种 比 较 H a c k 的 操 作 的 时 候 ， 一 定 要 注 意 安 全 问 题 ， 就 是 如 果 你 在 使 用 时 有 部 分 参 数 是 需 要 用 户 输 入 的 的 话 ， 就 一 定 要 对 输 入 内 容 进 行 检 查 ， 以 免 被 利 用 来 直 接 执 行 危 险 代 码 。 比 如 说 你 提 供 了 一 个 动 态 创 建 函 数 的 功 能 ， 如 果 没 有 检 查 内 容 的 话 ， 可 能 有 些 比 较 坏 的 人 直 接 就 通 过 o s 库 之 类 的 来 调 用 命 令 行 把 你 的 机 子 给 黑 了 ， 非 常 危 险 。 那 么 以 上 就 是 本 次 分 享 的 全 部 内 容 了 ， 关 于 这 些 骚 操 作 其 实 还 有 很 多 ， 大 家 感 兴 趣 的 话 平 时 可 以 多 留 意 一 下 别 人 写 的 代 码 以 及 各 种 论 坛 之 类 的 地 方 ， 有 时 候 会 有 些 意 外 收 获 。 更 多 P y C o n   C h i n a   2 0 2 0 议 题 请 关 注 P y C o n   C h i n a 官 方 微 信 公 众 号 或 B 站 账 号 。 据 我 所 知 目 前 大 会 视 频 已 经 开 始 剪 辑 ， 很 快 我 们 就 能 在 B 站 看 到 它 们 了 ～ > > >   i m p o r t   i m p o r t l i b > > > > > >   m o d u l e   =   i m p o r t l i b . i m p o r t _ m o d u l e ( " o p e r a t o r " ) > > >   f u n c   =   g e t a t t r ( m o d u l e ,   " a d d " ) > > >   f u n c ( 1 ,   1 )   2  
回复

举报

高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

Archiver| 手机版| 小黑屋|
Powered by Discuz! X3.4 Copyright © 2001-2020, Tencent Cloud. 商业源码建议获取授权，如侵犯您的权益，请联系客服处理