搜索

[25545] 2016-09-29_Python编码的前世今生

文档创建者：s7ckTeam
浏览次数：1
最后更新：2025-01-19
2016-09-29_Python编码的前世今生 P y t h o n   编 码 的 前 世 今 生 作 者 ： _ z h i j u n   L i n u x 中 国   2 0 1 6 - 0 9 - 2 9 转 载 自 ：   h t t p : / / f o o f i s h . n e t / b l o g / 1 1 1 / p y t h o n - c h a r a c t e r - e n c o d e   作 者 ：   _ z h i j u n 本 文 导 航 - A S C I I - E A S C I I   （ （ I S O / 8 8 5 9 - 1 ） ） - G B K - U n i c o d e - U T F - 8 - P y t h o n   字 符 编 码 字 符 编 码 - s t r   与 与   u n i c o d e   的 转 换 的 转 换 - s t r ( s )   与 与   u n i c o d e ( s ) - 乱 码 乱 码 - 其 他 技 巧 其 他 技 巧 这 是 我 在 知 乎 上 回 答 的 一 个 问 题 ： P y t h o n   编 码 为 什 么 那 么 蛋 疼 ？ [ 1 ] ， 期 间 收 到 了 不 少 赞 ， 不 过 发 现 我 的 回 答 还 存 在 一 些 误 导 ， 于 是 通 过 查 找 资 料 重 新 整 理 了 一 篇 ， 希 望 能 解 答 你 对 编 码 的 困 惑 。 一 旦 走 上 了 编 程 之 路 ， 如 果 你 不 把 编 码 问 题 搞 清 楚 ， 那 么 它 将 像 幽 灵 一 般 纠 缠 你 整 个 职 业 生 涯 ， 各 种 灵 异 事 件 会 接 踵 而 来 ， 挥 之 不 去 。 只 有 充 分 发 挥 程 序 员 死 磕 到 底 的 精 神 你 才 有 可 能 彻 底 摆 脱 编 码 问 题 带 来 的 烦 恼 。 我 第 一 次 遇 到 编 码 问 题 是 写   J a v a W e b   相 关 的 项 目 ， 一 串 字 符 从 浏 览 器 游 离 到 应 用 程 序 代 码 中 ， 翻 江 倒 海 沉 浸 到 数 据 库 中 ， 随 时 随 地 都 有 可 能 踩 到 编 码 的 地 雷 。 第 二 次 遇 到 编 码 问 题 就 是 学   P y t h o n   的 时 候 ， 在 爬 取 网 页 数 据 时 ， 编 码 问 题 又 出 现 了 ， 当 时 我 的 心 情 是 崩 溃 的 ， 用 时 下 最 i n g 的 一 句 话 就 是 ： “ 我 当 时 就 懵 逼 了 ” 。 为 了 搞 清 字 符 编 码 ， 我 们 得 从 计 算 机 的 起 源 开 始 ， 计 算 机 中 的 所 有 数 据 ， 不 论 是 文 字 、 图 片 、 视 频 、 还 是 音 频 文 件 ， 本 质 上 最 终 都 是 按 照 类 似   0 1 0 1 0 1 0 1   的 数 字 形 式 存 储 的 。 我 们 是 幸 运 的 ， 我 们 也 是 不 幸 的 ， 幸 运 的 是 时 代 赋 予 了 我 们 都 有 机 会 接 触 计 算 机 ， 不 幸 的 是 ， 计 算 机 不 是 我 们 国 人 发 明 的 ， 所 以 计 算 机 的 标 准 得 按 美 帝 国 人 的 习 惯 来 设 计 ， 那 么 最 开 始 计 算 机 是 通 过 什 么 样 的 方 式 来 表 现 字 符 的 呢 ？ 这 要 从 计 算 机 编 码 的 发 展 史 说 起 。 A S C I I 每 个 做   J a v a W e b   开 发 的 新 手 都 会 遇 到 乱 码 问 题 ， 每 个 做   P y t h o n   爬 虫 的 新 手 都 会 遇 到 编 码 问 题 ， 为 什 么 编 码 问 题 那 么 蛋 疼 呢 ？ 这 个 问 题 要 从 1 9 9 2 年   G u i d o   v a n   R o s s u m   创 造   P y t h o n   这 门 语 言 说 起 ， 那 时 的   G u i d o   绝 对 没 想 到 的 是   P y t h o n   这 门 语 言 在 今 天 会 如 此 受 大 家 欢 迎 ， 也 不 会 想 到 计 算 机 发 展 速 度 会 如 此 惊 人 。 G u i d o   在 当 初 设 计 这 门 语 言 时 是 不 需 要 关 心 编 码 的 ， 因 为 在 英 语 世 界 里 ， 字 符 的 个 数 非 常 有 限 ， 2 6 个 字 母 （ 大 小 写 ） 、 1 0 个 数 字 、 标 点 符 号 、 控 制 符 ， 也 就 是 键 盘 上 所 有 的 键 所 对 应 的 字 符 加 起 来 也 不 过 是 一 百 多 个 字 符 而 已 。 这 在 计 算 机 中 用 一 个 字 节 的 存 储 空 间 来 表 示 一 个 字 符 是 绰 绰 有 余 的 ， 因 为 一 个 字 节 相 当 于 8 个 比 特 位 ， 8 个 比 特 位 可 以 表 示 2 5 6 个 符 号 。 于 是 聪 明 的 美 国 人 就 制 定 了 一 套 字 符 编 码 的 标 准 叫   A S C I I ( A m e r i c a n   S t a n d a r d   C o d e   f o r   I n f o r m a t i o n   I n t e r c h a n g e ) ， 每 个 字 符 都 对 应 唯 一 的 一 个 数 字 ， 比 如 字 符 对 应 的 二 进 制 数 值 是 ， 对 应 的 十 进 制 就 是   6 5 。 最 开 始   A S C I I   只 定 义 了   1 2 8   个 字 符 编 码 ， 包 括   9 6   个 文 字 和   3 2   个 控 制 符 号 ， 一 共   1 2 8   个 字 符 ， 只 需 要 一 个 字 节 的   7   位 就 能 表 示 所 有 的 字 符 ， 因 此   A S C I I   只 使 用 了 一 个 字 节 的 后 7 位 ， 最 高 位 都 为   0 。 每 个 字 符 与 A S C I I 码 的 对 应 关 系 可 查 看 网 站 a s c i i - c o d e [ 2 ] 。 A 0 1 0 0 0 0 0 1
E A S C I I   （ （ I S O / 8 8 5 9 - 1 ） ） 然 而 计 算 机 慢 慢 地 普 及 到 其 他 西 欧 地 区 时 ， 他 们 发 现 还 有 很 多 西 欧 所 特 有 的 字 符 是   A S C I I   编 码 表 中 没 有 的 ， 于 是 后 来 出 现 了 可 扩 展 的   A S C I I   叫   E A S C I I   ， 顾 名 思 义 ， 它 是 在   A S C I I   的 基 础 上 扩 展 而 来 ， 把 原 来 的   7   位 扩 充 到   8   位 ， 它 完 全 兼 容   A S C I I ， 扩 展 出 来 的 符 号 包 括 表 格 符 号 、 计 算 符 号 、 希 腊 字 母 和 特 殊 的 拉 丁 符 号 。 然 而   E A S C I I   时 代 是 一 个 混 乱 的 时 代 ， 大 家 没 有 统 一 标 准 ， 他 们 各 自 把 最 高 位 按 照 自 己 的 标 准 实 现 了 自 己 的 一 套 字 符 编 码 标 准 ， 比 较 著 名 的 就 有   C P 4 3 7 ，   C P 4 3 7   是   W i n d o w s   系 统 中 使 用 的 字 符 编 码 ， 如 下 图 ： c p 4 3 7 另 外 一 种 被 广 泛 使 用 的   E A S C I I   还 有   I S O / 8 8 5 9 - 1 ( L a t i n - 1 ) ， 它 是 国 际 标 准 化 组 织 （ I S O ） 及 国 际 电 工 委 员 会 （ I E C ） 联 合 制 定 的 一 系 列 8 位 元 字 符 集 的 标 准 ， I S O / 8 8 5 9 - 1   只 继 承 了   C P 4 3 7   字 符 编 码 的   1 2 8 - 1 5 9   之 间 的 字 符 ， 所 以 它 是 从   1 6 0   开 始 定 义 的 ， 不 幸 的 是 这 些 众 多 的   A S C I I   扩 充 字 集 之 间 互 不 兼 容 。 i s o 8 8 5 9 - 1 G B K 随 着 时 代 的 进 步 ， 计 算 机 开 始 普 及 到 千 家 万 户 ， 比 尔 盖 茨 让 每 个 人 桌 面 都 有 一 台 电 脑 的 梦 想 得 以 实 现 。 但 是 计 算 机 进 入 中 国 不 得 不 面 临 的 一 个 问 题 就 是 字 符 编 码 ， 虽 然 咱 们 国 家 的 汉 字 是 人 类 使 用 频 率 最 多 的 文 字 ， 汉 字 博 大 精 深 ， 常 见 的 汉 字 就 有 成 千 上 万 ， 这 已 经 大 大 超 出 了   A S C I I   编 码 所 能 表 示 的 字 符 范 围 了 ， 即 使 是   E A S C I I   也 显 得 杯 水 车 薪 ， 于 是 聪 明 的 中 国 人 自 己 弄 了 一 套 编 码 叫   G B 2 3 1 2 ， 又 称 G B 0 ， 1 9 8 1 由 中 国 国 家 标 准 总 局 发 布 。 G B 2 3 1 2   编 码 共 收 录 了 6 7 6 3 个 汉 字 ， 同 时 它 还 兼 容   A S C I I 。 G B 2 3 1 2   的 出 现 ， 基 本 满 足 了 汉 字 的 计 算 机 处 理 需 要 ， 它 所 收 录 的 汉 字 已 经 覆 盖 中 国 大 陆   9 9 . 7 5 %   的 使 用 频 率 。 不 过   G B 2 3 1 2   还 是 不 能   1 0 0 %   满 足 中 国 汉 字 的 需 求 ， 对 一 些 罕 见 的 字 和 繁 体 字   G B 2 3 1 2   没 法 处 理 ， 后 来 就 在   G B 2 3 1 2   的 基 础 上 创 建 了 一 种 叫   G B K   的 编 码 。 G B K   不 仅 收 录 了   2 7 4 8 4   个 汉 字 ， 同 时 还 收 录 了 藏 文 、 蒙 文 、 维 吾 尔 文 等 主 要 的 少 数 民 族 文 字 。 同 样   G B K   也 是 兼 容   A S C I I   编 码 的 ， 对 于 英 文 字 符 用   1   个 字 节 来 表 示 ， 汉 字 用 两 个 字 节 来 标 识 。 U n i c o d e 对 于 如 何 处 理 中 国 人 自 己 的 文 字 我 们 可 以 另 立 山 头 ， 按 照 我 们 自 己 的 需 求 制 定 一 套 编 码 规 范 ， 但 是 计 算 机 不 止 是 美 国 人 和 中 国 人 用 啊 ， 还 有 欧 洲 、 亚 洲 其 他 国 家 的 文 字 诸 如 日 文 、 韩 文 全 世 界 各 地 的 文 字 加 起 来 估 计 也 有 好 几 十 万 ， 这 已 经 大 大 超 出 了   A S C I I   码 甚 至   G B K   所 能 表 示 的 范 围 了 ， 况 且 人 家 为 什 么 用 采 用 你   G B K   标 准 呢 ？ 如 此 庞 大 的 字 符 库 究 竟 用 什 么 方 式 来 表 示 好 呢 ？ 于 是 统 一 联 盟 国 际 组 织 提 出 了   U n i c o d e   编 码 ， U n i c o d e   的 学 名 是 “ U n i v e r s a l M u l t i p l e - O c t e t   C o d e d   C h a r a c t e r   S e t ” ， 简 称 为 U C S 。
U n i c o d e   有 两 种 格 式 ： U C S - 2   和   U C S - 4 。 U C S - 2   就 是 用 两 个 字 节 编 码 ， 一 共   1 6   个 比 特 位 ， 这 样 理 论 上 最 多 可 以 表 示   6 5 5 3 6 个 字 符 ， 不 过 要 表 示 全 世 界 所 有 的 字 符 显 然   6 5 5 3 6   个 数 字 还 远 远 不 够 ， 因 为 光 汉 字 就 有 近   1 0   万 个 ， 因 此 U n i c o d e   4 . 0   规 范 定 义 了 一 组 附 加 的 字 符 编 码 ， U C S - 4   就 是 用   4   个 字 节 （ 实 际 上 只 用 了   3 1   位 ， 最 高 位 必 须 为   0 ） 。 U n i c o d e   理 论 上 完 全 可 以 涵 盖 一 切 语 言 所 用 的 符 号 。 世 界 上 任 何 一 个 字 符 都 可 以 用 一 个   U n i c o d e   编 码 来 表 示 ， 一 旦 字 符 的   U n i c o d e   编 码 确 定 下 来 后 ， 就 不 会 再 改 变 了 。 但 是   U n i c o d e   有 一 定 的 局 限 性 ， 一 个   U n i c o d e   字 符 在 网 络 上 传 输 或 者 最 终 存 储 起 来 的 时 候 ， 并 不 见 得 每 个 字 符 都 需 要 两 个 字 节 ， 比 如 一 字 符 “ “ ， 用 一 个 字 节 就 可 以 表 示 的 字 符 ， 偏 偏 还 要 用 两 个 字 节 ， 显 然 太 浪 费 空 间 了 。 第 二 问 题 是 ， 一 个   U n i c o d e   字 符 保 存 到 计 算 机 里 面 时 就 是 一 串   0 1   数 字 ， 那 么 计 算 机 怎 么 知 道 一 个   2   字 节 的   U n i c o d e   字 符 是 表 示 一 个   2   字 节 的 字 符 呢 ， 还 是 表 示 两 个   1   字 节 的 字 符 呢 ， 如 果 你 不 事 先 告 诉 计 算 机 ， 那 么 计 算 机 也 会 懵 逼 了 。 U n i c o d e   只 是 规 定 如 何 编 码 ， 并 没 有 规 定 如 何 传 输 、 保 存 这 个 编 码 。 例 如 “ ” 字 的   U n i c o d e   编 码 是 ， 我 可 以 用   4   个   A S C I I   数 字 来 传 输 、 保 存 这 个 编 码 ； 也 可 以 用   U T F - 8   编 码 的   3   个 连 续 的 字 节   来 表 示 它 。 关 键 在 于 通 信 双 方 都 要 认 可 。 因 此   U n i c o d e   编 码 有 不 同 的 实 现 方 式 ， 比 如 ： U T F - 8 、 U T F - 1 6   等 等 。 这 里 的   U n i c o d e   就 像 英 语 一 样 ， 做 为 国 与 国 之 间 交 流 世 界 通 用 的 标 准 ， 每 个 国 家 有 自 己 的 语 言 ， 他 们 把 标 准 的 英 文 文 档 翻 译 成 自 己 国 家 的 文 字 ， 这 是 实 现 方 式 ， 就 像   U T F - 8 。 U T F - 8 U T F - 8 （ U n i c o d e   T r a n s f o r m a t i o n   F o r m a t ） 作 为   U n i c o d e   的 一 种 实 现 方 式 ， 广 泛 应 用 于 互 联 网 ， 它 是 一 种 变 长 的 字 符 编 码 ， 可 以 根 据 具 体 情 况 用   1 - 4   个 字 节 来 表 示 一 个 字 符 。 比 如 英 文 字 符 这 些 原 本 就 可 以 用   A S C I I   码 表 示 的 字 符 用 U T F - 8   表 示 时 就 只 需 要 一 个 字 节 的 空 间 ， 和   A S C I I   是 一 样 的 。 对 于 多 字 节 （ n   个 字 节 ） 的 字 符 ， 第 一 个 字 节 的 前   n   为 都 设 为   1 ， 第   n + 1   位 设 为   0 ， 后 面 字 节 的 前 两 位 都 设 为   1 0 。 剩 下 的 二 进 制 位 全 部 用 该 字 符 的   U N I C O D E   码 填 充 。 以 汉 字 “ ” 为 例 ， “ ” 对 应 的   U n i c o d e   是   ， 对 应 的 区 间 是   - - ， 因 此 它 用   U T F - 8   表 示 时 需 要 用   3   个 字 节 来 存 储 ，   用 二 进 制 表 示 是 ：   ， 填 充 到     得 到 ， 转 换 成   1 6   进 制 ： ， 因 此 “ ” 的   U n i c o d e   “ ” 对 应 的   U T F - 8   编 码 是 “ ” 。 P y t h o n   字 符 编 码 字 符 编 码 现 在 总 算 把 理 论 说 完 了 。 再 来 说 说   P y t h o n   中 的 编 码 问 题 。 P y t h o n   的 诞 生 时 间 比   U n i c o d e   要 早 很 多 ， P y t h o n   的 默 认 编 码 是 A S C I I 。 A 汉 6 C 4 9 E 6   B 1   8 9 好 好 5 9 7 D 0 0 0 0   0 8 0 0 0 0 0 0   F F F F 5 9 7 D 0 1 0 1 1 0 0 1 0 1 1 1 1 1 0 1 1 1 1 0 x x x x   1 0 x x x x x x   1 0 x x x x x x 1 1 1 0 0 1 0 1   1 0 1 0 0 1 0 1   1 0 1 1 1 1 0 1 E 5 A 5 B D 好 5 9 7 D E 5 A 5 B D 1 .           中 文                 好 2 .           u n i c o d e                   0 1 0 1       1 0 0 1 0 1       1 1 1 1 0 1 3 .           编 码 规 则           1 1 1 0 x x x x   1 0 x x x x x x   1 0 x x x x x x 4 .                                   - - - - - - - - - - - - - - - - - - - - - - - - - - 5 .           u t f - 8               1 1 1 0 0 1 0 1   1 0 1 0 0 1 0 1   1 0 1 1 1 1 0 1 6 .                                   - - - - - - - - - - - - - - - - - - - - - - - - - - 7 .           1 6 进 制 u t f - 8           e       5         a       5         b       d 1 .   > > >   i m p o r t   s y s
所 以 在   P y t h o n   源 代 码 文 件 中 如 果 不 显 式 地 指 定 编 码 的 话 ， 将 出 现 语 法 错 误 上 面 是   t e s t . p y   脚 本 ， 运 行     就 会 包 如 下 错 误 ： 为 了 在 源 代 码 中 支 持 非   A S C I I   字 符 ， 必 须 在 源 文 件 的 第 一 行 或 者 第 二 行 显 示 地 指 定 编 码 格 式 ： 或 者 是 ： 在   P y t h o n   中 和 字 符 串 相 关 的 数 据 类 型 ， 分 别 是   s t r 、 u n i c o d e   两 种 ， 他 们 都 是   b a s e s t r i n g   的 子 类 ， 可 见   s t r   与   u n i c o d e   是 两 种 不 同 类 型 的 字 符 串 对 象 。 对 于 同 一 个 汉 字 “ ” ， 用   s t r   表 示 时 ， 它 对 应 的 就 是   U T F - 8   编 码 ， 而 用   U n i c o d e   表 示 时 ， 它 对 应 的 符 号 就 是   ， 与 是 等 同 的 。 需 要 补 充 一 点 的 是 ， s t r   类 型 的 字 符 其 具 体 的 编 码 格 式 是   U T F - 8   还 是   G B K ， 还 是 其 它 格 式 ， 根 据 操 作 系 统 相 关 。 比 如 在   W i n d o w s   系 统 中 ， c m d   命 令 行 中 显 示 的 ： 而 在   L i n u x   系 统 的 命 令 行 中 显 示 的 是 ： > > >   i m p o r t   s y s 2 .   > > >   s y s . g e t d e f a u l t e n c o d i n g ( ) 3 .   ' a s c i i ' 1 .   # t e s t . p y 2 .   p r i n t   " 你 好 " p y t h o n   t e s t . p y 1 .   F i l e   “ t e s t . p y ” ,   l i n e   1   y n t a x E r r o r :   N o n - A S C I I   c h a r a c t e r   ‘ x e 4 ′   i n   f i l e   t e s t . p y   o n   l i n e   1 ,   b u t   n o   e n c o d i n g   d e c l a r e d ;   s e e   h t t p : / / w w w . p y t h o n . o r g /   p s / p e p - 0 2 6 3 . h t m l   f o r   d e t a i l s 1 .   #   c o d i n g = u t f - 8 1 .   # ! / u s r / b i n / p y t h o n 2 .   #   - * -   c o d i n g :   u t f - 8   - * - 1 .           b a s e s t r i n g 2 .               /       3 .             /         4 .         s t r         u n i c o d e 好 ' x e 5 x a 5 x b d ' u ' u 5 9 7 d ' u " 好 " 1 .   #   w i n d o w s 终 端 2 .   > > >   a   =   ' 好 ' 3 .   > > >   t y p e ( a ) 4 .   < t y p e   ' s t r ' > 5 .   > > >   a 6 .   ' x b a x c 3 ' 1 .   #   l i n u x 终 端 2 .   > > >   a = ' 好 ' 3 .   > > >   t y p e ( a ) 4 .   < t y p e   ' s t r ' > 5 .   > > >   a
7 .   不 论 是   P y t h o n 3 x 、 J a v a   还 是 其 他 编 程 语 言 ， U n i c o d e   编 码 都 成 为 了 语 言 的 默 认 编 码 格 式 ， 而 数 据 最 后 保 存 到 介 质 中 的 时 候 ， 不 同 的 介 质 可 有 用 不 同 的 方 式 ， 有 些 人 喜 欢 用   U T F - 8 ， 有 些 人 喜 欢 用   G B K ， 这 都 无 所 谓 ， 只 要 平 台 统 一 的 编 码 规 范 ， 具 体 怎 么 实 现 并 不 关 心 。 e n c o d e s t r   与 与   u n i c o d e   的 转 换 的 转 换 那 么 在   P y t h o n   中   s t r   和   u n i c o d e   之 间 是 如 何 转 换 的 呢 ？ 这 两 种 类 型 的 字 符 串 类 型 之 间 的 转 换 就 是 靠 这 两 个 方 法 ： 和 。 p y - e n c o d e 5 .   1 1 .   这 个 就 是   U n i c o d e   通 过 函 数     编 码 得 到 的   U T F - 8   编 码 的   s t r   类 型 的 字 符 串 。 反 之 亦 然 ， s t r   类 型 的   c   通 过 函 数     解 码 成   U n i c o d e   字 符 串   d 。 s t r ( s )   与 与   u n i c o d e ( s ) 6 .   ' x e 5 x a 5 x b d ' 8 .   > > >   b = u ' 好 ' 9 .   > > >   t y p e ( b ) 1 0 .   < t y p e   ' u n i c o d e ' > 1 1 .   > > >   b 1 2 .   u ' u 5 9 7 d ' d e c o d e e n c o d e 1 .   # 从 s t r 类 型 转 换 到 u n i c o d e 2 .   s . d e c o d e ( e n c o d i n g )       = = = = = >     < t y p e   ' s t r ' >   t o   < t y p e   ' u n i c o d e ' > 3 .   # 从 u n i c o d e 转 换 到 s t r 4 .   u . e n c o d e ( e n c o d i n g )       = = = = = >     < t y p e   ' u n i c o d e ' >   t o   < t y p e   ' s t r ' > 6 .   > > >   c   =   b . e n c o d e ( ' u t f - 8 ' ) 7 .   > > >   t y p e ( c ) 8 .   < t y p e   ' s t r ' > 9 .   > > >   c 1 0 .   ' x e 5 x a 5 x b d ' 1 2 .   > > >   d   =   c . d e c o d e ( ' u t f - 8 ' ) 1 3 .   > > >   t y p e ( d ) 1 4 .   < t y p e   ' u n i c o d e ' > 1 5 .   > > >   d 1 6 .   u ' u 5 9 7 d ' ' x e 5 x a 5 x b d ' u ' 好 ' e n c o d e d e c o d e
  和     是 两 个 工 厂 方 法 ， 分 别 返 回   s t r   字 符 串 对 象 和   U n i c o d e   字 符 串 对 象 ，   是   的 简 写 。 实 验 ： 上 面     是   U n i c o d e   类 型 的 字 符 串 ，   相 当 于 是 执 行   ， 因 为 “ ” 两 个 汉 字 不 能 用   A S C I I   码 来 表 示 ， 所 以 就 报 错 了 ， 指 定 正 确 的 编 码 ：   或 者     就 不 会 出 现 这 个 问 题 了 。 类 似 的   U n i c o d e   有 同 样 的 错 误 ：   等 效 于   ， 因 此 要 正 确 的 转 换 就 要 正 确 指 定 其 编 码     或 者 。 乱 码 乱 码 所 有 出 现 乱 码 的 原 因 都 可 以 归 结 为 字 符 经 过 不 同 编 码 解 码 在 编 码 的 过 程 中 使 用 的 编 码 格 式 不 一 致 ， 比 如 ： 2 .   s t r ( s ) u n i c o d e ( s ) s t r ( s ) s . e n c o d e ( ‘ a s c i i ’ ) 1 .   > > >   s 3   =   u " 你 好 " 2 .   > > >   s 3 3 .   u ' u 4 f 6 0 u 5 9 7 d ' 4 .   > > >   s t r ( s 3 ) 5 .   T r a c e b a c k   ( m o s t   r e c e n t   c a l l   l a s t ) : 6 .       F i l e   " < s t d i n > " ,   l i n e   1 ,   i n   < m o d u l e > 7 .   U n i c o d e E n c o d e E r r o r :   ' a s c i i '   c o d e c   c a n ' t   e n c o d e   c h a r a c t e r s   i n   p o s i t i o n   0 - 1 :   o r d i n a l   n o t   i n   r a n g e ( 1 2 8 ) s 3 s t r ( s 3 ) s 3 . e n c o d e ( ‘ a s c i i ’ ) 你 好 s 3 . e n c o d e ( ' g b k ' ) s 3 . e n c o d e ( ' u t f - 8 ' ) 1 .   > > >   s 4   =   " 你 好 " 2 .   > > >   u n i c o d e ( s 4 ) 3 .   T r a c e b a c k   ( m o s t   r e c e n t   c a l l   l a s t ) : 4 .       F i l e   " < s t d i n > " ,   l i n e   1 ,   i n   < m o d u l e > 5 .   U n i c o d e D e c o d e E r r o r :   ' a s c i i '   c o d e c   c a n ' t   d e c o d e   b y t e   0 x c 4   i n   p o s i t i o n   0 :   o r d i n a l   n o t   i n   r a n g e ( 1 2 8 ) 6 .   > > > u n i c o d e ( s 4 ) s 4 . d e c o d e ( ' a s c i i ' ) s 4 . d e c o d e ( ' g b k ' ) s 4 . d e c o d e ( ' u t f - 8 ' ) 1 .   #   e n c o d i n g :   u t f - 8 3 .   > > >   a = ' 好 ' 4 .   > > >   a 5 .   ' x e 5 x a 5 x b d ' 6 .   > > >   b = a . d e c o d e ( " u t f - 8 " ) 7 .   > > >   b 8 .   u ' u 5 9 7 d ' 9 .   > > >   c = b . e n c o d e ( " g b k " ) 1 0 .   > > >   c
U T F - 8   编 码 的 字 符 ‘ ’ 占 用   3   个 字 节 ， 解 码 成   U n i c o d e   后 ， 如 果 再 用   G B K   来 解 码 后 ， 只 有   2   个 字 节 的 长 度 了 ， 最 后 出 现 了 乱 码 的 问 题 ， 因 此 防 止 乱 码 的 最 好 方 式 就 是 始 终 坚 持 使 用 同 一 种 编 码 格 式 对 字 符 进 行 编 码 和 解 码 操 作 。 d e c o d e - e n c o d e 其 他 技 巧 其 他 技 巧 对 于 如   U n i c o d e   形 式 的 字 符 串 （ s t r   类 型 ) ： 转 换 成 真 正 的   U n i c o d e   需 要 使 用 ： 测 试 ： 以 上 代 码 和 概 念 都 是 基 于   P y t h o n 2 . x 。 参 考 ： h t t p s : / / w w w . p y t h o n . o r g / d e v / p e p s / p e p - 0 2 6 3 / h t t p : / / w w w . l i a o x u e f e n g c o m / w i k i / 0 0 1 3 7 4 7 3 8 1 2 5 0 9 5 c 9 5 5 c 1 e 6 d 8 b b 4 9 3 1 8 2 1 0 3 f a c 9 2 7 0 7 6 2 a 0 0 0 / 0 0 1 3 8 6 8 1 9 1 9 6 2 8 3 5 8 6 a 3 7 6 2 9 8 4 4 4 5 6 c a 7 e 5 a 7 f a a 9 b 9 4 e e 8 0 0 0 h t t p : / / w w w . f m d d l m y y . c n / t e x t 6 . h t m l   转 载 自 ：   h t t p : / / f o o f i s h . n e t / b l o g / 1 1 1 / p y t h o n - c h a r a c t e r - e n c o d e   作 者 ：   _ z h i j u n [ 1 ] :   h t t p s : / / w w w . z h i h u . c o m / q u e s t i o n / 3 1 8 3 3 1 6 4 [ 2 ] :   h t t p : / / w w w . a s c i i - c o d e . c o m / 推 荐 文 章 推 荐 文 章 点 击 标 题 或 输 入 文 章   I D   直 达 该 文 章 1 0 .   > > >   c 1 1 .   ' x b a x c 3 ' 1 2 .   > > >   p r i n t   c 1 3 .   好 1 .   s   =   ' i d u 0 0 3 d 2 1 5 9 0 3 1 8 4 u 0 0 2 6 i n d e x u 0 0 3 d 0 u 0 0 2 6 s t u 0 0 3 d 5 2 u 0 0 2 6 s i d ' 1 .   s . d e c o d e ( ' u n i c o d e - e s c a p e ' ) 1 .   > > >   s   =   ' i d u 0 0 3 d 2 1 5 9 0 3 1 8 4 u 0 0 2 6 i n d e x u 0 0 3 d 0 u 0 0 2 6 s t u 0 0 3 d 5 2 u 0 0 2 6 s i d u 0 0 3 d 9 5 0 0 0 u 0 0 2 6 i ' 2 .   > > >   p r i n t ( t y p e ( s ) ) 3 .   < t y p e   ' s t r ' > 4 .   > > >   s   =   s . d e c o d e ( ' u n i c o d e - e s c a p e ' ) 5 .   > > >   s 6 .   u ' i d = 2 1 5 9 0 3 1 8 4 & i n d e x = 0 & s t = 5 2 & s i d = 9 5 0 0 0 & i ' 7 .   > > >   p r i n t ( t y p e ( s ) ) 8 .   < t y p e   ' u n i c o d e ' > 9 .   > > >
点 击 标 题 或 输 入 文 章   I D   直 达 该 文 章 将 文 章 分 享 给 朋 友 是 对 我 们 最 好 的 赞 赏 ！ 阅 读 原 文
回复

举报

高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

使用Markdown编辑器编辑 使用富文本编辑器编辑

Archiver| 手机版| 小黑屋|
Powered by Discuz! X3.4 Copyright © 2001-2020, Tencent Cloud. 商业源码建议获取授权，如侵犯您的权益，请联系客服处理