搜索

[7792] 2014-02-13_学点编码知识又不会死：Unicode的流言终结者和编码大揭秘

文档创建者：s7ckTeam
浏览次数：34
最后更新：2025-01-17
2014-02-13_学点编码知识又不会死：Unicode的流言终结者和编码大揭秘 学 点 编 码 知 识 又 不 会 死 ： U n i c o d e 的 流 言 终 结 者 和 编 码 大 揭 秘 F r e e B u f   2 0 1 4 - 0 2 - 1 3 如 果 你 是 一 个 生 活 在 2 0 0 3 年 的 程 序 员 ， 却 不 了 解 字 符 、 字 符 集 、 编 码 和 U n i c o d e 这 些 基 础 知 识 。 那 你 可 要 小 心 了 ， 要 是 被 我 抓 到 你 ， 我 会 让 你 在 潜 水 艇 里 剥 六 个 月 洋 葱 来 惩 罚 你 。 这 个 邪 恶 的 恐 吓 是 J o e l   S p o l s k y 在 十 年 前 首 次 发 出 的 。 不 幸 的 是 ， 很 多 人 认 为 他 只 是 在 开 玩 笑 ， 因 此 ， 现 在 仍 有 许 多 人 不 因 此 ， 现 在 仍 有 许 多 人 不 能 完 全 理 解 能 完 全 理 解 U n i c o d e ， 以 及 ， 以 及 U n i c o d e ,   U T F - 8 ,   U T F - 1 6 之 间 的 区 别 之 间 的 区 别 。 这 就 是 我 写 这 篇 文 章 的 原 因 。 言 归 正 传 ， 设 想 在 一 个 晴 朗 的 下 午 ， 你 收 到 一 封 电 子 邮 件 ， 它 来 自 一 个 你 高 中 之 后 就 失 去 联 系 的 朋 友 ， 并 带 有 一 个 t x t 格 式 （ 也 称 为 纯 文 本 格 式 ） 的 附 件 。 这 个 附 件 包 含 下 面 这 样 一 串 二 进 制 b i t s ： 0 1 0 0 1 0 0 0 0 1 0 0 0 1 0 1 0 1 0 0 1 1 0 0 0 1 0 0 1 1 0 0 0 1 0 0 1 1 1 1 E m a i l 的 正 文 是 空 的 ， 这 使 它 更 加 神 秘 。 在 你 启 动 常 用 的 文 本 编 辑 器 打 开 这 个 附 件 之 前 ， 你 有 没 有 想 过 ， 文 本 编 辑 器 是 怎 么 将 二 进 制 形 式 翻 译 成 字 符 的 ？ 这 其 中 有 两 个 关 键 问 题 ： 1 , 字 节 是 怎 样 分 组 的 ？ （ 例 如 1 个 字 节 的 字 符 和 2 个 字 节 的 字 符 ） 2 , 一 个 或 多 个 字 节 是 怎 么 映 射 到 字 符 上 的 ？ 这 些 问 题 的 答 案 就 在 这 篇 文 档 （ C h a r a c t e r   E n c o d i n g ） 中 ， 大 致 说 来 ， 编 码 定 义 了 两 件 事 ： 1 , 字 节 是 怎 么 分 组 的 ， 如 8   b i t s 或 1 6   b i t s 一 组 ， 这 也 被 称 作 编 码 单 元 。 2 , 编 码 单 元 和 字 符 之 间 的 映 射 关 系 。 例 如 ， 在 A S C I I 码 中 ， 十 进 制 6 5 映 射 到 字 母 A 上 字 符 编 码 和 字 符 集 之 间 有 微 小 的 区 别 。 不 过 通 常 它 和 你 无 关 ， 除 非 你 在 设 计 一 个 底 层 的 库 。 A S C I I 码 是 上 个 世 纪 最 流 行 的 编 码 体 系 之 一 ， 至 少 在 西 方 是 这 样 。 下 图 显 示 了 A S C I I 码 中 编 码 单 元 是 怎 么 映 射 到 字 符 上 的 。
有 一 个 即 使 在 经 验 丰 富 的 程 序 员 中 也 非 常 常 见 的 误 解 就 是 ， 纯 文 本 使 用 A S C I I 码 并 且 每 个 字 符 都 是 8   b i t s 。 事 实 是 ， 没 有 这 样 的 「 纯 文 本 」 。 如 果 在 内 存 或 者 硬 盘 中 有 一 个 你 不 知 道 编 码 的 字 符 串 ， 那 你 就 无 法 翻 译 或 者 显 示 如 果 在 内 存 或 者 硬 盘 中 有 一 个 你 不 知 道 编 码 的 字 符 串 ， 那 你 就 无 法 翻 译 或 者 显 示 它 。 它 。 这 绝 对 没 有 第 二 条 路 可 选 。 那 么 当 你 刚 刚 收 到 的 附 件 没 有 指 定 编 码 格 式 的 时 候 ， 计 算 机 会 如 何 翻 译 它 呢 ？ 这 是 否 意 味 着 你 就 永 远 也 读 不 到 失 去 联 系 的 老 朋 友 想 跟 你 说 的 话 了 呢 ？ 在 我 们 找 到 答 案 之 前 ， 我 们 首 先 回 到 那 个 年 代 — 那 个 用 钱 能 买 到 的 最 大 硬 盘 是 2 9 M B 的 时 代 。 一 ， 历 史 回 顾 一 ， 历 史 回 顾 很 久 以 前 ， 计 算 机 制 造 商 有 自 己 的 表 示 字 符 的 方 式 。 他 们 并 不 需 要 担 心 如 何 和 其 它 计 算 机 交 流 ， 并 提 出 了 各 自 的 方 式 来 将 字 形 渲 染 到 屏 幕 上 。 随 着 计 算 机 越 来 越 流 行 ， 厂 商 之 间 的 竞 争 更 加 激 烈 ， 在 不 同 的 计 算 机 体 系 间 转 换 数 据 变 得 十 分 蛋 疼 ， 人 们 厌 烦 了 这 种 自 定 义 造 成 的 混 乱 。 最 终 ， 计 算 机 制 造 商 一 起 制 定 了 一 个 标 准 的 方 法 来 描 述 字 符 。 他 们 定 义 使 用 一 个 字 节 的 低 7 位 来 表 示 字 符 ， 并 且 制 作 了 如 上 图 所 示 的 对 照 表 来 映 射 七 个 比 特 的 值 到 一 个 字 符 上 。 例 如 ， 字 母 A 是 6 5 ， c 是 9 9 ， ~ 是 1 2 6 等 等 ，   A S C I I 码 就 这 样 诞 生 了 。 原 始 的 A S C I I 标 准 定 义 了 从 0 到 1 2 7   的 字 符 ， 这 样 正 好 能 用 七 个 比 特 表 示 。 不 过 好 景 不 长 。 。 。 为 什 么 选 择 了 7 个 比 特 而 不 是 8 个 来 表 示 一 个 字 符 呢 ？ 我 并 不 关 心 。 但 是 一 个 字 节 是 8 个 比 特 ， 这 意 味 着 1 个 比 特 并 没 有 被 使 用 ， 也 就 是 从 1 2 8 到 2 5 5 的 编 码 并 没 有 被 制 定 A S C I I 标 准 的 人 所 规 定 ， 这 些 美 国 人 对 世 界 的 其 它 地 方 一 无 所 知 甚 至 完 全 不 关 心 。 其 它 国 家 的 人 趁 这 个 机 会 开 始 使 用 1 2 8 到 2 5 5 范 围 内 的 编 码 来 表 达 自 己 语 言 中 的 字 符 。 例 如 ， 1 4 4 在 阿 拉 伯 人 的 A S C I I 码 中 是 گ ， 而 在 俄 罗 斯 的 A S C I I 码 中 是 ђ 。 即 使 在 美 国 ， 对 于 未 使 用 区 域 也 有 各 种 各 样 的 利 用 。 I B M   P C 就 出 现 了 “ O E M   字 体 ” 或 ” 扩 展 A S C I I 码 ” ， 为 用 户 提 供 漂 亮 的 图 形 文 字 来 绘 制 文 本 框 并 支 持 一 些 欧 洲 字 符 ， 例 如 英 镑 （ £ ） 符 号 。 用 I B M 扩 展 字 符 集 绘 制 的 很 酷 的 D O S 启 动 画 面 再 强 调 一 遍 ， A S C I I 码 的 问 题 在 于 尽 管 所 有 人 都 在 0 - 1 2 7 号 字 符 的 使 用 上 达 成 了 一 致 ， 但 对 于 1 2 8 - 2 5 5 号 字 符 却 有 很 多 很 多 不 同 的 解 释 。 你 必 须 告 诉 计 算 机 使 用 哪 种 风 格 的 A S C I I 码 才 能 正 确 显 示 1 2 8 - 2 5 5 号 的 字 符 。 这 对 于 北 美 人 和 不 列 颠 群 岛 的 人 来 说 不 算 什 么 问 题 ， 因 为 无 论 使 用 哪 种 风 格 的 A S C I I 码 ， 拉 丁 字 母 的 显 示 都 是 一 样 的 。 英 国 人 还 需 要 面 对 的 问 题 是 原 始 的 A S C I I 码 中 不 包 含 英 镑 符 号 ， 但 是 这 个 已 经 无 关 紧 要 了 。 与 此 同 时 ， 在 亚 洲 有 更 让 人 头 疼 的 问 题 。 亚 洲 语 言 有 更 多 的 字 符 和 字 形 需 要 被 存 储 ， 一 个 字 节 已 经 不 够 用 了 。 所 以 他 们 开 始 使 用 两 个 字 节 来 存 储 字 符 ， 这 被 称 作 D B C S （ 双 字 节 编 码 方 案 ） 。 在 D B C S 中 ， 字 符 串 操 作 变 得 很 蛋 疼 ， 你 应 该 怎 么 做 s t r + + 或 s t r – ？ 这 些 问 题 成 为 了 系 统 开 发 者 的 噩 梦 。 例 如 ， M S   D O S 必 须 支 持 所 有 风 格 的 A S C I I 码 ， 因 为 他 们 想 把 软 件 卖 到 其 他 国 家 去 。 他 们 提 出 了 「 内 码 表 」 这 一 概 念 。 例 如 ， 你 需 要 告 诉 D O S （ 通 过 使 用 ” c h c p ” 命 令 ） 你 想 使 用 保 加 利 亚 语 的 内 码 表 ， 它 才 能 显 示 保 加 利 亚 字 母 。 内 码 表 的 更 换 会 应 用 到 整 个 系 统 。 这 对 使 用 多 种 语 言 工 作 的 人 来 说 是 一 个 问 题 ， 因 为 他 们 必 须 频 繁 的 在
几 个 内 码 表 之 间 来 回 切 换 。 尽 管 内 码 表 是 一 个 好 主 意 ， 但 是 它 不 是 一 个 简 洁 的 解 决 方 案 ， 它 只 是 一 个 h a c k 技 术 或 者 说 是 简 单 的 修 正 来 让 编 码 系 统 可 以 工 作 。 二 ， 进 入 二 ， 进 入 U n i c o d e 的 世 界 的 世 界 最 终 ， 美 国 人 意 识 到 他 们 应 该 提 出 一 种 标 准 方 案 来 展 示 世 界 上 所 有 语 言 中 的 所 有 字 符 ， 以 便 缓 解 程 序 员 的 痛 苦 和 避 免 字 符 编 码 引 发 的 第 三 次 世 界 大 战 。 出 于 这 个 目 的 ， U n i c o d e 诞 生 了 。 U n i c o d e 背 后 的 想 法 非 常 简 单 ， 然 而 却 被 普 遍 的 误 解 了 。 U n i c o d e 就 像 一 个 电 话 本 ， 标 记 着 字 符 和 数 字 之 间 的 映 射 关 系 。 J o e l 称 之 为 「 神 奇 数 字 」 ， 因 为 它 们 可 能 是 随 机 指 定 的 ， 而 且 不 会 给 出 任 何 解 释 。 官 方 术 语 是 码 位 ( C o d e   P o i n t ) ， 总 是 用 U + 开 头 。 理 论 上 每 种 语 言 中 的 每 种 字 符 都 被 U n i c o d e 协 会 指 定 了 一 个 神 奇 数 字 。 例 如 希 伯 来 文 中 的 第 一 个 字 母 א ， 是 U + 2 1 3 5 ， 字 母 A 是 U + 0 0 6 1 。 U n i c o d e 并 不 涉 及 字 符 是 怎 么 在 字 节 中 表 示 的 ， 它 仅 仅 指 定 了 字 符 对 应 的 数 字 ， 仅 此 而 已 。 关 于 U n i c o d e 的 其 它 误 解 包 括 ： U n i c o d e 支 持 的 字 符 上 限 是 6 5 5 3 6 个 ， U n i c o d e 字 符 必 须 占 两 个 字 节 。 告 诉 你 这 些 的 人 应 该 去 换 换 脑 子 了 。 记 住 ， U n i c o d e 只 是 一 个 用 来 映 射 字 符 和 数 字 的 标 准 。 它 对 支 持 字 符 的 数 量 没 有 限 制 ， 也 不 要 求 字 符 必 须 占 两 个 、 三 个 或 者 其 它 任 意 数 量 的 字 节 。 U n i c o d e 字 符 是 怎 样 被 编 码 成 内 存 中 的 字 节 这 是 另 外 的 话 题 ， 它 是 被 U T F ( U n i c o d e   T r a n s f o r m a t i o n   F o r m a t s ) 定 义 的 。 U n i c o d e 编 码 编 码 两 个 最 流 行 的 U n i c o d e 编 码 方 案 是 U T F - 8 和 U T F - 1 6 。 让 我 们 看 看 它 们 的 细 节 U T F - 8 U T F - 8 是 一 个 非 常 惊 艳 的 概 念 ， 它 漂 亮 的 实 现 了 对 A S C I I 码 的 向 后 兼 容 ， 以 保 证 U n i c o d e 可 以 被 大 众 接 受 。 发 明 它 的 人 至 少 应 该 得 个 诺 贝 尔 和 平 奖 。 在 U T F - 8 中 ， 0 - 1 2 7 号 的 字 符 用 1 个 字 节 来 表 示 ， 使 用 和 U S - A S C I I 相 同 的 编 码 。 这 意 味 着 1 9 8 0 年 代 写 的 文 档 用 U T F - 8 打 开 一 点 问 题 都 没 有 。 只 有 1 2 8 号 及 以 上 的 字 符 才 用 2 个 ， 3 个 或 者 4 个 字 节 来 表 示 。 因 此 ， U T F - 8 被 称 作 可 变 长 度 编 码 。 回 到 文 章 开 始 的 问 题 ， 来 自 你 老 朋 友 的 附 件 的 字 节 流 如 下 ： 0 1 0 0 1 0 0 0 0 1 0 0 0 1 0 1 0 1 0 0 1 1 0 0 0 1 0 0 1 1 0 0 0 1 0 0 1 1 1 1 这 个 字 节 流 在 A S C I I 和 U T F - 8 中 表 示 相 同 的 字 符 ： H E L L O U T F - 1 6 另 一 个 流 行 的 可 变 长 度 编 码 方 案 是 U T F - 1 6 ， 它 使 用 2 个 或 者 4 个 字 节 来 存 储 字 符 。 然 而 ， 人 们 逐 渐 意 识 到 U T F - 1 6 可 能 会 浪 费 存 储 空 间 ， 但 那 是 另 一 个 话 题 了 。 低 字 节 序 低 字 节 序 ( L i t t l e   E n d i a n ) 和 高 字 节 序 和 高 字 节 序 ( B i g   E n d i a n )
E n d i a n 读 作 E n d - i a n 或 者 I n d i a n 。 这 个 术 语 的 起 源 可 以 追 溯 到 格 列 佛 游 记 。 （ 小 说 中 ， 小 人 国 为 水 煮 蛋 应 该 从 大 的 一 端 （ B i g - E n d ） 剥 开 还 是 小 的 一 端 （ L i t t l e - E n d ） 剥 开 而 争 论 ， 争 论 的 双 方 分 别 被 称 为 “ 大 端 派 ” 和 “ 小 端 派 ” 。 ） 低 字 节 序 和 高 字 节 序 只 是 一 个 关 于 在 内 存 中 存 储 和 读 取 一 段 字 节 （ 被 称 作 w o r d s ） 的 约 定 。 这 意 味 着 当 你 让 计 算 机 用 U T F - 1 6 把 字 母 A （ 占 两 个 字 节 ） 存 在 内 存 中 时 ， 使 用 哪 种 字 节 序 方 案 决 定 了 你 把 第 一 个 字 节 放 在 第 二 个 字 节 的 前 面 还 是 后 面 。 这 么 说 有 点 不 太 容 易 懂 ， 让 我 们 来 看 一 个 例 子 ： 当 你 使 用 U T F - 1 6 存 下 来 自 你 朋 友 的 附 件 时 ， 在 不 同 的 系 统 中 它 的 后 半 部 分 可 能 是 这 样 的 ： 0 0   6 8   0 0   6 5   0 0   6 C   0 0   6 C   0 0   6 F （ 高 字 节 序 ， 高 位 字 节 被 存 在 前 面 ） 6 8   0 0   6 5   0 0   6 C   0 0   6 C   0 0   6 F   0 0 （ 低 字 节 序 ， 低 位 字 节 被 存 在 前 面 ） 字 节 序 方 案 只 是 一 个 微 处 理 器 架 构 设 计 者 的 偏 好 问 题 ， 例 如 ， I n t e l 使 用 低 字 节 序 ， M o t o r o l a 使 用 高 字 节 序 。 字 节 顺 序 标 记 字 节 顺 序 标 记 ( B O M ) 如 果 你 经 常 要 在 高 低 字 节 序 的 系 统 间 转 换 文 档 ， 并 且 希 望 区 分 字 节 序 ， 还 有 一 种 奇 怪 的 约 定 ， 被 称 作 B O M 。 B O M 是 一 个 设 计 得 很 巧 妙 的 字 符 ， 用 来 放 在 文 档 的 开 头 告 诉 阅 读 器 该 文 档 的 字 节 序 。 在 U T F - 1 6 中 ， 它 是 通 过 在 第 一 个 字 节 放 置 F E   F F 来 实 现 的 。 在 不 同 字 节 序 的 文 档 中 ， 它 会 被 显 示 成 F F   F E 或 者 F E   F F ， 清 楚 的 把 这 篇 文 档 的 字 节 序 告 诉 了 解 释 器 。 B O M 尽 管 很 有 用 ， 但 并 不 是 很 简 洁 ， 因 为 还 有 一 个 类 似 的 概 念 ， 称 作 「 魔 术 字 」 ( M a g i c   B y t e ) ， 很 多 年 来 一 直 被 用 来 表 明 文 件 的 格 式 。 B O M 和 魔 术 字 间 的 关 系 一 直 没 有 被 清 楚 的 定 义 过 ， 因 此 有 的 解 释 器 会 搞 混 它 们 。 恭 喜 你 读 到 这 里 ， 你 一 定 是 一 个 很 有 耐 心 的 读 者 。 恭 喜 你 读 到 这 里 ， 你 一 定 是 一 个 很 有 耐 心 的 读 者 。 还 记 得 文 章 开 头 的 问 题 吗 ， 既 然 没 有 「 纯 文 本 」 文 件 这 回 事 ， 那 你 的 文 本 编 辑 器 和 浏 览 器 为 什 么 每 次 都 能 正 确 的 显 示 内 容 呢 ？ 答 案 是 ， 那 些 软 件 欺 骗 了 你 ， 这 也 是 为 什 么 那 么 多 人 对 编 码 一 无 所 知 。 当 软 件 不 能 确 定 编 码 的 时 候 ， 它 会 猜 测 。 大 部 分 时 候 ， 它 会 猜 测 是 否 是 涵 盖 了 A S C I I 码 的 U T F - 8 ， 还 是 I S O - 8 8 5 9 - 1 ， 也 有 可 能 猜 其 他 能 想 到 的 任 意 字 符 集 。 因 为 英 文 中 使 用 的 拉 丁 字 母 表 在 几 乎 所 有 的 字 符 集 中 都 能 显 示 ， 包 括 U T F - 8 ， 所 以 即 使 编 码 猜 错 了 ， 英 文 字 母 看 起 来 也 是 正 确 的 。 但 是 ， 如 果 你 在 浏 览 网 页 时 看 到 符 号 ， 这 意 味 着 这 个 网 页 的 编 码 不 是 你 的 浏 览 器 猜 测 的 那 个 。 这 时 你 可 以 点 开 浏 览 器 的 查 看 - > 字 符 编 码 菜 单 来 尝 试 不 同 的 编 码 。 三 ， 总 结 三 ， 总 结 如 果 你 没 时 间 读 整 篇 文 章 或 者 你 仅 仅 是 略 读 了 一 下 前 面 的 内 容 。 那 请 你 确 保 你 能 理 解 下 面 的 几 条 ： 1 ， 这 个 世 界 上 从 来 没 有 纯 文 本 这 回 事 ， 如 果 你 想 读 出 一 个 字 符 串 ， 你 必 须 知 道 它 的 编 码 。 2 ， U n i c o d e 是 一 个 简 单 的 标 准 ， 用 来 把 字 符 映 射 到 数 字 上 。 U n i c o d e 协 会 的 人 会 帮 你 处 理 所 有 幕 后 的 问 题 ， 包 括 为 新 字 符 指 定 编 码 。 3 ， U n i c o d e 并 不 告 诉 你 字 符 是 怎 么 编 码 成 字 节 的 。 这 是 被 编 码 方 案 决 定 的 ， 通 过 U T F 来 指 定 。 还 有 最 重 要 的 ： 4 ， 永 远 记 得 通 过 ， 永 远 记 得 通 过 C o n t e n t - T y p e 或 者 或 者 m e t a   c h a r s e t 标 签 来 显 式 指 定 你 的 文 档 的 编 码 。 标 签 来 显 式 指 定 你 的 文 档 的 编 码 。 这 样 浏 览 器 就 不 需 要 猜 测 你 使 用 的 编 码 了 ， 他 们 会 准 确 的 使 用 你 指 定 的 编 码 来 渲 染 文 档 。 来 源 声 明 ： 来 源 声 明 ： 本 文 来 自 于 1 0 K - L O C 的 博 文 《 U n i c o d e   i s n ’ t   h a r m f u l   f o r   h e a l t h   –   U n i c o d e   M y t h s   d e b u n k e d   a n d   e n c o d i n g s   d e m y s t i f i e d 》 ， 由 I D F 实 验 室 封 畅 翻 译 。
阅 读 原 文
回复

举报

高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

Archiver| 手机版| 小黑屋|
Powered by Discuz! X3.4 Copyright © 2001-2020, Tencent Cloud. 商业源码建议获取授权，如侵犯您的权益，请联系客服处理