搜索

[23272] 2014-11-11_也谈UTF-8编码

文档创建者：s7ckTeam
浏览次数：0
最后更新：2025-01-18
2014-11-11_也谈UTF-8编码 也 谈 U T F - 8 编 码 L i n u x 中 国   2 0 1 4 - 1 1 - 1 1 今 天 的 早 些 时 候 ， N o d e . j s 发 布 了 一 个 更 新 ， 它 会 影 响 到 转 化 到 缓 冲 区 中 的 无 效 U T F - 8 字 符 串 的 处 理 。 我 又 得 去 检 查 一 遍 w e b s o c k e t - d r i v e r 的 中 U T F - 8 校 验 的 代 码 了 ， 并 且 我 发 现 自 己 又 忘 记 了 如 何 使 用 正 则 去 进 行 校 验 了 。 我 先 把 它 从 网 页 上 拷 贝 了 下 来 ， 过 了 一 会 儿 才 终 于 彻 底 搞 明 白 它 的 工 作 原 理 了 。 如 果 你 写 的 程 序 是 进 行 文 本 处 理 的 ， 你 很 可 能 也 需 要 了 解 这 个 ， 因 此 我 觉 得 我 应 该 把 它 给 写 下 来 。 首 先 你 需 要 知 道 的 是 U n i c o d e 和 U T F - 8 并 不 是 一 回 事 。 U n i c o d e 是 一 个 标 准 ， 它 的 目 标 是 将 有 限 的 数 字 分 配 给 全 世 界 书 写 系 统 中 的 所 有 字 符 及 文 字 。 比 如 说 ， 数 字 6 5 ， 或 者 说 U + 0 0 4 1 , 它 对 应 的 是 大 写 字 母 ’ A ’ ， 9 0 也 就 是 U + 0 0 5 A 对 应 的 是 大 宝 字 母   ‘ Z ’ ， 而 3 2 / U + 0 0 2 0 是 空 格 。 U + 0 2 A 4 是 字 符 ‘ ʤ ’ ,   U + 0 4 6 C 是   ‘ Ѭ ’ ,   U + 0 B F 5   是 ‘ ’ ,   等 等 。 总 的 说 来 ， 这 些 数 字 或 者 说 ’ 代 码 点 （ C o d e   P o i n t ） ’ 的 范 围 会 到 U + 1 0 F F F F 也 就 是 1 , 1 1 4 , 1 1 1 . 一 个 U n i c o d e 字 符 串 ， 也 就 是 一 个 字 符 序 列 ， 实 际 上 就 是 从 0 到 1 , 1 1 4 . 1 1 1 这 些 数 字 的 一 个 序 列 。 这 些 数 字 是 如 何 转 化 成 你 在 屏 幕 上 看 到 的 字 符 的 ， 这 取 决 于 你 用 什 么 字 体 去 渲 染 它 了 。 当 我 们 通 过 一 个 T C P 连 接 将 文 本 发 送 出 去 ， 或 者 保 存 到 磁 盘 中 的 时 候 ， 我 们 会 将 它 存 储 成 一 个 定 长 字 节 的 序 列 。 一 个 8 比 特 的 字 节 只 能 表 示 2 5 6 个 值 ， 那 我 们 如 何 去 表 示 1 , 1 1 4 , 1 1 2 个 可 能 的 代 码 点 呢 ？ 这 就 是 编 码 出 场 的 时 候 了 。 U T F - 8 是 U n i c o d e 众 多 编 码 中 的 一 种 。 编 码 定 义 了 字 节 序 列 和 代 码 点 序 列 之 间 的 映 射 关 系 ， 并 告 诉 我 们 如 何 在 它 们 之 间 进 行 转 换 。 U T F - 8 是 W E B 上 常 用 的 编 码 ， 并 被 作 为 W e b S o c k e t 协 议 的 文 本 消 息 的 编 码 。 那 么 U T F - 8 是 如 何 工 作 的 ？ 首 先 需 要 知 道 的 是 我 们 不 能 将 所 有 的 代 码 点 都 映 射 到 单 个 字 节 上 ： 很 多 代 码 点 的 值 都 太 大 了 。 甚 至 我 们 都 不 能 用 它 来 表 示 0 0 到 F F ， 因 为 这 样 的 话 ， 更 高 的 值 就 没 法 表 示 了 。 不 过 我 们 可 以 使 用 从 0 0 到 7 F 这 个 范 围 （ 0 到 1 2 7 ） ， 留 下 8 0 到 F F 来 表 示 其 它 的 代 码 点 。 前 1 2 8 个 代 码 点 就 通 过 单 个 字 节 的 低 7 比 特 位 来 表 示 ：
U + 0 0 0 0   t o   U + 0 0 7 F :           0 0 0 0 0 0 0 0     0 0     - -     7 F     0 1 1 1 1 1 1 1 这 就 是 U T F - 8 的 独 特 之 处 ： 它 并 没 有 使 用 3 个 字 节 来 表 示 所 有 的 代 码 点 （ 1 , 1 1 4 , 1 1 1 是 2 1 比 特 ） ， 而 是 用 了 一 个 变 长 的 字 节 ， 从 1 字 节 到 4 字 节 。 前 1 2 8 个 代 码 点 每 个 都 对 应 着 一 个 字 节 ， 剩 下 的 代 码 点 都 通 过 余 下 的 1 2 8 个 字 节 的 组 合 来 表 示 （ 注 ： 一 个 字 节 8 比 特 有 2 5 6 个 取 值 ， 单 字 节 的 U T F - 8 编 码 用 了 低 7 位 的 1 2 8 个 ， 剩 下 的 用 于 其 它 代 码 点 ） 。   这 样 做 有 两 个 好 处 ， 尽 管 有 一 个 好 处 主 要 是 针 对 程 序 员 或 者 英 语 使 用 者 的 。 第 一 个 好 处 是 U T F - 8 是 向 下 兼 容 A S C I I 的 ： 所 有 有 效 的 A S C I I 文 档 都 是 一 个 有 效 的 U T F - 8 文 档 ， 它 们 一 一 对 应 。 第 二 个 好 处 ， 这 也 是 第 一 的 结 果 ， 也 就 是 说 我 们 在 传 输 英 文 文 本 的 时 候 ， 不 用 使 用 2 个 或 3 个 字 节 来 表 示 。 单 字 节 编 码 的 区 间 内 有 7 个 比 特 是 我 们 可 以 用 的 。 为 了 表 示 更 大 的 值 ， 我 们 需 要 更 多 的 字 节 ， U T F - 8 定 义 的 双 字 节 由 1 1 0 x x x x x   1 0 y y y y y y 形 式 的 字 节 对 组 成 。 x 和 y 的 比 特 是 可 变 的 ， 也 就 是 有 1 1 个 比 特 可 以 使 用 ， 加 起 来 就 到 了 U + 0 7 F F 。 U + 0 0 8 0   t o   U + 0 7 F F :           1 1 0 0 0 0 1 0     C 2     - -     D F     1 1 0 1 1 1 1 1                   1 0 0 0 0 0 0 0     8 0     - -     B F     1 0 1 1 1 1 1 1 也 就 是 说 ， 代 码 点 U + 0 0 8 0 成 了 字 节 C 2   8 0 而 代 码 点 U + 0 7 F F 是 D F   B F 。 需 要 注 意 的 是 ， 如 果 使 用 的 空 间 超 出 实 际 所 需 的 话 则 是 错 误 的 ： C 1   B F 或 者 说 1 1 0 0 0 0 0 1   1 0 1 1 1 1 1 1 会 被 理 解 成 U + 0 0 7 F ， 但 你 可 以 只 用 一 个 字 节 就 能 表 示 这 个 代 码 点 ， 因 此 C 1   B F 不 是 一 个 合 法 的 字 节 序 列 。 一 般 来 说 ， 多 字 节 代 码 点 由 一 个 特 殊 比 特 位 的 字 节 （ 大 于 8 0 的 字 节 ， 也 就 是 高 位 为 1 的 ） 后 面 跟 着 一 个 或 多 个 1 0 x x x x x x 形 式 的 字 节 来 组 成 。 后 面 的 字 节 可 用 的 范 围 是 8 0 到 B F 。 底 于 8 0 的 字 节 被 用 作 单 字 节 的 代 码 点 ， 如 果 在 多 字 节 编 码 中 出 现 它 们 则 是 错 误 的 。 首 字 节 的 值 会 告 诉 我 们 它 后 面 有 多 少 个 字 节 。 下 面 继 续 讲 3 字 节 的 码 点 ， 它 们 是 1 1 1 0 x x x x   1 0 y y y y y y   1 0 z z z z z z 的 形 式 ， 我 们 有 1 6 个 比 特 的 数 据 可 用 ， 这 样 我 们 的 码 点 可 以 到 达 U + F F F F 。 然 而 ， 现 在 我 们 碰 到 了 一 个 历 史 遗 留 问 题 。 U n i c o d e 最 早 是 在 U n i c o d e   8 8 白 皮 书 上 描 述 的 ， 上 面 是 这 么 说 的 ： 将 字 符 编 码 从 8 位 扩 展 到 1 6 位 是 非 常 明 智 的 ， 确 实 如 此 ， 以 至 于 刚 想 到 的 时 候 还 有 点 震 住 了 。   1 6 个 字 节 可 以 提 供 最 多 6 5 5 3 6 个 不 同 的 码 值 ， 这 足 够 对 全 世 界 的 所 有 字 符 进 行 编 码 了 吗 ？ 由 于 ’ 字 符 ‘ 本 身 的 定 义 也 是 文 本 编 码 方 案 设 计 中 的 一 部 分 ， 讨 论 这 个 问 题 是 没 有 意 义 的 ， 除 非 问 题 改 成 这 样 ： 有 没 有 可 能 重 新 建 立 一 种 有 效 的 字 符 的 定 义 ， 使 得 全 世 界 的 字 符 的 总 数 小 于 6 5 5 3 6 ？   答 案 是 肯 定 的 。   –   J o s e p h   D . B e c k e r   P h D ,   ‘ U n i c o d e   8 8 ′ 当 然 了 ， 最 终 表 明 答 案 是 否 定 的 ， 你 可 能 也 猜 到 了 现 在 的 代 码 点 一 共 有 1 , 1 1 4 , 1 1 2 个 。 在 U T F - 1 6 设 计   的 时 候 — — 这 是 一 个 固 定 双 字 节 的 编 码 规 范 — — 人 们 发 现 1 6 个 比 特 无 法 编 码 所 有 的 已 知 字 符 。 因 此 ， U n i c o d e 标 准 保 留 了 一 个 特 殊 的 代 码 点 区 间 以 便 U T F - 1 6 用 来 编 码 大 于 F F F F 的 值 。 这 些 值 会 通 过 4 个 字 节 来 进 行 编 码 ， 也 就 是 两 个 标 准 的 代 码 点 ， 前 两 个 字 节 的 范 围 是 D 8   0 0   到 D B   F F ， 而 后 两 个 字 节 的 范 围 是 D C   0 0   到 D F   F F 。 U + D 8 0 0   t o   U + D F F F 范 围 内 的 代 码 点 又 被 称 作 代 理 ， U T F - 1 6 使 用 代 理 对 （ s u r r o g a t e   p a i r s ） 来 表 示 更 大 的 值 。 没 有 字 符 会 被 分 配 给 这 些 代 码 点 ， 也 没 有 任 何 编 码 方 式 会 去 使 用 它 们 。 因 此 对 于 3 字 节 的 编 码 ， 我 们 实 际 上 只 能 编 码 U + 0 8 0 0 到 U + D 7 F F 以 及 U + E 0 0 0 到 U + F F F F 的 范 围 。   U + 0 8 0 0   t o   U + D 7 F F :             1 1 1 0 0 0 0 0     E 0     - -     E D     1 1 1 0 1 1 0 1                     1 0 1 0 0 0 0 0     A 0     - -     9 F     1 0 0 1 1 1 1 1                     1 0 0 0 0 0 0 0     8 0     - -     B F     1 0 1 1 1 1 1 1     U + E 0 0 0   t o   U + F F F F :             1 1 1 0 1 1 1 0     E E     - -     E F     1 1 1 0 1 1 1 1        
            1 0 0 0 0 0 0 0     8 0     - -     B F     1 0 1 1 1 1 1 1                     1 0 0 0 0 0 0 0     8 0     - -     B F     1 0 1 1 1 1 1 1 现 在 终 于 了 4 字 节 的 这 部 分 ， 这 些 字 节 的 格 式 是 1 1 1 1 0 w w w   1 0 x x x x x x   1 0 y y y y y y   1 0 z z z z z z ， 我 们 有 2 1 个 比 特 位 可 用 ， 这 样 我 们 可 以 最 大 达 到 U + 1 0 F F F F 。 这 段 区 间 是 没 有 间 隔 的 ， 不 过 要 想 覆 盖 剩 下 的 这 些 代 码 点 ， 我 们 用 不 着 使 用 完 这 整 个 范 围 的 值 ， 因 此 最 终 的 结 果 是 这 样 的 ： U + 0 1 0 0 0 0   t o   U + 1 0 F F F F :           1 1 1 1 0 0 0 0     F 0     - -     F 4     1 1 1 1 0 1 0 0                   1 0 0 1 0 0 0 0     9 0     - -     8 F     1 0 0 0 1 1 1 1                   1 0 0 0 0 0 0 0     8 0     - -     B F     1 0 1 1 1 1 1 1                   1 0 0 0 0 0 0 0     8 0     - -     B F     1 0 1 1 1 1 1 1 现 在 我 们 已 经 介 绍 完 了 所 有 表 示 U T F - 8 中 单 个 字 符 的 有 效 字 节 序 列 。 它 们 是 ： [ 0 0 - 7 F ] [ C 2 - D F ]   [ 8 0 - B F ] E 0   [ A 0 - B F ]   [ 8 0 - B F ] [ E 1 - E C ]   [ 8 0 - B F ]   [ 8 0 - B F ] E D   [ 8 0 - 9 F ]   [ 8 0 - B F ] [ E E - E F ]   [ 8 0 - B F ]   [ 8 0 - B F ] F 0   [ 9 0 - B F ]   [ 8 0 - B F ]   [ 8 0 - B F ] [ F 1 - F 3 ]   [ 8 0 - B F ]   [ 8 0 - B F ]   [ 8 0 - B F ] F 4   [ 8 0 - 8 F ]   [ 8 0 - B F ]   [ 8 0 - B F ] 这 些 可 以 用 一 个 正 则 来 进 行 匹 配 ， 不 过 记 住 了 正 则 只 能 在 字 符 上 进 行 操 作 ， 而 不 是 字 节 。 在 N o d e 中 ， 我 们 可 以 使 用 b u f f e r . t o S t r i n g ( ' b i n a r y ' ) 将 一 个 缓 冲 区 转 化 成 一 个 字 符 串 ， 里 面 的 字 符 则 是 这 些 字 节 的 代 码 点 的 字 面 量 （ 比 如 从 0 到 2 5 5 ） , 然 后 将 这 个 字 符 串 用 正 则 来 进 行 校 验 。 现 在 我 们 已 经 理 解 怎 么 是 U T F - 8 了 ， 我 们 也 可 以 明 白 N o d e 中 到 底 修 改 了 些 什 么 。 / /   P r i o r   t o   t h e s e   r e l e a s e s : n e w   B u f f e r ( ' a b u d 8 0 0 c d ' ,   ' u t f 8 ' ) ; / /   < B u f f e r   6 1   6 2   e d   a 0   8 0   6 3   6 4 >   / /   A f t e r   t h i s   r e l e a s e : n e w   B u f f e r ( ' a b u d 8 0 0 c d ' ,   ' u t f 8 ' ) ; / /   < B u f f e r   6 1   6 2   e f   b f   b d   6 3   6 4 > 字 符 u d 8 0 0 是 一 个 代 理 （ s u r r o g a t e ） ， 没 有 对 应 的 编 码 ， 因 此 它 是 一 个 无 效 字 符 。 然 而 ， J a v a S c r i p t 允 许 这 个 字 符 串 存 在 并 且 不 会 抛 出 错 误 ， 因 此 N o d e 决 定 这 个 字 符 串 转 化 成 缓 冲 区 的 时 候 也 不 要 报 错 。 不 过 现 在 这 个 字 符 被 替 换 成 了 ' u f f f d ' ， 也 就 是 未 知 字 符 。 为 了 不 让 你 的 程 序 发 送 一 个 J S 认 为 有 效 的 字 符 串 而 对 方 却 拒 绝 承 认 它 是 一 个 U T F - 8 串 ， N o d e 将 它 替 换 成 了 一 个 非 代 理 字 符 ， 以 避 免 下 游 的 程 序 出 现 错 误 。 当 碰 到 奇 怪 的 输 入 的 时 候 ， 我 通 常 是 建 议 不 要 去 猜 测 程 序 员 到 底 想 表 达 什 么 ， 但 既 然 U n i c o d e 提 供 了 这 样 的 一 个 代 码 点 ， 它 被 “ 用 来 替 换 掉 一 个 在 U n i c o d e 中 未 知 的 或 者 无 法 表 示 的 字 符 “ ， 这 看 起 来 也 算 是 个 不 错 的 选 择 。 原 文 ：   h t t p s : / / b l o g . j c o g l a n . c o m / 2 0 1 4 / 0 6 / 1 7 / u t f - 8 - i t s - w h a t - s t r i n g s - a r e - m a d e - o f / 译 文 ：   h t t p : / / i t . d e e p i n m i n d . c o m / % E 5 % 8 5 % B 6 % E 5 % A E % 8 3 / 2 0 1 4 / 0 7 / 0 4 / u t f - 8 - i t s - w h a t - s t r i n g s - a r e - m a d e - o f . h t m l 转 载 本 文 请 遵 循 原 文 要 求
阅 读 原 文
回复

举报

高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

使用Markdown编辑器编辑 使用富文本编辑器编辑

Archiver| 手机版| 小黑屋|
Powered by Discuz! X3.4 Copyright © 2001-2020, Tencent Cloud. 商业源码建议获取授权，如侵犯您的权益，请联系客服处理