搜索

[22931] 2014-08-01_关于字符编码，你所需要知道的

文档创建者：s7ckTeam
浏览次数：11
最后更新：2025-01-18
2014-08-01_关于字符编码，你所需要知道的 关 于 字 符 编 码 ， 你 所 需 要 知 道 的 L i n u x 中 国   2 0 1 4 - 0 8 - 0 1 字 符 编 码 的 问 题 看 似 很 小 ， 经 常 被 技 术 人 员 忽 视 ， 但 是 很 容 易 导 致 一 些 莫 名 其 妙 的 问 题 。 这 里 总 结 了 一 下 字 符 编 码 的 一 些 普 及 性 的 知 识 ， 希 望 对 大 家 有 所 帮 助 。 还 是 得 从 A S C I I 码 说 起 说 到 字 符 编 码 ， 不 得 不 说 A S C I I 码 的 简 史 。 计 算 机 一 开 始 发 明 的 时 候 是 用 来 解 决 数 字 计 算 的 问 题 ， 后 来 人 们 发 现 ， 计 算 机 还 可 以 做 更 多 的 事 ， 例 如 文 本 处 理 。 但 由 于 计 算 机 只 识 “ 数 ” ， 因 此 人 们 必 须 告 诉 计 算 机 哪 个 数 字 来 代 表 哪 个 特 定 字 符 ， 例 如 6 5 代 表 字 母 ‘ A ’ ， 6 6 代 表 字 母 ‘ B ’ ， 以 此 类 推 。 但 是 计 算 机 之 间 字 符 计 算 机 之 间 字 符 - 数 字 的 对 应 关 系 必 须 得 一 致 ， 否 则 就 会 造 成 同 一 段 数 字 在 不 同 计 算 机 上 显 示 出 来 的 字 符 不 一 数 字 的 对 应 关 系 必 须 得 一 致 ， 否 则 就 会 造 成 同 一 段 数 字 在 不 同 计 算 机 上 显 示 出 来 的 字 符 不 一 样 样 。 因 此 美 国 国 家 标 准 协 会 A N S I 制 定 了 一 个 标 准 ， 规 定 了 常 用 字 符 的 集 合 以 及 每 个 字 符 对 应 的 编 号 ， 这 就 是 A S C I I 字 符 集 （ C h a r a c t e r S e t ） ， 也 称 A S C I I 码 。 当 时 的 计 算 机 普 遍 使 用 8 比 特 字 节 作 为 最 小 的 存 储 和 处 理 单 元 ， 加 之 当 时 用 到 的 字 符 也 很 少 ， 2 6 个 大 小 写 英 文 字 母 还 有 数 字 再 加 上 其 他 常 用 符 号 ， 也 不 到 1 0 0 个 ， 因 此 使 用 7 个 比 特 位 就 可 以 高 效 的 存 储 和 处 理 A S C I I 码 ， 剩 下 最 高 位 1 比 特 被 用 作 一 些 通 讯 系 统 的 奇 偶 校 验 。 注 意 ， 字 节 代 表 系 统 能 够 处 理 的 最 小 单 位 ， 不 一 定 是 8 比 特 。 只 是 现 代 计 算 机 的 事 实 标 准 就 是 用 8 比 特 来 代 表 一 个 字 节 。 在 很 多 技 术 规 格 文 献 中 ， 为 了 避 免 产 生 歧 义 ， 更 倾 向 于 使 用 8 位 组 （ O c t e t ） 而 不 是 字 节 （ B y t e ） 这 个 术 语 来 强 调 8 个 比 特 的 二 进 制 流 。 下 文 中 为 了 便 于 理 解 ， 我 会 延 用 大 家 熟 悉 的 “ 字
节 ” 这 个 概 念 。 A S C I I 字 符 集 由 9 5 个 可 打 印 字 符 （ 0 x 2 0 - 0 x 7 E ） 和 3 3 个 控 制 字 符 （ 0 x 0 0 - 0 x 1 9 ， 0 x 7 F ） 组 成 。 可 打 印 字 符 用 于 显 示 在 输 出 设 备 上 ， 例 如 荧 屏 或 者 打 印 纸 上 ， 控 制 字 符 用 于 向 计 算 机 发 出 一 些 特 殊 指 令 ， 例 如 0 x 0 7 会 让 计 算 机 发 出 哔 的 一 声 ， 0 x 0 0 通 常 用 于 指 示 字 符 串 的 结 束 ， 0 x 0 D 和 0 x 0 A 用 于 指 示 打 印 机 的 打 印 针 头 退 到 行 首 （ 回 车 ） 并 移 到 下 一 行 （ 换 行 ） 。 那 时 候 的 字 符 编 解 码 系 统 非 常 简 单 ， 就 是 简 单 的 查 表 过 程 。 例 如 将 字 符 序 列 编 码 为 二 进 制 流 写 入 存 储 设 备 ， 只 需 要 在 A S C I I 字 符 集 中 依 次 找 到 字 符 对 应 的 字 节 ， 然 后 直 接 将 该 字 节 写 入 存 储 设 备 即 可 。 解 码 二 进 制 流 的 过 程 也 是 类 似 。 O E M 字 符 集 的 衍 生 当 计 算 机 开 始 发 展 起 来 的 时 候 ， 人 们 逐 渐 发 现 ， A S C I I 字 符 集 里 那 可 怜 的 1 2 8 个 字 符 已 经 不 能 再 满 足 他 们 的 需 求 了 。 人 们 就 在 想 ， 一 个 字 节 能 够 表 示 的 数 字 （ 编 号 ） 有 2 5 6 个 ， 而 A S C I I 字 符 只 用 到 了 0 x 0 0 ~ 0 x 7 F ， 也 就 是 占 用 了 前 1 2 8 个 ， 后 面 1 2 8 个 数 字 不 用 白 不 用 ， 因 此 很 多 人 打 起 了 后 面 这 1 2 8 个 数 字 的 主 意 。 可 是 问 题 在 于 ， 很 多 人 同 时 有 这 样 的 想 法 ， 但 是 大 家 对 于 0 x 8 0 - 0 x F F 这 后 面 的 1 2 8 个 数 字 分 别 对 应 什 么 样 的 字 符 ， 却 有 各 自 的 想 法 。 这 就 导 致 了 当 时 销 往 世 界 各 地 的 机 器 上 出 现 了 大 量 各 式 各 样 的 O E M 字 符 集 。 下 面 这 张 表 是 I B M - P C 机 推 出 的 其 中 一 个 O E M 字 符 集 ， 字 符 集 的 前 1 2 8 个 字 符 和 A S C I I 字 符 集 的 基 本 一 致 （ 为 什 么 说 基 本 一 致 呢 ， 是 因 为 前 3 2 个 控 制 字 符 在 某 些 情 况 下 会 被 I B M - P C 机 当 作 可 打 印 字 符 解 释 ） ， 后 面 1 2 8 个 字 符 空 间 加 入 了 一 些 欧 洲 国 家 用 到 的 重 音 字 符 ， 以 及 一 些 用 于 画 线 条 画 的 字 符 。 事 实 上 ， 大 部 分 O E M 字 符 集 是 兼 容 A S C I I 字 符 集 的 ， 也 就 是 说 ， 大 家 对 于 0 x 0 0 ~ 0 x 7 F 这 个 范 围 的 解 释 基 本 是 相 同 的 ， 而 对 于 后 半 部 分 0 x 8 0 ~ 0 x F F 的 解 释 却 不 一 定 相 同 。 甚 至 有 时 候 同 样 的 字 符 在 不 同 O E M 字 符 集 中 对 应 的 字 节 也 是 不 同 的 。 不 同 的 O E M 字 符 集 导 致 人 们 无 法 跨 机 器 交 流 各 种 文 档 。 例 如 职 员 甲 发 了 一 封 简 历 r é s u m é s 给 职 员 乙 ， 结 果 职 员 乙 看 到 的 却 是 r s u m s ， 因 为 é 字 符 在 职 员 甲 机 器 上 的 O E M 字 符 集 中 对 应 的 字 节 是 0 x 8 2 ， 而 在 职 员 乙 的 机 器 上 ， 由 于 使 用 的 O E M 字 符 集 不 同 ， 对 0 x 8 2 字 节 解 码 后 得 到 的 字 符 却 是 。 多 字 节 字 符 集 （ M B C S ） 和 中 文 字 符 集 上 面 我 们 提 到 的 字 符 集 都 是 基 于 单 字 节 编 码 ， 也 就 是 说 ， 一 个 字 节 翻 译 成 一 个 字 符 。 这 对 于 拉 丁 语 系 国 家 来 说 可 能 没 有 什 么 问 题 ， 因 为 他 们 通 过 扩 展 第 8 个 比 特 ， 就 可 以 得 到 2 5 6 个 字 符 了 ， 足 够 用 了 。 但 是 对 于 亚 洲 国 家 来 说 ， 2 5 6 个 字 符 是 远 远 不 够 用 的 。 因 此 这 些 国 家 的 人 为 了 用
上 电 脑 ， 又 要 保 持 和 A S C I I 字 符 集 的 兼 容 ， 就 发 明 了 多 字 节 编 码 方 式 ， 相 应 的 字 符 集 就 称 为 多 字 节 字 符 集 。 例 如 中 国 使 用 的 就 是 双 字 节 字 符 集 编 码 （ D B C S ， D o u b l e   B y t e   C h a r a c t e r   S e t ） 。 对 于 单 字 节 字 符 集 来 说 ， 代 码 页 中 只 需 要 有 一 张 码 表 即 可 ， 上 面 记 录 着 2 5 6 个 数 字 代 表 的 字 符 。 程 序 只 需 要 做 简 单 的 查 表 操 作 就 可 以 完 成 编 解 码 的 过 程 。 代 码 页 是 字 符 集 编 码 的 具 体 实 现 ， 你 可 以 把 他 理 解 为 一 张 “ 字 符 - 字 节 ” 映 射 表 ， 通 过 查 表 实 现 “ 字 符 - 字 节 ” 的 翻 译 。 下 面 会 有 更 详 细 的 描 述 。 而 对 于 多 字 节 字 符 集 ， 代 码 页 中 通 常 会 有 很 多 码 表 。 那 么 程 序 怎 么 知 道 该 使 用 哪 张 码 表 去 解 码 二 进 制 流 呢 ？ 答 案 是 ， 根 据 第 一 个 字 节 来 选 根 据 第 一 个 字 节 来 选 择 不 同 的 码 表 进 行 解 析 择 不 同 的 码 表 进 行 解 析 。 例 如 目 前 最 常 用 的 中 文 字 符 集 G B 2 3 1 2 ， 涵 盖 了 所 有 简 体 字 符 以 及 一 部 分 其 他 字 符 ； G B K （ K 代 表 扩 展 的 意 思 ） 则 在 G B 2 3 1 2 的 基 础 上 加 入 了 对 繁 体 字 符 等 其 他 非 简 体 字 符 （ G B 1 8 0 3 0 字 符 集 不 是 双 字 节 字 符 集 ， 我 们 在 讲 U n i c o d e 的 时 候 会 提 到 ） 。 这 两 个 字 符 集 的 字 符 都 是 使 用 1 - 2 个 字 节 来 表 示 。 W i n d o w s 系 统 采 用 9 3 6 代 码 页 来 实 现 对 G B K 字 符 集 的 编 解 码 。 在 解 析 字 节 流 的 时 候 ， 如 果 遇 到 字 节 的 最 高 位 是 0 的 话 ， 那 么 就 使 用 9 3 6 代 码 页 中 的 第 1 张 码 表 进 行 解 码 ， 这 就 和 单 字 节 字 符 集 的 编 解 码 方 式 一 致 了 。 当 字 节 的 高 位 是 1 的 时 候 ， 确 切 的 说 ， 当 第 一 个 字 节 位 于 0 x 8 1 – 0 x F E 之 间 时 ， 根 据 第 一 个 字 节 不 同 找 到 代 码 页 中 的 相 应 的 码 表 ， 例 如 当 第 一 个 字 节 是 0 x 8 1 ， 那 么 对 应 9 3 6 中 的 下 面 这 张 码 表 ：
（ 关 于 9 3 6 代 码 页 中 完 整 的 码 表 信 息 ， 参 见 M S D N ： h t t p : / / m s d n . m i c r o s o f t . c o m / e n - u s / l i b r a r y / c c 1 9 4 9 1 3 % 2 8 v = M S D N . 1 0 % 2 9 . a s p x . ） 按 照 9 3 6 代 码 页 的 码 表 ， 当 程 序 遇 到 连 续 字 节 流 0 x 8 1   0 x 4 0 的 时 候 ， 就 会 解 码 为 “ 丂 ” 字 符 。 A N S I 标 准 、 国 家 标 准 、 I S O 标 准 不 同 A S C I I 衍 生 字 符 集 的 出 现 ， 让 文 档 交 流 变 得 非 常 困 难 ， 因 此 各 种 组 织 都 陆 续 进 行 了 标 准 化 流 程 。 例 如 美 国 A N S I 组 织 制 定 了 A N S I 标 准 字 符 编 码 （ 注 意 ， 我 们 现 在 通 常 说 到 我 们 现 在 通 常 说 到 A N S I 编 码 ， 通 常 指 的 是 平 台 的 默 认 编 码 ， 例 如 英 文 操 作 系 统 中 是 编 码 ， 通 常 指 的 是 平 台 的 默 认 编 码 ， 例 如 英 文 操 作 系 统 中 是 I S O - 8 8 5 9 - 1 ， 中 文 系 统 是 ， 中 文 系 统 是 G B K ） ， I S O 组 织 制 定 的 各 种 I S O 标 准 字 符 编 码 ， 还 有 各 国 也 会 制 定 一 些 国 家 标 准 字 符 集 ， 例 如 中 国 的 G B K ， G B 2 3 1 2 和 G B 1 8 0 3 0 。 操 作 系 统 在 发 布 的 时 候 ， 通 常 会 往 机 器 里 预 装 这 些 标 准 的 字 符 集 还 有 平 台 专 用 的 字 符 集 ， 这 样 只 要 你 的 文 档 是 使 用 标 准 字 符 集 编 写 的 ， 通 用 性 就 比 较 高 了 。 例 如 你 用 G B 2 3 1 2 字 符 集 编 写 的 文 档 ， 在 中 国 大 陆 内 的 任 何 机 器 上 都 能 正 确 显 示 。 同 时 ， 我 们 也 可 以 在 一 台 机 器 上 阅 读 多 个 国 家 不 同 语 言 的 文 档 了 ， 前 提 是 本 机 必 须 安 装 该 文 档 使 用 的 字 符 集 。 U n i c o d e 的 出 现 虽 然 通 过 使 用 不 同 字 符 集 ， 我 们 可 以 在 一 台 机 器 上 查 阅 不 同 语 言 的 文 档 ， 但 是 我 们 仍 然 无 法 解 决 一 个 问 题 ： 在 一 份 文 档 中 显 示 所 有 字 符 在 一 份 文 档 中 显 示 所 有 字 符 。 为 了 解 决 这 个 问 题 ， 我 们 需 要 一 个 全 人 类 达 成 共 识 的 巨 大 的 字 符 集 ， 这 就 是 U n i c o d e 字 符 集 。 U n i c o d e 字 符 集 概 述 U n i c o d e 字 符 集 涵 盖 了 目 前 人 类 使 用 的 所 有 字 符 ， 并 为 每 个 字 符 进 行 统 一 编 号 ， 分 配 唯 一 的 字 符 码 （ C o d e   P o i n t ） 。 U n i c o d e 字 符 集 将 所 有 字 符 按 照 使 用 上 的 频 繁 度 划 分 为 1 7 个 层 面 （ P l a n e ） ， 每 个 层 面 上 有 2 1 6 = 6 5 5 3 6 个 字 符 码 空 间 。 其 中 第 0 个 层 面 B M P ， 基 本 涵 盖 了 当 今 世 界 用 到 的 所 有 字 符 。 其 他 的 层 面 要 么 是 用 来 表 示 一 些 远 古 时 期 的 文 字 ， 要 么 是 留 作 扩 展 。 我 们 平 常 用 到 的 U n i c o d e 字 符 ， 一 般 都 是 位 于 B M P 层 面 上 的 。 目 前 U n i c o d e 字 符 集 中 尚 有 大 量 字 符 空 间 未 使 用 。 编 码 系 统 的 变 化 在 U n i c o d e 出 现 之 前 ， 所 有 的 字 符 集 都 是 和 具 体 编 码 方 案 绑 定 在 一 起 的 ， 都 是 直 接 将 字 符 和 最 终 字 节 流 绑 定 死 了 ， 例 如 A S C I I 编 码 系 统 规 定 使 用 7 比 特 来 编 码 A S C I I 字 符 集 ； G B 2 3 1 2 以 及 G B K 字 符 集 ， 限 定 了 使 用 最 多 2 个 字 节 来 编 码 所 有 字 符 ， 并 且 规 定 了 字 节 序 。 这 样 的 编 码 系 统 通 常 用 简 单 的 查 表 ， 也 就 是 通 过 代 码 页 就 可 以 直 接 将 字 符 映 射 为 存 储 设 备 上 的 字 节 流 了 。 例 如 下 面 这 个 例 子 ：
这 种 方 式 的 缺 点 在 于 ， 字 符 和 字 节 流 之 间 耦 合 得 太 紧 密 了 ， 从 而 限 定 了 字 符 集 的 扩 展 能 力 。 假 设 以 后 火 星 人 入 住 地 球 了 ， 要 往 现 有 字 符 集 中 加 入 火 星 文 就 变 得 很 难 甚 至 不 可 能 了 ， 而 且 很 容 易 破 坏 现 有 的 编 码 规 则 。 因 此 U n i c o d e 在 设 计 上 考 虑 到 了 这 一 点 ， 将 字 符 集 和 字 符 编 码 方 案 分 离 开 。 也 就 是 说 ， 虽 然 每 个 字 符 在 虽 然 每 个 字 符 在 U n i c o d e 字 符 集 中 都 能 找 到 唯 一 确 定 的 编 号 （ 字 符 码 ， 又 称 字 符 集 中 都 能 找 到 唯 一 确 定 的 编 号 （ 字 符 码 ， 又 称 U n i c o d e 码 ） ， 但 是 决 定 最 终 字 节 流 的 却 是 具 体 码 ） ， 但 是 决 定 最 终 字 节 流 的 却 是 具 体 的 字 符 编 码 的 字 符 编 码 。 例 如 同 样 是 对 U n i c o d e 字 符 “ A ” 进 行 编 码 ， U T F - 8 字 符 编 码 得 到 的 字 节 流 是 0 x 4 1 ， 而 U T F - 1 6 （ 大 端 模 式 ） 得 到 的 是 0 x 0 0   0 x 4 1 。 常 见 的 U n i c o d e 编 码 U C S - 2 / U T F - 1 6 如 果 要 我 们 来 实 现 U n i c o d e 字 符 集 中 B M P 字 符 的 编 码 方 案 ， 我 们 会 怎 么 实 现 ？ 由 于 B M P 层 面 上 有 2 1 6 = 6 5 5 3 6 个 字 符 码 ， 因 此 我 们 只 需 要 两 个 字 节 就 可 以 完 全 表 示 这 所 有 的 字 符 了 。 举 个 例 子 ， “ 中 ” 的 U n i c o d e 字 符 码 是 0 x 4 E 2 D ( 0 1 0 0 1 1 1 0   0 0 1 0 1 1 0 1 ) ， 那 么 我 们 可 以 编 码 为 0 1 0 0 1 1 1 0   0 0 1 0 1 1 0 1 （ 大 端 ） 或 者 0 0 1 0 1 1 0 1   0 1 0 0 1 1 1 0 （ 小 端 ） 。 U C S - 2 和 U T F - 1 6 对 于 B M P 层 面 的 字 符 均 是 使 用 2 个 字 节 来 表 示 ， 并 且 编 码 得 到 的 结 果 完 全 一 致 。 不 同 之 处 在 于 ， U C S - 2 最 初 设 计 的 时 候 只 考 最 初 设 计 的 时 候 只 考 虑 到 虑 到 B M P 字 符 ， 因 此 使 用 固 定 字 符 ， 因 此 使 用 固 定 2 个 字 节 长 度 ， 也 就 是 说 ， 他 无 法 表 示 个 字 节 长 度 ， 也 就 是 说 ， 他 无 法 表 示 U n i c o d e 其 他 层 面 上 的 字 符 ， 而 其 他 层 面 上 的 字 符 ， 而 U T F - 1 6 为 了 解 除 这 个 限 制 ， 支 持 为 了 解 除 这 个 限 制 ， 支 持 U n i c o d e 全 字 符 集 的 编 解 码 ， 采 用 了 变 长 编 码 ， 最 少 使 用 全 字 符 集 的 编 解 码 ， 采 用 了 变 长 编 码 ， 最 少 使 用 2 个 字 节 ， 如 果 要 编 码 个 字 节 ， 如 果 要 编 码 B M P 以 外 的 字 符 ， 则 需 要 以 外 的 字 符 ， 则 需 要 4 个 字 节 结 对 个 字 节 结 对 ， 这 里 就 不 讨 论 那 么 远 ， 有 兴 趣 可 以 参 考 维 基 百 科 ： U T F - 1 6 / U C S - 2 。 W i n d o w s 从 N T 时 代 开 始 就 采 用 了 U T F - 1 6 编 码 ， 很 多 流 行 的 编 程 平 台 ， 例 如 . N e t ， J a v a ， Q t 还 有 M a c 下 的 C o c o a 等 都 是 使 用 U T F - 1 6 作 为 基 础 的 字 符 编 码 。 例 如 代 码 中 的 字 符 串 ， 在 内 存 中 相 应 的 字 节 流 就 是 用 U T F - 1 6 编 码 过 的 。 U T F - 8
U T F - 8 应 该 是 目 前 应 用 最 广 泛 的 一 种 U n i c o d e 编 码 方 案 。 由 于 U C S - 2 / U T F - 1 6 对 于 A S C I I 字 符 使 用 两 个 字 节 进 行 编 码 ， 存 储 和 处 理 效 率 相 对 低 下 ， 并 且 由 于 A S C I I 字 符 经 过 U T F - 1 6 编 码 后 得 到 的 两 个 字 节 ， 高 字 节 始 终 是 0 x 0 0 ， 很 多 C 语 言 的 函 数 都 将 此 字 节 视 为 字 符 串 末 尾 从 而 导 致 无 法 正 确 解 析 文 本 。 因 此 一 开 始 推 出 的 时 候 遭 到 很 多 西 方 国 家 的 抵 触 ， 大 大 影 响 了 U n i c o d e 的 推 行 。 后 来 聪 明 的 人 们 发 明 了 U T F - 8 编 码 ， 解 决 了 这 个 问 题 。 U T F - 8 编 码 方 案 采 用 1 - 4 个 字 节 来 编 码 字 符 ， 方 法 其 实 也 非 常 简 单 。 （ 上 图 中 的 x 代 表 U n i c o d e 码 的 低 8 位 ， y 代 表 高 8 位 ） 对 于 对 于 A S C I I 字 符 的 编 码 使 用 单 字 节 ， 和 字 符 的 编 码 使 用 单 字 节 ， 和 A S C I I 编 码 一 摸 一 样 ， 这 样 所 有 原 先 使 用 编 码 一 摸 一 样 ， 这 样 所 有 原 先 使 用 A S C I I 编 解 码 的 文 档 就 可 以 直 接 转 到 编 解 码 的 文 档 就 可 以 直 接 转 到 U T F - 8 编 码 了 。 编 码 了 。 对 于 其 他 字 符 ， 则 使 用 对 于 其 他 字 符 ， 则 使 用 2 - 4 个 字 节 来 表 示 ， 其 中 ， 首 字 节 前 置 个 字 节 来 表 示 ， 其 中 ， 首 字 节 前 置 1 的 数 目 代 表 正 确 解 析 所 需 要 的 字 节 数 ， 剩 余 字 节 的 高 的 数 目 代 表 正 确 解 析 所 需 要 的 字 节 数 ， 剩 余 字 节 的 高 2 位 始 终 是 位 始 终 是 1 0 。 。 例 如 首 字 节 是 例 如 首 字 节 是 1 1 1 0 y y y y ， 前 置 有 ， 前 置 有 3 个 个 1 ， 说 明 正 确 解 析 总 共 需 要 ， 说 明 正 确 解 析 总 共 需 要 3 个 字 节 ， 需 要 和 后 面 个 字 节 ， 需 要 和 后 面 2 个 以 个 以 1 0 开 头 的 字 节 结 合 才 能 正 确 解 析 得 到 字 开 头 的 字 节 结 合 才 能 正 确 解 析 得 到 字 符 符 。 关 于 U T F - 8 的 更 多 信 息 ， 参 考 维 基 百 科 ： U T F - 8 。 G B 1 8 0 3 0 任 何 能 够 将 U n i c o d e 字 符 映 射 为 字 节 流 的 编 码 都 属 于 U n i c o d e 编 码 。 中 国 的 G B 1 8 0 3 0 编 码 ， 覆 盖 了 U n i c o d e 所 有 的 字 符 ， 因 此 也 算 是 一 种 U n i c o d e 编 码 。 只 不 过 他 的 编 码 方 式 并 不 像 U T F - 8 或 者 U T F - 1 6 一 样 ， 将 U n i c o d e 字 符 的 编 号 通 过 一 定 的 规 则 进 行 转 换 ， 而 只 能 通 过 查 表 的 手 段 进 行 编 码 。 关 于 G B 1 8 0 3 0 的 更 多 信 息 ， 参 考 ： G B 1 8 0 3 0 。 U n i c o d e 相 关 的 常 见 问 题 U n i c o d e 是 两 个 字 节 吗 ？ 是 两 个 字 节 吗 ？ U n i c o d e 只 是 定 义 了 一 个 庞 大 的 、 全 球 通 用 的 字 符 集 ， 并 为 每 个 字 符 规 定 了 唯 一 确 定 的 编 号 ， 具 体 存 储 为 什 么 样 的 字 节 流 ， 取 决 于 字 符 编 码 方 案 。 推 荐 的 U n i c o d e 编 码 是 U T F - 1 6 和 U T F - 8 。 带 签 名 的 带 签 名 的 U T F - 8 指 的 是 什 么 意 思 ？ 指 的 是 什 么 意 思 ？ 带 签 名 指 的 是 字 节 流 以 B O M 标 记 开 始 。 很 多 软 件 会 “ 智 能 ” 的 探 测 当 前 字 节 流 使 用 的 字 符 编 码 ， 这 种 探 测 过 程 出 于 效 率 考 虑 ， 通 常 会 提 取 字 节 流 前 面 若 干 个 字 节 ， 看 看 是 否 符 合 某 些 常 见 字 符 编 码 的 编 码 规 则 。 由 于 U T F - 8 和 A S C I I 编 码 对 于 纯 英 文 的 编 码 是 一 样 的 ， 无 法 区 分 开 来 ， 因
此 通 过 在 字 节 流 最 前 面 添 加 B O M 标 记 可 以 告 诉 软 件 ， 当 前 使 用 的 是 U n i c o d e 编 码 ， 判 别 成 功 率 就 十 分 准 确 了 。 但 是 需 要 注 意 ， 不 是 所 有 软 件 或 者 程 序 都 能 正 确 处 理 B O M 标 记 ， 例 如 P H P 就 不 会 检 测 B O M 标 记 ， 直 接 把 它 当 普 通 字 节 流 解 析 了 。 因 此 如 果 你 的 P H P 文 件 是 采 用 带 B O M 标 记 的 U T F - 8 进 行 编 码 的 ， 那 么 有 可 能 会 出 现 问 题 。 U n i c o d e 编 码 和 以 前 的 字 符 集 编 码 有 什 么 区 别 ？ 编 码 和 以 前 的 字 符 集 编 码 有 什 么 区 别 ？ 早 期 字 符 编 码 、 字 符 集 和 代 码 页 等 概 念 都 是 表 达 同 一 个 意 思 。 例 如 G B 2 3 1 2 字 符 集 、 G B 2 3 1 2 编 码 ， 9 3 6 代 码 页 ， 实 际 上 说 的 是 同 个 东 西 。 但 是 对 于 U n i c o d e 则 不 同 ， U n i c o d e 字 符 集 只 是 定 义 了 字 符 的 集 合 和 唯 一 编 号 ， U n i c o d e 编 码 ， 则 是 对 U T F - 8 、 U C S - 2 / U T F - 1 6 等 具 体 编 码 方 案 的 统 称 而 已 ， 并 不 是 具 体 的 编 码 方 案 。 所 以 当 需 要 用 到 字 符 编 码 的 时 候 ， 你 可 以 写 g b 2 3 1 2 ， c o d e p a g e 9 3 6 ， u t f - 8 ， u t f - 1 6 ， 但 请 不 要 写 u n i c o d e （ 看 过 别 人 在 网 页 的 m e t a 标 签 里 头 写 c h a r s e t = u n i c o d e ， 有 感 而 发 ） 。 乱 码 问 题 乱 码 指 的 是 程 序 显 示 出 来 的 字 符 文 本 无 法 用 任 何 语 言 去 解 读 。 一 般 情 况 下 会 包 含 大 量 或 者 ? 。 乱 码 问 题 是 所 有 计 算 机 用 户 或 多 或 少 会 遇 到 的 问 题 。 造 成 乱 码 的 原 因 就 是 因 为 使 用 了 错 误 的 字 符 编 码 去 解 码 字 节 流 造 成 乱 码 的 原 因 就 是 因 为 使 用 了 错 误 的 字 符 编 码 去 解 码 字 节 流 ， 因 此 当 我 们 在 思 考 任 何 跟 文 本 显 示 有 关 的 问 题 时 ， 请 因 此 当 我 们 在 思 考 任 何 跟 文 本 显 示 有 关 的 问 题 时 ， 请 时 刻 保 持 清 醒 ： 当 前 使 用 的 字 符 编 码 是 什 么 时 刻 保 持 清 醒 ： 当 前 使 用 的 字 符 编 码 是 什 么 。 只 有 这 样 ， 我 们 才 能 正 确 分 析 和 处 理 乱 码 问 题 。 例 如 最 常 见 的 网 页 乱 码 问 题 。 如 果 你 是 网 站 技 术 人 员 ， 遇 到 这 样 的 问 题 ， 需 要 检 查 以 下 原 因 ： 服 务 器 返 回 的 响 应 头 C o n t e n t - T y p e 没 有 指 明 字 符 编 码 网 页 内 是 否 使 用 M E T A   H T T P - E Q U I V 标 签 指 定 了 字 符 编 码 网 页 文 件 本 身 存 储 时 使 用 的 字 符 编 码 和 网 页 声 明 的 字 符 编 码 是 否 一 致   注 意 ， 网 页 解 析 的 过 程 如 果 使 用 的 字 符 编 码 不 正 确 ， 还 可 能 会 导 致 脚 本 或 者 样 式 表 出 错 。 具 体 细 节 可 以 参 考 我 以 前 写 过 的 文 章 ： 文 档 字 符 集 导 致 的 脚 本 错 误 和 A s p . N e t 页 面 的 编 码 问 题 。 不 久 前 看 到 某 技 术 论 坛 有 人 反 馈 ， W i n F o r m 程 序 使 用 C l i p b o a r d 类 的 G e t D a t a 方 法 去 访 问 剪 切 板 中 的 H T M L 内 容 时 会 出 现 乱 码 的 问 题 ， 我 估 计 也 是 由 于 W i n F o r m 在 获 取 H T M L 文 本 的 时 候 没 有 用 对 正 确 的 字 符 编 码 导 致 的 。 W i n d o w s 剪 贴 板 只 支 持 U T F - 8 编 码 ， 也 就 是 说 你 传 入 的 文 本 都 会 被 U T F - 8 编 解 码 。 这 样 一 来 ， 只 要 两 个 程 序 都 是 调 用 W i n d o w s 剪 切 板 A P I 编 程 的 话 ， 那 么 复 制 粘 贴 的 过 程 中 不 会 出 现 乱 码 。 除 非 一 方 在 获 取 到 剪 贴 板 数 据 之 后 使 用 了 错 误 的 字 符 编 码 进 行 解 码 ， 才 会 得 到 乱 码 （ 我 做 了 简 单 的 W i n F o r m 剪 切 板 编 程 实 验 ， 发 现 G e t D a t a 使 用 的 是 系 统 默 认 编 码 ， 而 不 是 U T F - 8 编 码 ） 。 关 于 乱 码 中 出 现 ? 或 者 ? ， 这 里 需 要 额 外 提 一 下 ， 当 程 序 使 用 特 定 字 符 编 码 解 析 字 节 流 的 时 候 ， 一 旦 遇 到 无 法 解 析 的 字 节 流 时 ， 就 会 用 当 程 序 使 用 特 定 字 符 编 码 解 析 字 节 流 的 时 候 ， 一 旦 遇 到 无 法 解 析 的 字 节 流 时 ， 就 会 用 或 者 或 者 ? 来 替 代 。 因 此 ， 一 旦 你 最 终 解 析 得 到 的 文 本 包 含 这 样 的 字 符 ， 而 你 又 无 法 得 到 原 始 字 节 流 的 时 候 ， 说 明 正 确 的 信 息 已 来 替 代 。 因 此 ， 一 旦 你 最 终 解 析 得 到 的 文 本 包 含 这 样 的 字 符 ， 而 你 又 无 法 得 到 原 始 字 节 流 的 时 候 ， 说 明 正 确 的 信 息 已 经 彻 底 丢 失 了 ， 尝 试 任 何 字 符 编 码 都 无 法 从 这 样 的 字 符 文 本 中 还 原 出 正 确 的 信 息 来 经 彻 底 丢 失 了 ， 尝 试 任 何 字 符 编 码 都 无 法 从 这 样 的 字 符 文 本 中 还 原 出 正 确 的 信 息 来 。 必 要 的 术 语 解 释 字 符 集 （ 字 符 集 （ C h a r a c t e r   S e t ） ） ， 字 面 上 的 理 解 就 是 字 符 的 集 合 ， 例 如 A S C I I 字 符 集 ， 定 义 了 1 2 8 个 字 符 ； G B 2 3 1 2 定 义 了 7 4 4 5 个 字 符 。 而 计 算 机 系 计 算 机 系 统 中 提 到 的 字 符 集 准 确 来 说 ， 指 的 是 已 编 号 的 字 符 的 有 序 集 合 （ 不 一 定 是 连 续 ） 统 中 提 到 的 字 符 集 准 确 来 说 ， 指 的 是 已 编 号 的 字 符 的 有 序 集 合 （ 不 一 定 是 连 续 ） 。 字 符 码 （ 字 符 码 （ C o d e   P o i n t ） ） 指 的 就 是 字 符 集 中 每 个 字 符 的 数 字 编 号 。 例 如 A S C I I 字 符 集 用 0 - 1 2 7 这 连 续 的 1 2 8 个 数 字 分 别 表 示 1 2 8 个 字 符 ； G B K 字 符
集 使 用 区 位 码 的 方 式 为 每 个 字 符 编 号 ， 首 先 定 义 一 个 9 4 X 9 4 的 矩 阵 ， 行 称 为 “ 区 ” ， 列 称 为 “ 位 ” ， 然 后 将 所 有 国 标 汉 字 放 入 矩 阵 当 中 ， 这 样 每 个 汉 字 就 可 以 用 唯 一 的 “ 区 位 ” 码 来 标 识 了 。 例 如 “ 中 ” 字 被 放 到 5 4 区 第 4 8 位 ， 因 此 字 符 码 就 是 5 4 4 8 。 而 U n i c o d e 中 将 字 符 集 按 照 一 定 的 类 别 划 分 到 0 ~ 1 6 这 1 7 个 层 面 （ P l a n e s ） 中 ， 每 个 层 面 中 拥 有 2 1 6 = 6 5 5 3 6 个 字 符 码 ， 因 此 U n i c o d e 总 共 拥 有 的 字 符 码 ， 也 即 是 U n i c o d e 的 字 符 空 间 总 共 有 1 7 * 6 5 5 3 6 = 1 1 1 4 1 1 2 。 编 码 编 码 的 过 程 是 将 字 符 转 换 成 字 节 流 。 解 码 解 码 的 过 程 是 将 字 节 流 解 析 为 字 符 。 字 符 编 码 （ 字 符 编 码 （ C h a r a c t e r   E n c o d i n g ） ） 是 将 字 符 集 中 的 字 符 码 映 射 为 字 节 流 的 一 种 具 体 实 现 方 案 。 例 如 A S C I I 字 符 编 码 规 定 使 用 单 字 节 中 低 位 的 7 个 比 特 去 编 码 所 有 的 字 符 。 例 如 ‘ A ’ 的 编 号 是 6 5 ， 用 单 字 节 表 示 就 是 0 x 4 1 ， 因 此 写 入 存 储 设 备 的 时 候 就 是 b ’ 0 1 0 0 0 0 0 1 ’ 。 G B K 编 码 则 是 将 区 位 码 （ G B K 的 字 符 码 ） 中 的 区 码 和 位 码 的 分 别 加 上 0 x A 0 （ 1 6 0 ） 的 偏 移 （ 之 所 以 要 加 上 这 样 的 偏 移 ， 主 要 是 为 了 和 A S C I I 码 兼 容 ） ， 例 如 刚 刚 提 到 的 “ 中 ” 字 ， 区 位 码 是 5 4 4 8 ， 十 六 进 制 是 0 x 3 6 3 0 ， 区 码 和 位 码 分 别 加 上 0 x A 0 的 偏 移 之 后 就 得 到 0 x D 6 D 0 ， 这 就 是 “ 中 ” 字 的 G B K 编 码 结 果 。 代 码 页 （ 代 码 页 （ C o d e   P a g e ） ） 一 种 字 符 编 码 具 体 形 式 。 早 期 字 符 相 对 少 ， 因 此 通 常 会 使 用 类 似 表 格 的 形 式 将 字 符 直 接 映 射 为 字 节 流 ， 然 后 通 过 查 表 的 方 式 来 实 现 字 符 的 编 解 码 。 现 代 操 作 系 统 沿 用 了 这 种 方 式 。 例 如 W i n d o w s 使 用 9 3 6 代 码 页 、 M a c 系 统 使 用 E U C - C N 代 码 页 实 现 G B K 字 符 集 的 编 码 ， 名 字 虽 然 不 一 样 ， 但 对 于 同 一 汉 字 的 编 码 肯 定 是 一 样 的 。 大 小 端 大 小 端 的 说 法 源 自 《 格 列 佛 游 记 》 。 我 们 知 道 ， 鸡 蛋 通 常 一 端 大 一 端 小 ， 小 人 国 的 人 们 对 于 剥 蛋 壳 时 应 从 哪 一 端 开 始 剥 起 有 着 不 一 样 的 看 法 。 同 样 ， 计 算 机 界 对 于 传 输 多 字 节 字 （ 由 多 个 字 节 来 共 同 表 示 一 个 数 据 类 型 ） 时 ， 是 先 传 高 位 字 节 （ 大 端 ） 还 是 先 传 低 位 字 节 （ 小 端 ） 也 有 着 不 一 样 的 看 法 ， 这 就 是 计 算 机 里 头 大 小 端 模 式 的 由 来 了 。 无 论 是 写 文 件 还 是 网 络 传 输 ， 实 际 上 都 是 往 流 设 备 进 行 写 操 作 的 过 程 ， 而 且 这 个 写 操 作 是 从 流 的 低 地 址 向 高 地 址 开 始 写 （ 这 很 符 合 人 的 习 惯 ） ， 对 于 多 字 节 字 来 说 ， 如 果 先 写 入 高 位 字 节 ， 则 称 作 大 端 模 式 。 反 之 则 称 作 小 端 模 式 。 也 就 是 说 ， 大 端 模 式 下 ， 字 节 序 和 流 设 备 的 地 址 顺 序 是 相 反 的 ， 而 小 端 模 式 则 是 相 同 的 。 一 般 网 络 协 议 都 采 用 大 端 模 式 进 行 传 输 ， w i n d o w s 操 作 系 统 采 用 U t f - 1 6 小 端 模 式 。 — — K e v i n   Y a n g 参 考 链 接 ： T h e   A b s o l u t e   M i n i m u m   E v e r y   S o f t w a r e   D e v e l o p e r   A b s o l u t e l y ,   P o s i t i v e l y   M u s t   K n o w   A b o u t   U n i c o d e   a n d   C h a r a c t e r   S e t s   ( N o   E x c u s e s ! ) h t t p : / / d e v e l o p e r s . s u n . c o m / d e v / g a d c / t e c h n i c a l p u b l i c a t i o n s / a r t i c l e s / g b 1 8 0 3 0 . h t m l h t t p : / / e n . w i k i p e d i a . o r g / w i k i / U n i v e r s a l _ C h a r a c t e r _ S e t h t t p : / / e n . w i k i p e d i a . o r g / w i k i / C o d e _ p a g e
阅 读 原 文
回复

举报

高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

使用Markdown编辑器编辑 使用富文本编辑器编辑

Archiver| 手机版| 小黑屋|
Powered by Discuz! X3.4 Copyright © 2001-2020, Tencent Cloud. 商业源码建议获取授权，如侵犯您的权益，请联系客服处理