搜索

[23682] 2015-03-11_十分钟搞清字符集和字符编码

文档创建者：s7ckTeam
浏览次数：4
最后更新：2025-01-18
2015-03-11_十分钟搞清字符集和字符编码 十 分 钟 搞 清 字 符 集 和 字 符 编 码 L i n u x 中 国   2 0 1 5 - 0 3 - 1 1 本 文 将 简 述 字 符 集 ， 字 符 编 码 的 概 念 。 以 及 在 遭 遇 乱 码 时 的 一 些 常 用 诊 断 技 巧 背 景 ： 字 符 集 和 编 码 无 疑 是 I T 菜 鸟 甚 至 是 各 种 大 神 的 头 痛 问 题 。 当 遇 到 纷 繁 复 杂 的 字 符 集 ， 各 种 火 星 文 和 乱 码 时 ， 问 题 的 定 位 往 往 变 得 非 常 困 难 。 本 文 就 将 会 从 原 理 方 面 对 字 符 集 和 编 码 做 个 简 单 的 科 普 介 绍 ， 同 时 也 会 介 绍 一 些 通 用 的 乱 码 故 障 定 位 的 方 法 以 方 便 读 者 以 后 能 够 更 从 容 的 定 位 相 关 问 题 。 在 正 式 介 绍 之 前 ， 先 做 个 小 申 明 ： 如 果 你 希 望 非 常 精 确 的 理 解 各 个 名 词 的 解 释 ， 那 么 可 以 查 阅 w i k i p e d i a 。 本 文 是 博 主 通 过 自 己 理 解 消 化 后 并 转 化 成 易 懂 浅 显 的 表 述 后 的 介 绍 。 什 么 是 字 符 集 在 介 绍 字 符 集 之 前 ， 我 们 先 了 解 下 为 什 么 要 有 字 符 集 。 我 们 在 计 算 机 屏 幕 上 看 到 的 是 实 体 化 的 文 字 ， 而 在 计 算 机 存 储 介 质 中 存 放 的 实 际 是 二 进 制 的 比 特 流 。 那 么 在 这 两 者 之 间 的 转 换 规 则 就 需 要 一 个 统 一 的 标 准 ， 否 则 把 我 们 的 U 盘 插 到 老 板 的 电 脑 上 ， 文 档 就 乱 码 了 ； 小 伙 伴 Q Q 上 传 过 来 的 文 件 ， 在 我 们 本 地 打 开 又 乱 码 了 。 于 是 为 了 实 现 转 换 标 准 ， 各 种 字 符 集 标 准 就 出 现 了 。 简 单 的 说 字 符 集 就 规 定 了 某 个 文 字 对 应 的 二 进 制 数 字 存 放 方 式 （ 编 码 ） 和 某 串 二 进 制 数 值 代 表 了 哪 个 文 字 （ 解 码 ） 的 转 换 关 系 。 那 么 为 什 么 会 有 那 么 多 字 符 集 标 准 呢 ？ 这 个 问 题 实 际 非 常 容 易 回 答 。 问 问 自 己 为 什 么 我 们 的 插 头 拿 到 英 国 就 不 能 用 了 呢 ？ 为 什 么 显 示 器 同 时 有 D V I ， V G A ， H D M I ， D P 这 么 多 接 口 呢 ？ 很 多 规 范 和 标 准 在 最 初 制 定 时 并 不 会 意 识 到 这 将 会 是 以 后 全 球 普 适 的 准 则 ， 或 者 处 于 组 织 本 身 利 益 就 想 从 本 质 上 区 别 于 现 有 标 准 。 于 是 ， 就 产 生 了 那 么 多 具 有 相 同 效 果 但 又 不 相 互 兼 容 的 标 准 了 。
原 文 ： h t t p : / / c e n a l u l u . g i t h u b . i o / l i n u x / c h a r a c t e r - e n c o d i n g / 作 者 ：   卢 钧 轶 说 了 那 么 多 我 们 来 看 一 个 实 际 例 子 ， 下 面 就 是 屌 这 个 字 在 各 种 编 码 下 的 十 六 进 制 和 二 进 制 编 码 结 果 ， 怎 么 样 有 没 有 一 种 很 屌 的 感 觉 ？ 字 符 集 1 6 进 制 编 码 对 应 的 二 进 制 数 据 U T F - 8 0 x E 5 B 1 8 C 1 1 1 0   0 1 0 1   1 0 1 1   0 0 0 1   1 0 0 0   1 1 0 0 U T F - 1 6 0 x 5 C 4 C 1 0 1 1   1 0 0 0   1 0 0 1   1 0 0 0 G B K 0 x 8 C C 5 1 0 0 0   1 1 0 0   1 1 0 0   0 1 0 1 什 么 是 字 符 编 码 字 符 集 只 是 一 个 规 则 集 合 的 名 字 ， 对 应 到 真 实 生 活 中 ， 字 符 集 就 是 对 某 种 语 言 的 称 呼 。 例 如 ： 英 语 ， 汉 语 ， 日 语 。 对 于 一 个 字 符 集 来 说 要 正 确 编 码 转 码 一 个 字 符 需 要 三 个 关 键 元 素 ： 字 库 表 （ c h a r a c t e r   r e p e r t o i r e ） 、 编 码 字 符 集 （ c o d e d   c h a r a c t e r   s e t ） 、 字 符 编 码 （ c h a r a c t e r   e n c o d i n g f o r m ） 。 其 中 字 库 表 是 一 个 相 当 于 所 有 可 读 或 者 可 显 示 字 符 的 数 据 库 ， 字 库 表 决 定 了 整 个 字 符 集 能 够 展 现 表 示 的 所 有 字 符 的 范 围 。 编 码 字 符 集 ， 即 用 一 个 编 码 值 c o d e   p o i n t 来 表 示 一 个 字 符 在 字 库 中 的 位 置 。 字 符 编 码 ， 将 编 码 字 符 集 和 实 际 存 储 数 值 之 间 的 转 换 关 系 。 一 般 来 说 都 会 直 接 将 c o d e   p o i n t 的 值 作 为 编 码 后 的 值 直 接 存 储 。 例 如 在 A S C I I 中 A 在 表 中 排 第 6 5 位 ， 而 编 码 后 A 的 数 值 是 0 1 0 0   0 0 0 1 也 即 十 进 制 的 6 5 的 二 进 制 转 换 结 果 。 看 到 这 里 ， 可 能 很 多 读 者 都 会 有 和 我 当 初 一 样 的 疑 问 ： 字 库 表 和 编 码 字 符 集 看 来 是 必 不 可 少 的 ， 那 既 然 字 库 表 中 的 每 一 个 字 符 都 有 一 个 自 己 的 序 号 ， 直 接 把 序 号 作 为 存 储 内 容 就 好 了 。 为 什 么 还 要 多 此 一 举 通 过 字 符 编 码 把 序 号 转 换 成 另 外 一 种 存 储 格 式 呢 ？ 其 实 原 因 也 比 较 容 易 理 解 ： 统 一 字 库 表 的 目 的 是 为 了 能 够 涵 盖 世 界 上 所 有 的 字 符 ， 但 实 际 使 用 过 程 中 会 发 现 真 正 用 的 上 的 字 符 相 对 整 个 字 库 表 来 说 比 例 非 常 低 。 例 如 中 文 地 区 的 程 序 几 乎 不 会 需 要 日 语 字 符 ， 而 一 些 英 语 国 家 甚 至 简 单 的 A S C I I 字 库 表 就 能 满 足 基 本 需 求 。 而 如 果 把 每 个 字 符 都 用 字 库 表 中 的 序 号 来 存 储 的 话 ， 每 个 字 符 就 需 要 3 个 字 节 （ 这 里 以 U n i c o d e 字 库 为 例 ） ， 这 样 对 于 原 本 用 仅 占 一 个 字 符 的 A S C I I 编 码 的 英 语 地 区 国 家 显 然 是 一 个 额 外 成 本 （ 存 储 体 积 是 原 来 的 三 倍 ） 。 算 的 直 接 一 些 ， 同 样 一 块 硬 盘 ， 用 A S C I I 可 以 存 1 5 0 0 篇 文 章 ， 而 用 3 字 节 U n i c o d e 序 号 存 储 只 能 存 5 0 0 篇 。 于 是 就 出 现 了 U T F - 8 这 样 的 变 长 编 码 。 在 U T F - 8 编 码 中 原 本 只 需 要 一 个 字 节 的 A S C I I 字 符 ， 仍 然 只 占 一 个 字 节 。 而 像 中 文 及 日 语 这 样 的 复 杂 字 符 就 需 要 2 个 到 3 个 字 节 来 存 储 。 U T F - 8 和 U n i c o d e 的 关 系 看 完 上 面 两 个 概 念 解 释 ， 那 么 解 释 U T F - 8 和 U n i c o d e 的 关 系 就 比 较 简 单 了 。 U n i c o d e 就 是 上 文 中 提 到 的 编 码 字 符 集 ， 而 U T F - 8 就 是 字 符 编 码 ， 即 U n i c o d e 规 则 字 库 的 一 种 实 现 形 式 。 随 着 互 联 网 的 发 展 ， 对 同 一 字 库 集 的 要 求 越 来 越 迫 切 ， U n i c o d e 标 准 也 就 自 然 而 然 的 出 现 。 它 几 乎 涵 盖 了 各 个 国 家 语 言 可 能 出 现 的 符 号 和 文 字 ， 并 将 为 他 们 编 号 。 详 见 ： U n i c o d e   o n   W i k i p e d i a 。 U n i c o d e 的 编 号 从 0 0 0 0 开 始 一 直 到 1 0 F F F F 共 分 为 1 6 个 P l a n e ， 每 个 P l a n e 中 有 6 5 5 3 6 个 字 符 。 而 U T F - 8 则 只 实 现 了 第 一 个 P l a n e ， 可 见 U T F - 8 虽 然 是 一 个 当 今 接 受 度 最 广 的 字 符 集 编 码 ， 但 是 它 并 没 有 涵 盖 整 个 U n i c o d e 的 字 库 ， 这 也 造 成 了 它 在 某 些 场 景 下 对 于 特 殊 字 符 的 处 理 困 难 （ 下 文 会 有 提 到 ） 。 阅 读 原 文

回复

举报

高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

使用Markdown编辑器编辑 使用富文本编辑器编辑

Archiver| 手机版| 小黑屋|
Powered by Discuz! X3.4 Copyright © 2001-2020, Tencent Cloud. 商业源码建议获取授权，如侵犯您的权益，请联系客服处理