搜索

[23688] 2015-03-13_理解和解决MySQL乱码问题

文档创建者：s7ckTeam
浏览次数：0
最后更新：2025-01-18
2015-03-13_理解和解决MySQL乱码问题 理 解 和 解 决   M y S Q L   乱 码 问 题 L i n u x 中 国   2 0 1 5 - 0 3 - 1 3 本 文 将 详 细 介 绍 M y S Q L 乱 码 的 成 因 和 具 体 的 解 决 方 案 在 阅 读 本 文 之 前 ， 强 烈 建 议 对 字 符 集 编 码 概 念 还 比 较 模 糊 的 同 学   阅 读 下 博 主 之 前 对 相 关 概 念 的 一 篇 科 普 ： 十 分 钟 搞 清 字 符 集 和 字 符 编 码 M y S Q L 出 现 乱 码 的 原 因 要 了 解 为 什 么 会 出 现 乱 码 ， 我 们 就 先 要 理 解 ： 从 客 户 端 发 起 请 求 ， 到 M y S Q L 存 储 数 据 ， 再 到 下 次 从 表 取 回 客 户 端 的 过 程 中 ， 哪 些 环 节 会 有 编 码 / 解 码 的 行 为 。 为 了 更 好 的 解 释 这 个 过 程 ， 博 主 制 作 了 两 张 流 程 图 ， 分 别 对 应 存 入 和 取 出 两 个 阶 段 。 存 入 M y S Q L 经 历 的 编 码 转 换 过 程 上 图 中 有 3 次 编 码 / 解 码 的 过 程 （ 红 色 箭 头 ） 。 三 个 红 色 箭 头 分 别 对 应 ： 客 户 端 编 码 ， M y S Q L   S e r v e r 解 码 ， C l i e n t 编 码 向 表 编 码 的 转 换 。 其 中 T e r m i n a l 可 以 是 一 个 B a s h ， 一 个 w e b 页 面 又 或 者 是 一 个 A P P 。 本 文 中 我 们 假 定 B a s h 是 我 们 的 T e r m i n a l ， 即 用 户 端 的 输 入 和 展 示 界 面 。 图 中 每 一
个 框 格 对 应 的 行 为 如 下 ： 在 t e r m i n a l 中 使 用 输 入 法 输 入 t e r m i n a l 根 据 字 符 编 码 转 换 成 二 进 制 流 二 进 制 流 通 过 M y S Q L 客 户 端 传 输 到 M y S Q L   S e r v e r S e r v e r 通 过 c h a r a c t e r - s e t - c l i e n t 解 码 判 断 c h a r a c t e r - s e t - c l i e n t 和 目 标 表 的 c h a r s e t 是 否 一 致 如 果 不 一 致 则 进 行 一 次 从 c l i e n t - c h a r s e t 到 t a b l e - c h a r s e t 的 一 次 字 符 编 码 转 换 将 转 换 后 的 字 符 编 码 二 进 制 流 存 入 文 件 中 从 M y S Q L 表 中 取 出 数 据 经 历 的 编 码 转 换 过 程 上 图 有 3 次 编 码 / 解 码 的 过 程 （ 红 色 箭 头 ） 。 上 图 中 三 个 红 色 箭 头 分 别 对 应 ： 客 户 端 解 码 展 示 ， M y S Q L   S e r v e r 根 据 c h a r a c t e r - s e t - c l i e n t 编 码 ， 表 编 码 向 c h a r a c t e r - s e t - c l i e n t 编 码 的 转 换 。 从 文 件 读 出 二 进 制 数 据 流 用 表 字 符 集 编 码 进 行 解 码 将 数 据 转 换 为 c h a r a c t e r - s e t - c l i e n t 的 编 码 使 用 c h a r a c t e r - s e t - c l i e n t 编 码 为 二 进 制 流 S e r v e r 通 过 网 络 传 输 到 远 端 c l i e n t c l i e n t 通 过 b a s h 配 置 的 字 符 编 码 展 示 查 询 结 果 造 成 M y S Q L 乱 码 的 原 因 1 .   存 入 和 取 出 时 对 应 环 节 的 编 码 不 一 致 这 个 会 造 成 乱 码 是 显 而 易 见 的 。 我 们 把 存 入 阶 段 的 三 次 编 解 码 使 用 的 字 符 集 编 号 为 C 1 , C 2 , C 3 （ 图 一 从 左 到 右 ） ； 取 出 时 的 三 个 字 符 集 依 次 编 号 为 C 1 ’ , C 2 ’ , C 3 ’ （ 从 左 到 右 ） 。 那 么 存 入 的 时 候 b a s h   C 1 用 的 是 U T F - 8 编 码 ， 取 出 的 时 候 , C 1 ' 我 们 却 使 用 了 w i n d o w s 终 端 （ 默 认 是 G B K 编 码 ） ， 那 么 结 果 几 乎 一 定 是 乱 码 。 又 或 者 存 入 M y S Q L 的 时 候 s e t   n a m e s   u t f 8 ( C 2 ) ， 而 取 出 的 时 候 却 使 用 了 s e t   n a m e s   g b k ( C 2 ' ) ， 那 么 结 果 也 必 然 是 乱 码 2 .   单 个 流 程 中 三 步 的 编 码 不 一 致 即 上 面 任 意 一 幅 图 中 的 同 方 向 的 三 步 中 ， 只 要 两 步 或 者 两 部 以 上 的 编 码 有 不 一 致 就 有 可 能 出 现 编 解 码 错 误 。 如 果 差 异 的 两 个 字 符 集 之 间 无 法 进 行 无 损 编 码 转 换 （ 下 文 会 详 细 介 绍 ） ， 那 么 就 一 定 会 出 现 乱 码 。 例 如 ： 我 们 的 s h e l l 是 U T F 8 编 码 ， M y S Q L 的 c h a r a c t e r - s e t - c l i e n t 配 置 成 了 G B K ， 而 表 结 构 却 又 是 c h a r s e t = u t f 8 ， 那 么 毫 无 疑 问 的 一 定 会 出 现 乱 码 。 这 里 我 们 就 简 单 演 示 下 这 种 情 况 ： 1 .   m a s t e r   [ l o c a l h o s t ]   { m s a n d b o x }   ( t e s t )   >   c r e a t e   t a b l e   c h a r s e t _ t e s t _ u t f 8   ( i d   i n t   p r i m a r y   k e y   a u t o _ i n c r e m e n t ,   c h a r _ c o l   v a r c h a r ( 5 0 ) )   c h a r s e t   =   u t f 8 ;
原 文 ： h t t p : / / c e n a l u l u . g i t h u b . i o / m y s q l / m y s q l - m o j i b a k e / 作 者 ：   卢 钧 轶 2 .   Q u e r y   O K ,   0   r o w s   a f f e c t e d   ( 0 . 0 4   s e c ) 3 .     4 .   m a s t e r   [ l o c a l h o s t ]   { m s a n d b o x }   ( t e s t )   >   s e t   n a m e s   g b k ; 5 .   Q u e r y   O K ,   0   r o w s   a f f e c t e d   ( 0 . 0 0   s e c ) 6 .     7 .   m a s t e r   [ l o c a l h o s t ]   { m s a n d b o x }   ( t e s t )   >   i n s e r t   i n t o   c h a r s e t _ t e s t _ u t f 8   ( c h a r _ c o l )   v a l u e s   ( ' 中 文 ' ) ; 8 .   Q u e r y   O K ,   1   r o w   a f f e c t e d ,   1   w a r n i n g   ( 0 . 0 1   s e c ) 9 .     1 0 .   m a s t e r   [ l o c a l h o s t ]   { m s a n d b o x }   ( t e s t )   >   s h o w   w a r n i n g s ; 1 1 .   + - - - - - - - - - + - - - - - - + - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - + 1 2 .   |   L e v e l       |   C o d e   |   M e s s a g e                                                                                                                                       | 1 3 .   + - - - - - - - - - + - - - - - - + - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - + 1 4 .   |   W a r n i n g   |   1 3 6 6   |   I n c o r r e c t   s t r i n g   v a l u e :   ' x A D x E 6 x 9 6 x 8 7 '   f o r   c o l u m n   ' c h a r _ c o l '   a t   r o w   1   | 1 5 .   + - - - - - - - - - + - - - - - - + - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - + 1 6 .   1   r o w   i n   s e t   ( 0 . 0 0   s e c ) 1 7 .     1 8 .   m a s t e r   [ l o c a l h o s t ]   { m s a n d b o x }   ( t e s t )   >   s e l e c t   i d , h e x ( c h a r _ c o l ) , c h a r _ c o l   f r o m   c h a r s e t _ t e s t _ u t f 8 ; 1 9 .   + - - - - + - - - - - - - - - - - - - - - - + - - - - - - - - - - + 2 0 .   |   i d   |   h e x ( c h a r _ c o l )     |   c h a r _ c o l   | 2 1 .   + - - - - + - - - - - - - - - - - - - - - - + - - - - - - - - - - + 2 2 .   |     1   |   E 6 B 6 9 3 3 F E 6 9 E 8 3   |   ?                 | 2 3 .   + - - - - + - - - - - - - - - - - - - - - - + - - - - - - - - - - + 2 4 .   1   r o w   i n   s e t   ( 0 . 0 1   s e c ) 关 于 M y S Q L 的 编 / 解 码 既 然 系 统 之 间 是 按 照 二 进 制 流 进 行 传 输 的 ， 那 直 接 把 这 串 二 进 制 流 直 接 存 入 表 文 件 就 好 啦 。 为 什 么 在 存 储 之 前 还 要 进 行 两 次 编 解 码 的 操 作 呢 ？ C l i e n t   t o   S e r v e r 的 编 解 码 的 原 因 是 M y S Q L 需 要 对 传 来 的 二 进 制 流 做 语 法 和 词 法 解 析 。 如 果 不 做 编 码 解 析 和 校 验 ， 我 们 甚 至 没 法 知 道 传 来 的 一 串 二 进 制 流 是 i n s e r t 还 是 u p d a t e 。 F i l e   t o   E n g i n e 的 编 解 码 是 为 知 道 二 进 制 流 内 的 分 词 情 况 。 举 个 简 单 的 例 子 ： 我 们 想 要 从 表 里 取 出 某 个 字 段 的 前 两 个 字 符 ， 执 行 了 一 句 形 如 s e l e c t   l e f t ( c o l , 2 )   f r o m   t a b l e 的 语 句 ， 存 储 引 擎 从 文 件 读 入 该 c o l u m n 的 值 是 E 4 B 8 A D E 6 9 6 8 7 。 那 么 这 个 时 候 如 果 我 们 按 照 G B K 把 这 个 值 分 割 成 E 4 B 8 , A D E 6 , 9 6 8 7 三 个 字 ， 并 那 么 返 回 客 户 端 的 值 就 应 该 是 E 4 B 8 A D E 6 ； 如 果 按 照 U T F 8 分 割 成 E 4 B 8 A D , E 6 9 6 8 7 ， 那 么 就 应 该 返 回 E 4 B 8 A D E 6 9 6 8 7 两 个 字 。 可 见 ， 如 果 在 从 数 据 文 件 读 入 数 据 后 ， 不 进 行 编 解 码 的 话 在 存 储 引 擎 内 部 是 无 法 进 行 字 符 级 别 的 操 作 的 。
阅 读 原 文
回复

举报

高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

使用Markdown编辑器编辑 使用富文本编辑器编辑

Archiver| 手机版| 小黑屋|
Powered by Discuz! X3.4 Copyright © 2001-2020, Tencent Cloud. 商业源码建议获取授权，如侵犯您的权益，请联系客服处理