MySQL 字符编码集中有两套 UTF-8 编码实现:utf8utf8mb4

如果使用 utf8 的话,存储 emoji 符号和一些比较复杂的汉字、繁体字就会出错。

为什么会这样呢?这篇文章可以从源头给你解答。

何为字符集?

字符是各种文字和符号的统称,包括各个国家文字、标点符号、表情、数字等等。字符集 就是一系列字符的集合。字符集的种类较多,每个字符集可以表示的字符范围通常不同,就比如说有些字符集是无法表示汉字的。

计算机只能存储二进制的数据,那英文、汉字、表情等字符应该如何存储呢?

我们要将这些字符和二级制的数据一一对应起来,比如说字符“a”对应“01100001”,反之,“01100001”对应 “a”。我们将字符对应二进制数据的过程称为"字符编码",反之,二进制数据解析成字符的过程称为“字符解码”。

有哪些常见的字符集?

常见的字符集有 ASCII、GB2312、GBK、UTF-8…。

不同的字符集的主要区别在于:

  • 可以表示的字符范围
  • 编码方式

ASCII

ASCII (American Standard Code for Information Interchange,美国信息交换标准代码) 是一套主要用于现代美国英语的字符集(这也是 ASCII 字符集的局限性所在)。

为什么 ASCII 字符集没有考虑到中文等其他字符呢? 因为计算机是美国人发明的,当时,计算机的发展还处于比较雏形的时代,还未在其他国家大规模使用。因此,美国发布 ASCII 字符集的时候没有考虑兼容其他国家的语言。

ASCII 字符集至今为止共定义了 128 个字符,其中有 33 个控制字符(比如回车、删除)无法显示。

一个 ASCII 码长度是一个字节也就是 8 个 bit,比如“a”对应的 ASCII 码是“01100001”。不过,最高位是 0 仅仅作为校验位,其余 7 位使用 0 和 1 进行组合,所以,ASCII 字符集可以定义 128(2^7)个字符。

由于,ASCII 码可以表示的字符实在是太少了。后来,人们对其进行了扩展得到了 ASCII 扩展字符集 。ASCII 扩展字符集使用 8 位(bits)表示一个字符,所以,ASCII 扩展字符集可以定义 256(2^8)个字符。

ASCII字符编码

GB2312

我们上面说了,ASCII 字符集是一种现代美国英语适用的字符集。因此,很多国家都捣鼓了一个适合自己国家语言的字符集。

GB2312 字符集是一种对汉字比较友好的字符集,共收录 6700 多个汉字,基本涵盖了绝大部分常用汉字。不过,GB2312 字符集不支持绝大部分的生僻字和繁体字。

对于英语字符,GB2312 编码和 ASCII 码是相同的,1 字节编码即可。对于非英字符,需要 2 字节编码。

GBK

GBK 字符集可以看作是 GB2312 字符集的扩展,兼容 GB2312 字符集,共收录了 20000 多个汉字。

GBK 中 K 是汉语拼音 Kuo Zhan(扩展)中的“Kuo”的首字母。

GB18030

GB18030 完全兼容 GB2312 和 GBK 字符集,纳入中国国内少数民族的文字,且收录了日韩汉字,是目前为止最全面的汉字字符集,共收录汉字 70000 多个。

BIG5

BIG5 主要针对的是繁体中文,收录了 13000 多个汉字。

Unicode & UTF-8 编码

为了更加适合本国语言,诞生了很多种字符集。

我们上面也说了不同的字符集可以表示的字符范围以及编码规则存在差异。这就导致了一个非常严重的问题:使用错误的编码方式查看一个包含字符的文件就会产生乱码现象。

就比如说你使用 UTF-8 编码方式打开 GB2312 编码格式的文件就会出现乱码。示例:“牛”这个汉字 GB2312 编码后的十六进制数值为 “C5A3”,而 “C5A3” 用 UTF-8 解码之后得到的却是 “”。

你可以通过这个网站在线进行编码和解码:https://www.haomeili.net/HanZi/ZiFuBianMaZhuanHuan

这样我们就搞懂了乱码的本质:编码和解码时用了不同或者不兼容的字符集

为了解决这个问题,人们就想:“如果我们能够有一种字符集将世界上所有的字符都纳入其中就好了!”。

然后,Unicode 带着这个使命诞生了。

Unicode 字符集中包含了世界上几乎所有已知的字符。不过,Unicode 字符集并没有规定如何存储这些字符(也就是如何使用二级制数据表示这些字符)。

然后,就有了 UTF-88-bit Unicode Transformation Format)。类似的还有 UTF-16、 UTF-32。

UTF-8 使用 1 到 4 个字节为每个字符编码, UTF-16 使用 2 或 4 个字节为每个字符编码,UTF-32 固定位 4 个字节为每个字符编码。

UTF-8 可以根据不同的符号自动选择编码的长短,像英文字符只需要 1 个字节就够了,这一点 ASCII 字符集一样 。因此,对于英语字符,UTF-8 编码和 ASCII 码是相同的。

UTF-32 的规则最简单,不过缺陷也比较明显,对于英文字母这类字符消耗的空间是 UTF-8 的 4 倍之多。

UTF-8 是目前使用最广的一种字符编码,。

MySQL 字符集

MySQL 支持很多种字符编码的方式,比如 UTF-8、GB2312、GBK、BIG5。

你可以通过 SHOW CHARSET 命令来查看。

通常情况下,我们建议使用 UTF-8 作为默认的字符编码方式。

不过,这里有一个小坑。

MySQL 字符编码集中有两套 UTF-8 编码实现:

  • utf8 :utf8编码只支持1-3个字节 。在 utf8 编码中,中文是占 3 个字节,其他数字、英文、符号占一个字节。但 emoji 符号占 4 个字节,一些较复杂的文字、繁体字也是 4 个字节。
  • utf8mb4 :UTF-8 的完整实现,正版!最多支持使用 4 个字节表示字符,因此,可以用来存储 emoji 符号。

为什么有两套 UTF-8 编码实现呢? 原因如下:

因此,如果你需要存储emoji类型的数据或者一些比较复杂的文字、繁体字到 MySQL 数据库的话,数据库的编码一定要指定为utf8mb4 而不是utf8,要不然存储的时候就会报错了。

演示一下吧!(环境:MySQL 5.7+)

建表语句如下,我们指定数据库 CHARSET 为 utf8 。

CREATE TABLE `user` (  `id` varchar(66) CHARACTER SET utf8mb4 NOT NULL, `name` varchar(33) CHARACTER SET utf8mb4 NOT NULL,  `phone` varchar(33) CHARACTER SET utf8mb4 DEFAULT NULL,  `password` varchar(100) CHARACTER SET utf8mb4 DEFAULT NULL) ENGINE=InnoDB DEFAULT CHARSET=utf8;

当我们执行下面的 insert 语句插入数据到数据库时,果然报错!

INSERT INTO `user` (`id`, `name`, `phone`,`password`)VALUES ('A00003', 'guide哥', '181631312312', '123456');

报错信息如下:

Incorrect string value: '\xF0\x9F\x98\x98\xF0\x9F...' for column 'name' at row 1

为什么不建议在MySQL中使用 utf8?相关推荐

  1. 为什么不建议在 MySQL 中使用 UTF-8?

    点击上方"方志朋",选择"设为星标" 回复"666"获取新整理的面试文章 _陈哈哈|https://sourl.cn/kKbzpH 记得去年 ...

  2. mysql 2003报错_为什么不建议在 MySQL 中使用 UTF-8?

    正文 记得去年我在往MySQL存入emoji表情 时,一直出错,无法导入.后来找到办法 -- 通过把 utf8 改成 utf8mb4 就可以了,并没有深究. 一年后,我看到一篇文章讲到emoji文字占 ...

  3. 为什么不建议在MySQL中使用 utf8 ?

    往期热门文章: 1.编写Spring MVC控制器的14个技巧!涨知识了! 2.日志打印的15个建议!血泪啊! 3.List中remove()方法的陷阱,被坑惨了! 4.Facebook 全球宕机 6 ...

  4. mysql 书籍 知乎_知乎面试官:为什么不建议在 MySQL 中使用 UTF-8?

    INSERTINTO`csjdemo`. `student`( `ID`, `NAME`, `SEX`, `AGE`, `CLASS`, `GRADE`, `HOBBY`) VALUES( '20', ...

  5. 求求你,别在 MySQL 中使用 UTF-8了!

    点击上方蓝色"方志朋",选择"设为星标" 回复"666"获取独家整理的学习资料! 来源:blog.csdn.net/qq_39390545/ ...

  6. 永远不要在 MySQL 中使用 UTF-8

    转载自  永远不要在 MySQL 中使用 UTF-8 最近我遇到了一个 bug,我试着通过 Rails 在以"utf8"编码的 MariaDB 中保存一个 UTF-8 字符串,然后 ...

  7. 记住:永远不要在MySQL中使用“utf8”,请使用“utf8mb4” 程序员

    记住:永远不要在MySQL中使用"utf8",请使用"utf8mb4" 最近我遇到了一个bug,我试着通过Rails在以"utf8"编码的M ...

  8. 编码速度非常慢_有BUG?MySQL中的 utf8 居然并不是真正的UTF-8编码?

    记得去年我在往MySQL存入emoji表情 时,一直出错,无法导入.后来找到办法 -- 通过把utf8改成utf8mb4就可以了,并没有深究. 一年后,我看到一篇文章讲到emoji文字占4个字节,通常 ...

  9. 求求你,别在MySQL中使用UTF-8了!

    点击上方"码农突围",马上关注 这里是码农充电第一站,回复"666",获取一份专属大礼包 真爱,请设置"星标"或点个"在看&quo ...

最新文章

  1. 存在于实数域的微观粒子6-放射性衰变与分类准确率
  2. CentOS6.4之图解SSH无验证双向登陆配置
  3. Two.js – 为现代浏览器而生的 2D 绘图 API
  4. python查看pypi第三方库可安装的全部版本
  5. C Traps:运算
  6. Unicode - 16 位统一超级字符集
  7. C# 面向对象初级 (参考传智播客视频)
  8. 管道泄漏监测系统分布式光纤测温技术方案
  9. n的约数(数论+DFS)
  10. SCC(五):ACT
  11. 小程序 获取今天日期 星期几 不墨迹就是快
  12. mysql 小_mysql小脚本
  13. Unity之对模型材质球进行处理
  14. DSPE-PEG-LTLRWVGLMS(二硬脂酰基磷脂酰乙醇胺-聚乙二醇-肿瘤靶向蛋白);神经胶质瘤归巢肽
  15. 普渡大学统计与计算机科学,普渡大学西拉法叶校区计算机科学与工程世界排名2017年最新排名第47(ARWU世界排名)...
  16. c语言按键事件判断函数kbhit和按键获取函数getch
  17. Python字符串编码检测
  18. Java学习笔记----File类与IO流
  19. 输入一行字符,统计其中有多少个单词,单词间用空格分隔(C语言)
  20. 双系统如何重装windows系统

热门文章

  1. 理解 Android Battery 信息
  2. 1968. 奶牛赛跑
  3. RISC-V 指令格式
  4. 50道HIVE练习题-搞定了这50题hive sql,那可不嘚直接通关起飞!!!
  5. js美化alert()弹出框
  6. 电路课组(一)电路原理 Part 0 电路仿真(1)Multisim基本功能
  7. 谷歌上面滚动条有时候不管用_可以用的谷歌图片搜图软件
  8. 花生壳绑定域名和动态ip访问本机服务。
  9. Linux作业 实现一个特殊的备份工具bak
  10. DNS劫持是什么意思?百度dns有什么坏处?DNS被劫持会造成哪些后果?