一、背景

爬取数据过程中，会遇到一些特殊的字符入库出错的问题，比如二进制数据、比如特殊文字（类似QQ表情）等。

Siberian Husky fighting

这样的标题，后面就带有一个表情。

在mysql存储的时候，报错信息如下：

[Failure instance: Traceback: <class 'pymysql.err.InternalError'>: (1366, "Incorrect string value: '\\xF0\\x9F\\x90\\xB6' for column 'title' at row 1")

大致意思是指title这个字段无法存储这种字符。

解决办法

经过网上搜索mysql 1366，多方查看后，终于找到了原因和解决的办法。

是因为\xF0\x9F\x90\xB6 它通常是4个字符存储，而mysql的utf8默认是3个字符存储。

1、更改代码中数据库连接的字符编码charset为utf8mb4

MYSQL_CHARSET = 'utf8mb4'

2、将数据库字符集编码页改成utf8mb4。

3、检查数据表的字符编码，保持同步。

4、最后确认数据表中的字段，存储这种特殊文字的字段字符编码也是utf8mb4

输入图片说明

这样就解决了这个问题。

如果你没有小心处理好，可以尝试新建一个数据库，然后将默认的字符编码设置为utf8mb4.

解决mysql存储特殊文字(表情符号)utf8mb4相关推荐

mysql 表情符号_解决mysql存储特殊文字(表情符号)utf8mb4
一.背景爬取数据过程中,会遇到一些特殊的字符入库出错的问题,比如二进制数据.比如特殊文字(类似QQ表情)等. Siberian Husky fighting
php mysql存储中文为空_PHP如何解决MySQL存储数据中文乱码
PHP如何解决MySQL存储数据中文乱码?本文主要介绍了PHP+MySQL存储数据常见中文乱码问题,针对php+mysql常见的中文乱码问题予以总结分析,并给出了解决方法供大家参考.需要的朋友可以参考 ...
mysql存储新闻文字图片的字段类型
mysql存储新闻文字图片的字段类型,使用text类型. mysql中text是大字段类型对应oracle中应该是clob(处理大长度的字符串),varchar类型对应varchar2.
解决mysql存储emoji表情唯一索引报错问题
问题发现: 1.正常上班的一天,突然间有运营同事反馈,我们在添加数据的时候,发现添加了
mysql存储微信特殊字符_mysql保存微信昵称特殊字符--utf8mb4编码踩坑
最近用datax做两个数据库之间的数据同步,由于两个数据库位于两台服务器上,一个数据库是生产库,一个数据库是本地库.本地库编码格式设置为utf8mb4,但做同步时微信名还是出现了乱码 Incorrec ...
mysql 存储表情符号
Mysql 5.7.26 1.编辑配置文件 sudo vim /etc/mysql/mysql.conf.d/mysqld.cnf 加入下面标红加粗部分. [client] default-chara ...
mysql过滤乱码_FaceBook专家：10分钟彻底解决MySQL乱码问题?
目录 Part 1 字符集和字符编码 · 什么是字符集 · 什么是字符编码 · UTF-8和Unicode的关系 · UTF-8编码简介 · 为什么会出现乱码 · 如何识别乱码的本来想要表达的文字 · ...
php mysql存中文,PHP+MySQL存储数据常见中文乱码问题小结
PHP+MySQL存储数据常见中文乱码问题小结本文实例总结了PHP+MySQL存储数据常见中文乱码问题.分享给大家供大家参考,具体如下: PHP+MySQL出现中文乱码的常见原因: 1. MYSQL ...
MySQL高级-MySQL存储引擎
MySQL存储引擎 1.MySQL体系结构 2. 存储引擎 2.1 存储引擎概述 2.2 各种存储引擎特性 2.2.1 InnoDB 2.2.2 MyISAM 2.2.3 MEMORY 2.2.4 M ...

解决mysql存储特殊文字(表情符号)utf8mb4

一、背景

解决办法

解决mysql存储特殊文字(表情符号)utf8mb4相关推荐

最新文章

热门文章