mysql emoji表情_mysql utf8mb4与emoji表情
MYSQL 5.5 之前, UTF8 编码只支持1-3个字节,只支持BMP这部分的unicode编码区, BMP是从哪到哪,到http://en.wikipedia.org/wiki/Mapping_of_Unicode_characters这里看,基本就是0000~FFFF这一区。 从MYSQL5.5开始,可支持4个字节UTF编码utf8mb4,一个字符最多能有4字节,所以能支持更多的字符集。
utf8mb4 is a superset of utf8
utf8mb4兼容utf8,且比utf8能表示更多的字符。
至于什么时候用,看你的做什么项目了。。
在做移动应用时,会遇到ios用户会在文本的区域输入emoji表情,如果不做一定处理,就会导致插入数据库异常。
Emoji表情符号兼容方案
一 什么是Emoji
emoji就是表情符号;词义来自日语(えもじ,e-moji,moji在日语中的含义是字符)
表情符号现已普遍应用于手机短信和网络聊天软件。
emoji表情符号,在外国的手机短信里面已经是很流行使用的一种表情。
手机上如何使用emoji:
1.iphone、ipad系统:安装emoji free,再设置-通用-键盘-国际键盘-添加新的键盘,然后把emoji添加在里面即可在发短信和一些输入文本的文本框中输入表情。
IOS 5用户可直接从通用中添加emoji 键盘,无需再安装emoji free
2.android系统:安装“GO输入法国际版”后,在输入法里面点选安装emoji插件可以使用。另外“百度输入法”也自带emoji表情
3.Windows Phone : 安装此 Emoji Keys,在其中输入之后复制粘贴到需要输入表情的地方即可
二 Emoji表情符号问题
1 问题:
IOS版本之间发送的Emoji表情符号不兼容,只看到方块
不同IOS版本在数据库存数据时,有时会发生系统错误
2 现象:
IOS 4 输入Emoji表情符,在IOS5.01 显示正常,在IOS5.1中(大陆版)显现为方块, 但IOS5.01/5.1输入的表情符号,显示正 常
IOS5.01/5.1 输入表情符,在IOS5.01/5.1中显示正常,但在IOS4.X显示为方块
输入Emoji入帖子正文, 可正常存储。 但用户昵称在IOS4.X 输入Emoji,系统正常, 而IOS5.01/5.1则提示系统错误。
3 本质:
iOS 5 and OS X 10.7 (Lion) use the Unicode 6.0 standard ‘unified’ code points for emoji.
iOS 5 Emoji 采用Unicode 6 标准来统一code points
iOS 4 on SoftBank iPhones used a set of unofficial code points in the Unicode Private Use Area, and so aren't compatible with any other systems
iOS 4 采用SoftBank Unicode, 一种非官方的, 采用私有Unicode 区域。
4 举例:
one emoji symbol "tiger", it is "\U0001f42f" in iOS5, but "\ue050" in earlier iOS version
虎脸Emoji符号在iOS5 为Unicode:\U0001f42f;而在IOS4.x 为:\ue050 (SoftBank 编码)
另外: 按理讲, 从iOS5 应该兼容以前版本的emoji, 但现在出现5.01版本完美兼容(无论大陆版,美版,还是港版), 而5.1 大陆版出现了不兼容现象(腾讯微信也出现了同样的问题)。
三 问题分析
1 系统存储错误问题(如昵称,帖子内容)
原因:
由于IOS5.X 采用新的Unicode, 其UTF8 编码大多为4个字节, 而由于昵称/帖子内容column并没设成utf8mb4,因此存储会 发生错误。
解决方法:
将昵称/帖子内容设成utf8mb4
2 不同iOS 之间Emoji 不兼容的问题。
原因:
iOS 5 到4 不兼容的问题,很简单,unicode6 和softbank编码的不同
iOS 4 到 5,按理说应该兼容,也就是说,iOS应该自动判断如果是softbank编码,自动转成unicode6。但现在看来, iOS5.1(大陆版)好像只支持unicode6, 而不支持softbank.
解决方法:
客户端发送emoji-encoding: Softbank或unicode6, 由服务端分别给出相应的编码表。
四 解决方案
1 数据存储(MySQL varchar 数据类型对UTF8 支持问题)
MYSQL 5.5 之前, UTF8 编码只支持1-3个字节, 从MYSQL5.5开始,可支持4个字节UTF编码,但要特殊标记。例如我们的帖子内容项,我们加上了这个支持。服务端mysql统一存储为ios5.x也就是Unicode编码。
对应alter语句:
ALTERTABLEtopicMODIFYCOLUMNcontentvarchar(500)CHARACTERSETutf8mb4COLLATEutf8mb4_unicode_ciDEFAULTNULLCOMMENT'内容';
2 编码转换:
iphone手机方案
客户端输入内容时候,统一存储为unicode编码(这里需要从softbank编码转换为unicode编码)。客户端请求内容的时候,需要根据不同的客户端给出不同的编码,ios4采用softbank编码做替换,ios5采用unicode编码直接支持。
android或wp其他手机方案:
如果没有emoji表情库,将无法输入。针对输入问题,将统一采用unicode编码存储。客户端请求内容的时候,将统一用softbank编码,客户端需要把emoji表情符号内置到客户端,做对应的编码和img替换。
web解决方案:
参考android或wp其他手机方案
五 部分代码
1 sql代码
CREATETABLE`ios_emoji` (
`id` int(11)NOTNULLAUTO_INCREMENT COMMENT'自增ID',
`unicode` varchar(100)CHARACTERSETutf8mb4COLLATEutf8mb4_unicode_ciDEFAULTNULLCOMMENT'Unicode编码',
`utf8` varchar(100)CHARACTERSETutf8mb4COLLATEutf8mb4_unicode_ciDEFAULTNULLCOMMENT'UTF8编码',
`utf16` varchar(100)CHARACTERSETutf8mb4COLLATEutf8mb4_unicode_ciDEFAULTNULLCOMMENT'UTF16编码',
`sbunicode` varchar(100)CHARACTERSETutf8mb4COLLATEutf8mb4_unicode_ciDEFAULTNULLCOMMENT'SBUnicode编码',
`filename` varchar(100)CHARACTERSETutf8mb4COLLATEutf8mb4_unicode_ciDEFAULTNULLCOMMENT'文件名',
`filebyte` longblob COMMENT '文件内容字节',
PRIMARYKEY(`id`)
) ENGINE=InnoDB DEFAULTCHARSET=utf8 ROW_FORMAT=COMPACT COMMENT='ios表情编码表';
2 java代码
importjava.io.UnsupportedEncodingException;
importorg.apache.commons.lang.StringUtils;
publicclassIOSEmojiUtil {
publicstaticString[] ios5emoji ;
publicstaticString[] ios4emoji ;
publicstaticString[] androidnullemoji ;
publicstaticString[] adsbuniemoji;
publicstaticvoidinitios5emoji(String[] i5emj,String[] i4emj,String[] adnullemoji,String[] adsbemoji){
ios5emoji = i5emj;
ios4emoji = i4emj;
androidnullemoji = adnullemoji;
adsbuniemoji = adsbemoji;
}
//在ios上将ios5转换为ios4编码
publicstaticString transToIOS4emoji(String src) {
returnStringUtils.replaceEach(src, ios5emoji, ios4emoji);
}
//在ios上将ios4转换为ios5编码
publicstaticString transToIOS5emoji(String src) {
returnStringUtils.replaceEach(src, ios4emoji, ios5emoji);
}
//在android上将ios5的表情符替换为空
publicstaticString transToAndroidemojiNull(String src) {
returnStringUtils.replaceEach(src, ios5emoji, androidnullemoji);
}
//在android上将ios5的表情符替换为SBUNICODE
publicstaticString transToAndroidemojiSB(String src) {
returnStringUtils.replaceEach(src, ios5emoji, adsbuniemoji);
}
//在android上将SBUNICODE的表情符替换为ios5
publicstaticString transSBToIOS5emoji(String src) {
returnStringUtils.replaceEach(src, adsbuniemoji, ios5emoji);
}
//eg. param: 0xF0 0x9F 0x8F 0x80
publicstaticString hexstr2String(String hexstr)throwsUnsupportedEncodingException{
byte[] b = hexstr2bytes(hexstr);
returnnewString(b,"UTF-8");
}
//eg. param: E018
publicstaticString sbunicode2utfString(String sbhexstr)throwsUnsupportedEncodingException{
byte[] b = sbunicode2utfbytes(sbhexstr);
returnnewString(b,"UTF-8");
}
//eg. param: 0xF0 0x9F 0x8F 0x80
publicstaticbyte[] hexstr2bytes(String hexstr){
String[] hexstrs = hexstr.split(" ");
byte[] b =newbyte[hexstrs.length];
for(inti=0;i
b[i] = hexStringToByte(hexstrs[i].substring(2))[0];
}
returnb;
}
//eg. param: E018
publicstaticbyte[] sbunicode2utfbytes(String sbhexstr)throwsUnsupportedEncodingException{
intinthex = Integer.parseInt(sbhexstr,16);
char[] schar = {(char)inthex};
byte[] b = (newString(schar)).getBytes("UTF-8");
returnb;
}
publicstaticbyte[] hexStringToByte(String hex) {
intlen = (hex.length() /2);
byte[] result =newbyte[len];
char[] achar = hex.toCharArray();
for(inti =0; i
intpos = i *2;
result[i] = (byte) (toByte(achar[pos]) <<4| toByte(achar[pos +1]));
}
returnresult;
}
privatestaticbytetoByte(charc) {
byteb = (byte)"0123456789ABCDEF".indexOf(c);
returnb;
}
publicstaticvoidmain(String[] args)throwsUnsupportedEncodingException {
// TODO Auto-generated method stub
byte[] b1 = {-30,-102,-67};//ios5 //0xE2 0x9A 0xBD
byte[] b2 = {-18,-128,-104};//ios4 //"E018"
//-------------------------------------
byte[] b3 = {-16,-97,-113,-128};//0xF0 0x9F 0x8F 0x80
byte[] b4 = {-18,-112,-86};//E42A
ios5emoji = newString[]{newString(b1,"utf-8"),newString(b3,"utf-8")};
ios4emoji = newString[]{newString(b2,"utf-8"),newString(b4,"utf-8")};
//测试字符串
byte[] testbytes = {105,111,115,-30,-102,-67,32,36,-18,-128,-104,32,36,-16,-97,-113,-128,32,36,-18,-112,-86};
String tmpstr = newString(testbytes,"utf-8");
System.out.println(tmpstr);
//转成ios4的表情
String ios4str = transToIOS5emoji(tmpstr);
byte[] tmp = ios4str.getBytes();
//System.out.print(new String(tmp,"utf-8"));
for(byteb:tmp){
System.out.print(b);
System.out.print(" ");
}
}
}
六 参考资料
1 Emoji 全编码表:(我参考的这个)
http://punchdrunker.github.com/iOSEmoji/table_html/flower.html
2 Emoji全编码表
http://code.iamcal.com/php/emoji/
3 iOS5/4 Emoji 兼容性:
http://stackoverflow.com/questions/7856775/how-to-convert-the-old-emoji-encoding-to-the-latest-encoding-in-ios5
4 MySQL emoji问题
http://dropblood.com/archives/ios-mysql-emoji
5 Emoji 中文对应表
http://www.iapps.im/wp-content/uploads/2012/02/emoji-pinyin.png?r=010
七 下载资源
emoji图片和编码表 http://download.csdn.net/detail/qdkfriend/4309051
包括emoji文件表,emoji数据编码表(Unicode编码,UTF8编码,UTF16编码,SBUnicode编码)
mysql支持utf8mb4升级方案
[http://mathiasbynens.be/notes/mysql-utf8mb4#utf8-to-utf8mb4](
How to support full Unicode in MySQL databases )
mysql emoji表情_mysql utf8mb4与emoji表情相关推荐
- mysql 存储表情_MySQL支持存储emoji表情
项目中,项目之前使用的utf8的编码集,但是项目测试过程中,发现需要支持emoji表情,所以考虑将utf8编码更改为utf8mb4. emoji表情是1个字符占4个字节,而utf8编码只支持1-3个字 ...
- mysql存储emoji表情_MySQL中支持emoji表情的存储
由于需要实现emoji表情评论的功能,所以数据库需要支持emoji表情的存储,根据查询的资料最终实现了该功能,现将实现的过程以及过程遇到的一些问题记录下来,供大家参考和交流. mysql的utf8编码 ...
- mysql存储ios表情_MySQL中支持emoji表情的存储
由于需要实现emoji表情评论的功能,所以数据库需要支持emoji表情的存储,根据查询的资料最终实现了该功能,现将实现的过程以及过程遇到的一些问题记录下来,供大家参考和交流. mysql的utf8编码 ...
- jdbc mysql emoji 读取_mysql+jdbc的emoji异常问题
就是mysq支持emoji编码的问题,我已经按照这篇文章:mysql/Java服务端对emoji的支持所说的办法升级mysql和connector但问题还是没解决,希望高手指点. mysql 版本:5 ...
- mysql 显示表情符号_mysql 支持emoji 表情字符的解决方法。
1.utf8 字符集最多3个字符,而emoji表情字符是unicode大字符集,需要4个字节表示,所以utf8无法表示. mysql要存储emoji字符,需要设成utf8mb4字符集,意思就是utf8 ...
- mysql emoy表情_GitHub - PandaQAQ/PandaEmoView: emoji gif 表情图文混排,仿微信表情输入...
该库具有以下特点: 支持 emoji 表情图片 支持 gif 动态表情输入显示 支持单张贴图表情(与微信收藏表情一致) 支持题图表情库的添加删除 效果图: 快速使用 引入库 compile 'com. ...
- 微信获取nickname mysql乱码_微信nickname乱码(emoji)及mysql编码格式设置(utf8mb4)解决的过程...
本身的练习项目中涉及保存微信的nickname,以前一直正常使用,可是忽然遇到一个以前没有遇到的问题.通过调试发现错误以下: Incorrect string value: '\xF0\x9F\x99 ...
- php 微信emoji输出,页面如何输出Emoji表情字符
Emoji表情符号广泛运用于各种的社交软件上,是非常受欢迎的一种字符,如果用语言文字无法表达你内心的冲动,发一个Emoji表情就好了. 对于web而言如何在页面保存和展现这些字符呢?这可不是件容易的事 ...
- mysql 图标图标_MySQL 支持 emoji 图标存储
在MySLQ中 UPDATA 和 INSERT 数据的时候,如果数据上面带有emoji图标,例如:?.?.? 很容易更新或者插入不成功,导致报错. 都快崩溃了,但是还好终于解决了这种鬼问题.资料显示原 ...
- python表情,python玩转emoji表情
1999年,emoji 正式诞生: 2007年,谷歌向维护不同平台和语言符号文字标椎化的统一码联盟发起提议,希望统一码联盟能出面标准化 emoji: 2009年,emoji 表情被纳入因特网 Unic ...
最新文章
- 【Java_基础】Java中Native关键字的作用
- ie浏览器修复工具_电脑故障修复不求人!50个小工具可帮你一键修复
- 【C 语言】字符串模型 ( 字符串翻转模型 | 抽象成业务函数 | 形参返回值 | 函数返回值 | 函数形参处理 | 形参指针判空 )
- java tf值搜索_搜索引擎优化 TF_IDF之Java实现
- UNIX再学习 -- 可重入函数和 SIGCHLD 语义
- C 线程的使用~(上)
- python 第三方模块之 APScheduler - 定时任务
- Java多线程笔记(一):JMM与基础关键字
- WinForm实现SQLServer存储图片
- tomcat利用setenv对内存的限制和docker中tomcat内存的优雅配置
- 怎么彻底卸载趋势杀毒软件
- 精英网络技术论坛免杀基础
- C++课程设计--人民币大小写转换器(MFC)
- 如何向面试官介绍你的项目(面试技巧)
- Java对接谷歌邮箱-代码及其谷歌邮箱账号配置
- 如何将MAC的文件存储至NAS?
- CMake Error: The current CMakeCache.txt directory is different...
- 凡走过必留下痕迹|2019年个人总结
- 做自媒体视频剪辑为什么赚不到钱?
- 中国鼠标行业销售动态及营销形势分析报告(新版)2022-2027年
热门文章
- Mac的游戏开发配置环境笔记
- 如何搭建一对一直播PHP直播系统源码的流程
- 短视频APP系统源码 直播系统源码
- android微信表情导出来的,微信表情怎么导出 如何批量备份微信表情
- Python Selenium的下载和安装
- 如何通过WebEx Meeting进行远程IT协作?
- 谷歌安装ntko跨浏览器插件_Chrome浏览器不能安装WebEx扩展插件的解决方案
- linux支持hd610显卡吗,HD610和UHD630区别大吗 UHD630对比HD610的区别
- 2D虚拟试衣——服装变形
- 六万字 HTTP 必备知识学习,程序员不懂网络怎么行,一篇HTTP入门 不收藏都可惜