数据同步关于去除乱码插入mysql数据库

public static final int MIN_SUPPLEMENTARY_CODE_POINT = 0x010000;
public static final int MAX_CODE_POINT = 0X10FFFF;
public static final int NO_UNICODE = 0xfffd;
/**
* 过滤4字长UTF-8编码字符,防止入库失败
* 4字长的UTF-8字符就是Unicode SMP（辅助平面）中的字符, 也就是Unicode编码大于U+FFFF的字符, 所以我们只需要获取字符串中各个字符的code point，
* 当code point 大于FFFF 65535时过滤掉即可;
* 当从Unicode编码向某个字符集转换时，如果在该字符集中没有对应的编码，则得到0x3f（即问号字符?）
            从其他字符集向Unicode编码转换时，如果这个二进制数在该字符集中没有标识任何的字符，则得到的结果是0xfffd 65533
* @param str
* @return
*/
public static String filterUtf8mb4(String str) {
        StringBuilder sb = new StringBuilder(str.length());
        for (int i = 0; i < str.length(); i++) {
            int codePoint = str.codePointAt(i);
            if (codePoint >= MIN_SUPPLEMENTARY_CODE_POINT && codePoint <  MAX_CODE_POINT + 1) {
                i++;
            }else if(codePoint !=NO_UNICODE ){
             sb.appendCodePoint(codePoint);
            }
        }
        return sb.toString();
    }

转载于:https://www.cnblogs.com/460i/p/9829839.html

数据同步关于去除乱码插入mysql数据库相关推荐

golang mysql数据同步_使用Golang实现MySQL数据库之间的表同步
这是用来实现两个 MySQL 数据库中的具有相同字段表的增量同步. 支持按照某种格式增量获取表中的待同步数据. 支持按照列名称向数据库的表中批量插入待同步的数据. 安装 go get -u git ...
MySQL数据同步到ES集群(MySQL数据库与ElasticSearch全文检索的同步)
简介:MySQL数据库与ElasticSearch全文检索的同步,通过binlog的设置对MySQL数据库操作的日志进行记录,利用Python模块对日志进行操作,再利用kafka的生产者消费者模式进行 ...
python获取mysql表中一列数据_将Python列表插入mySQL数据库中的一列
嗨,我试图在一列中插入一个python列表,但是它总是在语法上给出错误. 这是新手.谢谢你的帮助.谢谢.在from time import time import MySQLdb import url ...
Mybatis插入MySQL数据库中文乱码
Mybatis插入MySQL数据库中文乱码在dataSource.properties配置文件中设置useUnicode=true&characterEncoding=utf-8编码即可. ...
hibernate插入Mysql数据库出现中文乱码情况从这5个方面解决
因为有了新电脑所以又要解决乱码问题,在网上找帖子很是头疼,还是自己总结一下比较好. hibernate插入Mysql数据库出现中文乱码情况从这几个方面解决:有了这几方面以后使用mysql的乱码问题就不 ...
python随机数据库_Python实现生成随机数据插入mysql数据库的方法
本文实例讲述了Python实现生成随机数据插入mysql数据库的方法.分享给大家供大家参考,具体如下: 运行结果: 实现代码: import random as r import pymysql fi ...
通达信股票日线数据插入mysql数据库测试
目录 1 安装mysql数据库 2 用小猫统计附带的设置程序创建数据库 3 用小猫统计 cat.exe 在数据库中建立日线数据表 3.1 初始化系统 3.2 建立股票日线表 4 导入日线数据 4.1 ...
数据迁移的几种方式 - MySQL数据库
写在前面:博主是一只经过实战开发历练后投身培训事业的"小山猪",昵称取自动画片<狮子王>中的"彭彭",总是以乐观.积极的心态对待周边的事物.本人的技 ...
mysql数据文件有10g_百万行mysql数据库优化和10G大文件上传方案
最近这几天正在忙这个优化的方案,一直没时间耍,忙碌了一段时间终于还是拿下了这个项目?项目中不要每次都把程序上的问题,让mysql数据库来承担,它只是个mysql而已. 问题1:针对MySQL Comm ...

数据同步关于去除乱码插入mysql数据库

数据同步关于去除乱码插入mysql数据库相关推荐

最新文章

热门文章