mysql移植含有中文的数据时,很容易出现乱码问题。很多是在从mysql4.x向mysql5.x移植的时候出现。mysql的缺省字符集是latin1,在使用mysql4.x的时候,很多人都是用的latin1字符集。而当使用mysql5时往往愿意使用utf8。那么我们的任务是不是要把数据中的字符从latin1转为utf8呢?

不是的。

用一句不大准确,但又比较形象的说法是,在之前的系统中,我们是用latin1保存了使用gb系列字符集(gbk、gb2312等)的汉字。怎么这样说呢?

mysql> show create table test\G

*************************** 1. row ***************************

Table: test

Create Table: CREATE TABLE `test` (

`a` varchar(100) default NULL

) ENGINE=InnoDB DEFAULT CHARSET=utf8

1 row in set (0.00 sec)

mysql> show create table testlatin1\G

*************************** 1. row ***************************

Table: testlatin1

Create Table: CREATE TABLE `testlatin1` (

`a` varchar(100) default NULL

) ENGINE=InnoDB DEFAULT CHARSET=latin1

1 row in set (0.01 sec)

我们看到这两个表有不同的缺省字符集。此字符集是告诉我们,如果没有特别指定列的字符集,那么字符类型列的字符集与表的缺省字符集一样。

列的字符集是要告诉mysql,这里面保存的字符所使用的字符集是什么。但到底保存的是什么字符集的字符,不由mysql决定,mysql也不进行检查。

在utf8广泛使用之前,我们使用的汉字都是GB系列的字符集,比如GB2312、GBK、GB18030等等。

在缺省字符集为latin1的mysql中,我们通常就把GB字符集的汉字保存到数据库中,但是却告诉mysql那是latin1字符集。而GB字符集是一个汉字占两个字节,latin1是一个字符占一个字节。也就是说一个GB汉字被当成两个latin1字符来保存了。这让我想起了当初的iso8859_1,也是类似的情况。只要我们保存和读取时都当作latin1,不进行转换,然后在显示时当作gb字符集,就能够正确使用。

那么怎么把latin1保存的汉字正确地导到utf8字符集的数据库中呢?

首先,新的数据库中的列,要使用utf8字符集。一种办法是创建database时指定缺省字符集,这样在建表时如果不指定字符集则使用database的缺省字符集。

导出的数据要以latin1字符集导出,实际上就是告诉mysql导出时不做转换(因为原有的表都是latin1字符集的)。

mysqldump出来以后,再用mysql进行导入时,还要告诉mysql,当前的数据是gb系列的字符集,比如gbk。这样,mysql负责把数据由gbk转换为utf8,保存到数据库中。

如何告诉mysql导入的SQL是什么字符集呢,一种方法是用--default-character-set,但有时会起不到实际作用。这是因为mysqldump出来的文件里有set names语句。比如:

head EA192.060913.sql

-- MySQL dump 10.10

--

-- Host: localhost    Database: EA192

-- ------------------------------------------------------

-- Server version       5.0.16-standard-log

/*!40101 SET @OLD_CHARACTER_SET_CLIENT=@@CHARACTER_SET_CLIENT */;

/*!40101 SET @OLD_CHARACTER_SET_RESULTS=@@CHARACTER_SET_RESULTS */;

/*!40101 SET @OLD_COLLATION_CONNECTION=@@COLLATION_CONNECTION */;

/*!40101 SET NAMES latin1 */;

/*! */是mysql特有有句法,在其他数据库会被当成注释忽略掉。/*!后面的 40101是表示版本,在4.1.1及以上版才执行该条语句。

这里看到有一条SET NAMES latin1。它的一个作用是告诉mysql,客户端传过去的数据是latin1字符集。因为有这样一条SET NAMES,--default-character-set也就起不到作用了。如果不幸有这样一条SQL,那么需要把它去掉或者改成SET NAMES gbk。修改或者删除的办法,当数据量比较大的时候,可以用head和tail来配合。比如还是上面的那个文件:

先用head看一下SET NAMES在第几行(数一下),上面看到是第10行。

wc -l EA192.060913.sql

1987 EA192.060913.sql

得到总行数是1987

head -9 EA192.060913.sql > final.sql

brum@brum-laptop:~$ tail -1977 EA192.060913.sql >> final.sql

brum@brum-laptop:~$

head -9是取前9行,tail -1977是取后1977行,这样就把第10行隔过去了。

得到final.sql再用mysql运行时,就可以使用--default-character-set=gbk了。

还有一种办法是mysqldump时使用--set-charset=false,这样就不会出现SET NAMES了。

目前为止,还可能有问题,出在create table的SQL中,比如:

DROP TABLE IF EXISTS `test`;

CREATE TABLE `test` (

`a` varchar(100) default NULL

) ENGINE=InnoDB DEFAULT CHARSET=latin1;

这里仍然有个CHARSET=latin1,它将导致新创建的表的缺省字符集是latin1,而不是我们想要的utf8。

怎么办呢,如果数据量不大的话,可以考虑用编辑器把它去掉或者改成utf8,如果数据量大的话可以考虑用sed,但可能仍然时间比较长。

还有一种办法就是mysqldump,使用--create-options=false,不导出表的创建属性。但如果导出的表的存储引擎不同的话就有问题了,因为引擎类型(innodb、myisam等)都被忽略了。

此外,mysqldump导出时,不要使用-B,而是直接指定一个database名字,目的是不出现CREATE DATABASE语句,因为其中也可能会有缺省字符集的子句,会影响那些未在CREATE TABLE中指定字符集的表。如果你导出的SQL中有CREATE DATABASE,那么需要注意一下有没有字符集的子句,如果有的话,也需要修改。

好了,通过上述方法导出或者处理过的导出文件可以使用mysql --default-character-set=gbk来导入了。

今天有一哥们并没有碰到如此复杂的情况,只是用mysqldump从4.1中导出,再在5.0中导入,导入的时候指定--default-character-set=gb2312就行了。我想那是因为导出的文件中没有我前面说那些问题。

是不是有几十个G或者更多的数据等着你移植,而且恰巧有字符集问题?祝你好运吧!

mysql4.0.20,导出表结构,再重新导入,就报ERROR 1005: Can't create table (errno: 150)错误。

修改导出的sql文件,在最前面加上set foreign_key_checks=0;

这个错误就解决了,看来是建外键的原因。被关联的表还没有创建,导致外键建不起来。

在Linux或者Unix环境下的mysql命令行客户端中,使用

pager more;

或者

pager less;

可以解决输出行数超过一屏而不方便看的问题。

由此想到less的-S参数,使用

pager less -S;

效果更棒,解决了输出过宽而换行的问题。用左右箭头可以左右移动屏幕

innodb表的修复

innodb表损坏,可能导致mysqld不断地crash。在用户访问到有问题数据的位置就可能导致crash。而mysql目前没有修复innodb表的工具,只能用innodb_force_recovery=1,避免在导出数据时再crash。在my.cnf中设置好后重启库,再用mysqldump或者select *把出问题的表导出来。然后重新导入(删除原表)。如果数据量大的话,就得慢慢等了。

java.sql.SQLException: Driver requires declaration of procedure to either contain a '\nbeg

in' or '\n' to follow argument declaration, or SELECT privilege on mysql.proc to parse col

umn types.

at com.mysql.jdbc.SQLError.createSQLException(SQLError.java:910)

at com.mysql.jdbc.DatabaseMetaData.getCallStmtParameterTypes(DatabaseMetaData.java:1364)

at com.mysql.jdbc.DatabaseMetaData.getProcedureColumns(DatabaseMetaData.java:3670)

at com.mysql.jdbc.CallableStatement.determineParameterTypes(CallableStatement.java:702)

at com.mysql.jdbc.CallableStatement.(CallableStatement.java:513)

at com.mysql.jdbc.Connection.parseCallableStatement(Connection.java:4422)

at com.mysql.jdbc.Connection.prepareCall(Connection.java:4496)

at com.mysql.jdbc.Connection.prepareCall(Connection.java:4470)

at test.ProcedureTest.main(ProcedureTest.java:40)

jdbc调用MySQL存储过程时,需要mysql.proc的查询权限。如果只使用mysql客户端执行存储,是不会出这个错的。出现上述错误则需要

grant select on mysql.proc to '用户名'@'主机名';

把该权赋给应用程序连接MySQL的帐号。如果赋了权限后,还有同样问题,那么是赋错帐号了。MySQL的帐号与其他数据库的帐号概念是不同的。同一个用户名从不同机器上连接过来,被当成不同的帐号。而对MySQL不太熟悉的人,往往对此也不了解。

REPLACE是MySQL对SQL标准的扩展,它会插入记录,或者删除记录再插入记录。如果REPLACE使用的主键或者唯一索引列的值在表中能够找到,则删除该记录再插入新的记录,否则只是插入。如果表没有主键或者唯一索引,那么只是插入。

mysql> desc test;

+-------+-------------+------+-----+---------+-------+

| Field | Type        | Null | Key | Default | Extra |

+-------+-------------+------+-----+---------+-------+

| uid   | int(11)     | NO   | PRI |         |       |

| uname | varchar(20) | YES  |     | NULL    |       |

+-------+-------------+------+-----+---------+-------+

2 rows in set (0.03 sec)

mysql> select * from test;

+-----+--------+

| uid | uname  |

+-----+--------+

|   1 | uname1 |

|   2 | uname2 |

|   3 | uname3 |

+-----+--------+

3 rows in set (0.00 sec)

mysql> replace into test

-> values (3,'me');

Query OK, 2 rows affected (0.01 sec)

mysql> select * from test;

+-----+--------+

| uid | uname  |

+-----+--------+

|   1 | uname1 |

|   2 | uname2 |

|   3 | me     |

+-----+--------+

3 rows in set (0.00 sec)

REPLACE的实现,是先向表中插入记录,如果主键冲突或者违反唯一约束,那么删除旧的记录,插入新的记录。

mysql中值换行显示为乱码_MySQL数据移植中的乱码问题相关推荐

  1. MySQL查询结果换行显示

    MySQL查询结果换行显示 问题描述 解决方法 问题描述 mysql命令行下select查询结果不换行 解决方法 在命令末尾;号前添加\G \G 和;作用是一样的. mysql命令窗口会一行一个字段显 ...

  2. matlab实现 中值滤波去除基线漂移,快速中值滤波在滤除心电信号基线漂移中的应用...

    [摘要]文中给出了一种非线性的滤除心电信号基线漂移的滤波方法,把基于排序统计理论的快速中值滤波方法应用于处理心电信号,通过多次对心电信号中选择的窗口数据进行排序,然后取中值的方法来达到滤波的效果.试验 ...

  3. SCREEN屏幕编程时候必须保证SCREN中词典的字段格式必须和数据表中字段的类型长度一致!...

    此时任意操作都会出现如下问题 /h调试 回车调试被激活任意操作 执行到第23行时候报错"请输入一个数值",检查数据表中字段参考数据元素以及对应的域均是char类型,此时检查scre ...

  4. mysql表中的中文是乱码_mysql插入表中的中文显示为乱码或问号的解决方法

    版权声明:本文为博主原创文章,未经博主允许不得转载. 今天在做ssh的博客项目时发现mysql数据库中的中文显示为问号,网上查阅了很多资料,都不是很全,所以我总结一下,供大家参考和自己复习. 1.我的 ...

  5. mysql utf8存不了中文乱码_MySQL怎么存文本不乱码?

    我在"UTF8字符集的表怎么直接转UTF8MB4"一文中介绍了如何把表字符集由UTF8直接转换成UTF8MB4的几种方法. 1.只修改字符集(使用默认校验集) yejr@imysq ...

  6. mysql表中字段数据类型_mysql数据表中字段的数据类型有哪些?

    数据表中字段的数据类型有:TINYINT.SMALLINT.MEDIUMINT.INT.INTEGE.DATETIME.DATE.TIMESTAMP.TIME.YEAR.CHAR.VARCHAR.TE ...

  7. MySQL导出到excle显示不了_mysql导出select语句结果到excel文件遇到问题及解决方法_MySQL...

    一.导出数据外部 1)mysql连接+将查询结果输出到文件.在命令行中执行(windows的cmd命令行,mac的终端) mysql -hxx -uxx -pxx -e "query sta ...

  8. mui.alert弹框中实现换行显示

    在做项目的时候用到了alert弹出框,但是因为需要让内容换行显示. mui.alert(res.json().message+'\n'+"班号:"+res.json().data) ...

  9. mysql5.0中索引的设计和使用_MySQL 5.0中索引的正确设计和使用

    此文章主要向大家描述的是MySQL 5.0中索引的正确设计与具体使用方案的描述, 在一般在数据中,很多朋友对数据库进行优化一般用的是索引.我们通过索引一般可以解决大多数的SQL性能问题. MySQL ...

最新文章

  1. 关于软件工程课程的期望
  2. 1024|程序员节来了!
  3. Java多线程面试问题
  4. matplotlib的colorbar自定义刻度范围
  5. java制作图形界面数据库_java图形界面以及链接数据库
  6. 深度学习(十九)基于空间金字塔池化的卷积神经网络物体检测
  7. 深入理解typedef
  8. 物料移动类型和后勤自动科目设置-SAP屠夫
  9. 周长相等的正方形面积一定相等_周长和面积一直是三年级孩子的易失分点,家长要把好关!...
  10. win10 任务栏 网络 图标 消失 空白 network location awareness 错误1068
  11. 计算机机房系统建设,计算机机房系统建设方案(范文).pdf
  12. 腾讯云域名购买和域名解析教程
  13. NUBT 1480 懒惰的风纪委Elaine
  14. w8ndows 秒表,谁最快?Win10/8/7开关机速度大比拼
  15. C语言 数据结构 栈的线性实现 基本操作代码
  16. 利用python核算工资_年薪10w用Python,年薪50w利用Python
  17. 第一次使用拉勾网求职经历
  18. 我从冯·诺依曼计算机体系,追溯到了JVM,一切原来如此
  19. 英语十大词性之一 - 介词
  20. 第四章 资本主义制度的形成及其本质

热门文章

  1. C++ STL容器之string--常用接口
  2. 从入门到精通:卷积神经网络初学者指南
  3. excel打开空白不显示内容 没有隐藏_这些Excel快捷键你都会吗?
  4. java线程如何继承,java多线程(一)之继承Thread类
  5. ndnsim r语言 ubuntu_Ubuntu14.04下配置ndnSIM-nom-rapid-car2car
  6. c++svd算法_AI算法工程师面试6
  7. 八段锦八个动作名称_八段锦工间操“动”起来 全民健身精气神“燃”起来
  8. python处理era5_ERA5数据python批量下载程序
  9. python高级编程 豆瓣_《Python高级编程》读书笔记:方法解释顺序浅析
  10. 禅道项目管理_推荐一个项目管理工具,落地基于Scrum的敏捷开发!