mysql 大文本_超大文本文件数据导入MYSQL

今天用到一个处理650万的数据导入数据库处理的问题，在网上找了半天，终于在在三灯的博客找到办法，特此转过来以备后用，哈哈！

我执行的命令语句是mysqlimport -uroot -p123456 -L -v --fields-terminated-by=, all hongjun.txt

以下原文转载：http://blog.sina.com.cn/s/blog_406127500100jagk.html

mysqlimport -uroot -pEastlinden -L -v --fields-terminated-by=$$ searchpatentDZ D:\3.0\temp_law_en.txt

第一次使用mysqlimport工具还真是费了不少功夫。总结下来最需要注意的有两点：

1.把导入文件转换为linux格式：如果是windows下编辑的文件，需要把\r去掉，否则此\r会被导入到字段的值里；

2.导入文件的字符集一定要与对应表的字段的字符集一至，否则很可能导成乱码；mysqlimport虽然有一个设置字符集的参数，但是不太清楚是做什么用的，设置了以后，并没有做编码转换；

大容量的文件导入MYSQL方法(LINUX系统)：

在使用MYSQLIMPORT导入大容量数据时，mysql一定会提示导入不成功，让你设置大的缓存，但是究竟设多大你也不好界定，所以我们可以从导入的原始文件入手，把他拆分为小的文件。

涉及到的工具：

1.使用MYSQL自带的导入工具MYSQLIMPORT

2.使用LINUX自带的拆分工具SPLIT

步骤：

mysql 大文本_超大文本文件数据导入MYSQL相关推荐

excel导入mysql命令行_将Excel数据导入MySql
今天是全国数学建模比赛,同学选的一个题目需要对一个large的Excel表格进行统计,好哥们儿嘛--便帮助他完成了数据从Excel到MySql的转化.记下具体步骤分享给大家,也免得大家到网上到处乱找了 ...
mysql rrd_将RRD数据库中数据导入MYSQL中
一.RRD数据库及RRDTOOL简介意为Round Robin Database.设计理念为按照round-robin的方式进行存储,在一个周期之后(可自己定义),新的数据会覆盖掉原来的数据.所以R ...
mysql从文本导入表_[Mysql] 用load data将文本文件数据导入到表
MySQL的load data命令可以将文本文件的数据导入到表有文本文件如下: E:\>more test.txt 1,XX,M 2,YY,F 在mysql里创建表t mysql> cr ...
excel mysql数据同步_将 Excel 数据导入 MySql
能承受上万数据量,速度快,并且使用了事务,不会出现某条数据错误而导致部分数据插入(要是全部成功要是一条都不成功,测试过程中没出现失败),需要的朋友可以参考下 1.NPOI 2.MySql.Data 这 ...
php实现sql server数据导入到mysql数据库_php实现SQL Server数据导入Mysql数据库(示例)...
php将mssql的数据导入到mysql数据库中,代码: 代码示例: //连接SQL server数据库 $conn=mssql_connect("localhost"," ...
文本文件数据导入mysql注意事项
第一种情况数据文件 ttt.txt utf8编码 1 zhangzhibin 232 lisi 223 wangwu 21 mysql> select * from user;+------+- ...
mysql两条记录合成一条数据_踩坑记录之csv数据导入MySQL
可能采坑的操作将excel表格转换成csv 逗号分隔,然后notepad检查文件是否是utf8编码,保存. 打开 phpMyAdmin , 选择要导入的表格,然后点击导入: 导入设置点击执行之后, ...
Python实现Excel数据导入MySQL
前言近年来,数据分析正在改变我们的工作方式,数据分析的相关工作也越来越受到人们的青睐.很多编程语言都可以做数据分析,比如Python.B.Matlab等,Python凭借着自身无可比拟的优势,被广泛 ...
将Excel数据导入mysql数据库的几种方法
将Excel数据导入mysql数据库的几种方法 "我的面试感悟"有奖征文大赛结果揭晓! 前几天需要将Excel表格中的数据导入到mysql数据库中,在网上查了半天,研究了半天,总结 ...

mysql 大文本_超大文本文件数据导入MYSQL

mysql 大文本_超大文本文件数据导入MYSQL相关推荐

最新文章

热门文章