1.load data:

***实际应用:把日志生成的xls文件load到MySQL中:

mysql_cmd = "iconv -c -f utf-8 -t gbk ./data/al_ver_" + yesterday_time + ".xls -o ./data/GBK_al_ver_" + yesterday_time + ".xls "
print(mysql_cmd)
os.system(mysql_cmd)mysql_cmd = "mysql -h60.28.200.78 -uroot -pyeelion -A LogStat_RT  -e \"load data local  infile \'./data/GBK_al_ver_" + yesterday_time + ".xls ' into table HiveData_508\""
print(mysql_cmd)
os.system(mysql_cmd)

上边的代码在load之前先进行了转码,iconv的用法:http://www.cnblogs.com/leezhxing/p/3929435.html

基本语法:

load  data  [low_priority]  [local]   infile   'file_name'   [replace | ignore]
into table tab_name
[fields
[terminated by't']
[OPTIONALLY] enclosed by '']
[escaped by'\' ]]
[lines terminated by'n']
[ignore number lines]
[(col_name,   )]

 

当读取位于服务器上的文本文件时,文件必须处于数据库目录或可被所有人读取。

1  指定关键词low_priority,MySQL将会等到没有其他人读这个表的时候,才把插入数据。可以使用如下的命令:

load data  low_priority infile "/home/mark/data sql" into table table_name;

2  指定local关键词,则表明从客户主机读文件。如果local没指定,文件必须位于服务器上。

3  指定replace,新行将代替有相同的唯一键值的现有行。

指定ignore,和唯一键值相同行的数据不会插入。如果你不指定任何一个选项,当找到重复键时,出现一个错误,并且文本文件的余下部分被忽略。例如:

load data  low_priority infile "/home/mark/data sql" replace into table table_name;

4 分隔符

(1) fields关键字指定了文件记段的分割格式,如果用到这个关键字,MySQL剖析器希望看到至少有下面的一个选项:

  terminated by分隔符:以什么字符作为分隔符

  enclosed by字段括起字符

  terminated by描述字段的分隔符,默认情况下是tab字符(\t)

  escaped by描述的转义字符。默认的是反斜杠(backslash:\ )

  例如:load data infile "/home/mark/Orders txt" replace into table Orders fields terminated by',' enclosed by '"';

(2)lines 关键字指定了每条记录的分隔符默认为'\n'即为换行符

  如果两个字段都指定了那fields必须在lines之前。如果不指定fields关键字缺省值与这样写的相同: fields terminated by'\t' enclosed by ’ '' ‘ escaped by'\\'

  如果你不指定一个lines子句,缺省值与如果你这样写的相同: lines terminated by'\n'

  例如:load data infile "/jiaoben/load.txt" replace into table test fields terminated by ',' lines terminated by '/n';

5  按指定的列把文件导入到数据库中。

   当我们要把数据的一部分内容导入的时候,,需要加入一些栏目(列/字段/field)到MySQL数据库中

  load data infile "/home/Order txt" into table Orders(field1, field2, filed3);   

  如果一个行有很少的字段,对于不存在输入字段的列被设置为缺省值。

  如果字段值缺省,空字段值有不同的解释:

  对于字符串类型,列被设置为空字符串。 
  对于数字类型,列被设置为0。 
  对于日期和时间类型,列被设置为该类型的适当“零”值。 
  如果列有一个NULL,或(只对第一个TIMESTAMP列)在指定一个字段表时,如果TIMESTAMP列从字段表省掉,TIMESTAMP列只被设置为当前的日期和时间。

6  当在服务器主机上寻找文件时,服务器使用下列规则:

(1)如果给出一个绝对路径名,服务器使用该路径名。

(2)如果给出一个有一个或多个前置部件的相对路径名,服务器相对服务器的数据目录搜索文件。

(3)如果给出一个没有前置部件的一个文件名,服务器在当前数据库的数据库目录寻找文件。

例如: /myfile txt”给出的文件是从服务器的数据目录读取,而作为“myfile txt”给出的一个文件是从当前数据库的数据库目录下读取。

2.outfile

select * from Table into outfile '/路径/文件名'
fields terminated by ','
enclosed by '"'
lines terminated by '\r\n'

如果指定了FIELDS子句,则这三个亚子句中至少要指定一个。

terminated by指定字段值之间的符号,例如,“terminated by ','”指定了逗号作为两个字段值之间的标志。

enclosed by指定包裹文件中字符值的符号,例如,“enclosed by ' " '”表示文件中字符值放在双引号之间,若加上关键字OPTIONALLY表示所有的值都放在双引号之间。

escaped by指定转义字符,例如,“ESCAPED BY '*'”将“*”指定为转义字符,取代“\”,如空格将表示为“*N”。

LINES子句:在LINES子句中使用TERMINATED BY指定一行结束的标志,如“LINES TERMINATED BY '?'”表示一行以“?”作为结束标志。

转载于:https://www.cnblogs.com/leezhxing/p/4118974.html

快速的mysql导入导出数据(load data和outfile)相关推荐

  1. load out mysql,快速的mysql导入导出数据(load data和outfile)

    当读取位于服务器上的文本文件时,文件必须处于数据库目录或可被所有人读取. 1  指定关键词low_priority,MySQL将会等到没有其他人读这个表的时候,才把插入数据.可以使用如下的命令: lo ...

  2. MySQL导入导出数据和结构

    1. mysql导出数据和结构 使用mysqldump命令 1.1 导出全库 连带数据 mysqldump -u root -p app_test > app_test.sql 1.2 导出指定 ...

  3. Mysql导入导出数据总结

    写在前面的话: 1,Mysql数据库在进行导入导出时最好先断开一切访问数据库的连接,否则会发生难以预料的错误,例如:我在导入数据库的时候,一直无法导入,报错无法读取db.sql,或者出现输入指令后加了 ...

  4. mysql导入导出数据

    用以下命令,导入导出Mysql几百M,几G的数据库都没有问题.注意"--default-character-set=utf8"是设置编码的. 1,数据库备份命令: mysqldum ...

  5. Linux系统下MySQL的导出数据语句SELECT … INTO OUTFILE的用法

    文章目录 关于参数 secure_file_priv 按默认参数设定导出表数据到文本文件中 自定义分隔符,将表数据导出到 txt 文件中 自定义分隔符,将表数据导出到 csv 文件中 导出数据时,提示 ...

  6. MySQL导入/导出数据

    导出数据库, 直接shell命令 导出单个数据库 mysqldump -u root -p abc > /home/abc/abc.sql 导出多个数据库 mysqldump -u root - ...

  7. 基于 Docker 的 MySQL 导入导出数据

    为什么80%的码农都做不了架构师?>>>    查看容器名称或ID ➜ docker ps --format "table {{.ID}}\t{{.Names}}\t{{. ...

  8. mysql数据库导出后乱码问题_MySQL导入导出数据出现乱码的解决办法

    在mysql导入导出数据时经常出现中文乱码的问题,大多是因类导入导出时编码设置不一致所引起的.本文介绍了不同平台下的编码转换方法,供大家参考. 在linux系统中默认的是utf8编码,而windows ...

  9. hive向mysql导数据_Mysql Hive 导入导出数据

    ---王燕行转列sql select split(concat_ws(',',collect_set(cast(smzq as string))),',')[1] ,split(concat_ws(' ...

  10. mysql导入表数据方法_mysql数据导入导出方法总结

    MySQL数据备份还原方式总结: 一.将数据导入到指定的数据库 第一种导入方式:(linux下和Windows 下语法是一样的,只是路径的书写方式不同而已) 1.创建一个空数据库 2.进入MySQL安 ...

最新文章

  1. char类型是多少 mat_OpenCV Mat数据类型及位数总结
  2. 近期期刊制作组的工作计划
  3. 【rabbitmq】Authentication failed (rejected by the remote node), please check the Erlang cookie
  4. React开发(132):ant design学习指南之form中控制展开和关闭逻辑
  5. HDU5470 Typewriter SAM 动态规划 单调队列
  6. Google 前员工:秘密研究中国搜索项目或会引发离职潮!
  7. 帝国cms ajax,帝国CMS封装的ajax加载信息框架代码
  8. html5 自动扣图,html5 canvas+js实现ps钢笔抠图
  9. android模拟器比较好,安卓模拟器哪个好用,好用的安卓模拟器有哪些
  10. DUL模型详解——代码+原理——Data Uncertainty Learning
  11. mos管的rc吸收电路计算_RC吸收计算应用
  12. 如何回答三次握手问题
  13. excel单元格内容拆分_EXCEL单元格里提取、删除或替换部分内容
  14. 一个反斜杠(/)引起的血案
  15. SSM框架简单搭建 不涉及权限
  16. python讲师招聘天津_SiKi学院Python人工智能讲师招聘
  17. Android中实现按钮自动点击
  18. 【mac小技巧】一条命令轻松调节mac鼠标移动速度
  19. java计算机毕业设计网上租房管理源代码+数据库+系统+lw文档
  20. linux下查看光驱文件夹,LINUX中为什么没有DEV下的光驱设备文件

热门文章

  1. 游戏开发--开源软件13--libgdx(Android)||Angle(android 2D...
  2. 9个有用的php功能
  3. 可以势利,不可以小人
  4. (一)伤不起--java调用dll
  5. Windows环境下安装python+tensorflow
  6. 首次主持春晚,她因太漂亮登上热搜
  7. 40+ 张最全 Linux / C / C++ 思维导图,收藏!
  8. Andromeda OS 来了,Android 再见?
  9. 你若不离不弃,我必拼尽全力!
  10. 超线程_超线程加持,十代酷睿 i5-10400F 成主流玩家真香新 U