mysql如何把两张表合并为一张表_mysql多表合并为一张表

有人提出要将4张表合并成一张。数据量比较大，有4千万条数据。有很多重复数据，需要对某一列进行去重。

数据量太大的话，可以看我另外一篇：http://www.cnblogs.com/magmell/p/8941338.html

mysql：思路：

1、导出数据。select into outfile。

2、传输到要导入数据的服务器上。

3、创建一张新表，主键和约束等与那三张表一样。

4、LOAD DATA INFILE导入。利用replace参数进行覆盖达到去重的目的。

LOAD DATA INFILE '/backup/tbl_get.csv' replace INTO TABLE emob.tbl_new;

LOAD DATA INFILE '/backup/tbl_jue.csv' replace INTO TABLE emob.tbl_new;

LOAD DATA INFILE '/backup/tbl_ors.csv' replace INTO TABLE emob.tbl_new;

全部导入后，对其去重：

select * from tbl_new awhere a.imgi in(select imgi from tbl_new group by imgi having count(imgi)>1);

oracle：

通过sqlldr工具导入：

1、创建一张表，表中不要有任何约束。

2、先写一个load_ora.ctl文件，内容：

unrecoverable　　　　　　　　#不产生日志

load data

infile '/usr/local/tbl_imsi2nu.csv'

append into table eyumob.tbl_new　　　　　#oracle的replace参数是对表原有的数据全部清空，相当于truncate

fields terminated by '\t'

(imgi,"number",cff)

3、执行导入命令：

sqlldr SYSTEM/oracle control=/usr/local/load_ora.ctl log=~/load.log bad=~/soy.bad rows=100000 readsize=20971520 bindsize=20971520 PARALLEL=TRUE DIRECT=TRUE skip_index_maintenance=TRUE

DIRECT=TRUE：可能会导致一些问题，比如索引失效等。最好不要使用。

4、合并后对新表去重：

DELETE FROM eyumob.tbl_new t1 WHERE t1.ROWID <> (SELECT MIN (t2.ROWID) FROM eyumob.tbl_new t2 WHERE t1.imgi = t2.imgi);

5、在表中添加约束

mysql如何把两张表合并为一张表_mysql多表合并为一张表相关推荐

mysql生产环境加索引_【生产篇】_MySQL环境下如何查看基于表的索引定义
[引言] 今天中午项目组来一需求,欲在MySQL环境的某张表下创建几个BTREE索引.要创建索引,首先需要了解基表的表结构,以及已经包含的索引.Oracle的表结构大家都很熟悉,但MySQL表结构和已 ...
mysql查询已知两列第三列,MySQL查询从两列中查找出现的次数？
使用MySQL GROUP_BY从两列中查找出现的次数.让我们首先创建一个表-mysql> create table DemoTable -> ( -> Name1 varchar( ...
mysql比对两张表数据
如何对两个数据库中的表进行比较 server 和mysql可以这样: insert A表(要插入的字段列表) select 要插入的字段列表库2.B表 --注意字段的对应.... oracle ex ...
EXCEL中两列合并成一列以及根据相同列的值将表中一列的值复制到另一张表中？
今在做EXCEL时遇两问题,现和大家分享如下: 1.如何将表中两列值合并到一列,并按照一定的分隔符进行分割,公式如下: 假如:要将F和G的值合并到H列并按逗号","隔开: H1 ...
mysql同时查两张表数据库表_如何同时查询两个数据库表？
展开全部 sql多表关联查询跟条件查询大同小异,主要是要知道表与表之前的关系很重e69da5e6ba9062616964757a686964616f31333431353238要: 举例说明:(某数据 ...
mysql 分区合并_mysql中的合并表和分区表详解（经常使用的概念）
分区表是mysql5.1之后的新特性,合并表已经存在很长时间了.这篇文章主要介绍这两个概念以及他们基本的操作. 一.合并表合并表说实话是一种将要被淘汰的技术,但是掌握了合并表的概念再去看分区表就比较 ...
mysql同张表关联多次查询_MySQL多次单表查询和多表联合查询
Tip:不建议执行三张表以上的多表联合查询对数据量不大的应用来说,多表联合查询开发高效,但是多表联合查询在表数据量大,并且没有索引的时候,如果进行笛卡儿积,那数据量会非常大,sql执行效率会非常低 ...
excel如何把多张表合并成一个表_如何将多个excel表格合并成一个_excel多表合并到一种表格的方法...
Excel是我们日常办公经常要用到的工具,有时候我们会制作非常多的Excel表格,为了方便管理,我们需要将这些表格合并到一起,那么如何将多个excel表格合并成一个呢?相信很多朋友都不太清楚,那么今天 ...
mysql数据库中两个表求交集_mysql怎么查两个表的交集
mysql查询两个表的交集方法:1.将两个数据的数据列用UNION ALL关键字合并查询交集:2.使用带IN关键字的查询:3.使用带EXISTS关键字的子查询. mysql查询两个表的交集方法: 1. ...

mysql如何把两张表合并为一张表_mysql多表合并为一张表

mysql如何把两张表合并为一张表_mysql多表合并为一张表相关推荐

最新文章

热门文章