mongodb 建立唯一索引，去除重复数据

如果建立唯一索引的时候，有数据重复，则会报错，所以可以通过以下方法间接解决：

1.将数据导出json格式

./mongoexport -d liuniu -c tWechatMessage -o tWechatMessage.json

-d 数据库名

-c 集合名

-o 导出后的名字(也可以加上路径 )

2.删除当前集合的数据

db.tWechatMessage.remove({})

3.新建唯一索引

db.tWechatMessage.ensureIndex({"msg.MsgId":1},{unique:true});

4.导入刚才导出的数据

./mongoimport -d liuniu -c tWechatMessage --upsert /usr/dataserver/mongodb/bin/tWechatMessage.json

upsert会根据唯一索引去重复

mongodb 建立唯一索引，去除重复数据相关推荐

mysql 唯一索引出现重复数据_MySQL 创建唯一索引忽略对已经重复数据的检查
MySQL 创建唯一索引忽略对已经重复数据的检查在创建唯一索引的基础上加上关键字"IGNORE "即可. # 重复数据 mysql> select aid,count(ai ...
mysql 唯一索引出现重复数据_mysql使用唯一索引避免插入重复数据
使用MySQL 索引防止一个表中的一列或者多列产生重复值一:介绍MYSQL唯一索引如果要强烈使一列或多列具有唯一性,通常使用PRIMARY KEY约束. 但是,每个表只能有一个主键. 因此,如果使 ...
MYSQL 增加唯一索引对于重复数据的处理
查看重复数据 select xx,yy,zz,COUNT(1) as num from TABLE1 group by xx,yy,zz having num>1; 获取重复数据最小的记录 se ...
数据库，唯一索引，重复数据处理
为什么80%的码农都做不了架构师?>>> //唯一索引,重复数据处理 1.为母表建立唯一主键(主键为自增,此字段在后面删除记录时会用到),同时建立和母表一样的临时表(此表要建 ...
mysql中如何去除重复数据_MySQL如何去除重复数据？
这篇文章主要介绍了MySQL 去除重复数据实例详解的相关资料,需要的朋友可以参考下 MySQL 去除重复数据实例详解有两个意义上的重复记录,一是完全重复的记录,也即所有字段均都重复,二是部分字段重复 ...
mysql中如何去除重复数据_mysql数据库如何去除重复数据
mysql数据库去除重复数据的方法:1.查询需要删除的记录,会保留一条记录:2.删除重复记录,只保留一条记录,代码为[delete a from test1 a, (...)as bid from t ...
java 两个数组去重复数据_Java实现数组去除重复数据的方法详解
本文实例讲述了Java实现数组去除重复数据的方法.分享给大家供大家参考,具体如下: 前一段时间被面试问到:如果一个数组中有重复元素,用什么方法可以去重?一时间会想到用一种方法,但是后来查阅资料后发现, ...
Python_Dataframe_去除重复数据
去除重复数据--drop_duplicates 去除指定单列或多列中的完全重复的项通过drop_duplicates()函数实现,需要利用Pandas包. 其中: 1.subset=[] 表示整个da ...
表之sql删除重复数据、查找去除重复数据、DISTINCT用法
目录一.查找去除重复数据二.删除重复数据三.DISTINCT用法一.查找去除重复数据数据如图: id可以理解为uuid,person_sort_code可以理解为唯一的标识,但是唯一标识重复 ...

mongodb 建立唯一索引，去除重复数据

mongodb 建立唯一索引，去除重复数据相关推荐

最新文章

热门文章