Mongodb实现多表join

千万数量级的table, 如何实现join?

1、通过遍历其他表，插入到当前表

from pymongo import MongoClientclient = MongoClient("mongodb://192.168.123.64:27017/")
temp = client["gd_raw_data"]["temp"]
prplregistex = client["gd_raw_data"]["prplregistex"]
repairfee = client["gd_raw_data"]["repairfee"]
prplcitemcar = client["gd_raw_data"]["prplcitemcar"]
lossthirdparty_lossmain = client["gd_raw_data"]["lossthirdparty_lossmain"]
lossthirdparty = client["gd_raw_data"]["lossthirdparty"]
lossmain = client["gd_raw_data"]["lossmain"]
citemkind = client["gd_raw_data"]["citemkind"]
check = client["gd_raw_data"]["check"]query = {}
cursor = temp.find(query, no_cursor_timeout=True)
try:i = 0for doc in cursor:registno = doc['registno']print("报案号：{}".format(registno))prplregistex_info = prplregistex.find_one({ "registno": registno},no_cursor_timeout=True)repairfee_info = repairfee.find_one({ "registno": registno},no_cursor_timeout=True)prplcitemcar_info = prplcitemcar.find_one({ "registno": registno},no_cursor_timeout=True)lossthirdparty_lossmain_info = lossthirdparty_lossmain.find_one({ "registno": registno},no_cursor_timeout=True)lossthirdparty_info = lossthirdparty.find_one({ "registno": registno},no_cursor_timeout=True)lossmain_info = lossmain.find_one({ "registno": registno},no_cursor_timeout=True)citemkind_info = citemkind.find_one({ "registno": registno},no_cursor_timeout=True)check_info = check.find_one({ "registno": registno},no_cursor_timeout=True)newvalues = {"$set": {"prplregistex_info": prplregistex_info,"repairfee_info": repairfee_info,"prplcitemcar_info": prplcitemcar_info,"lossthirdparty_lossmain_info": lossthirdparty_lossmain_info,"lossthirdparty_info": lossthirdparty_info,"lossmain_info": lossmain_info,"citemkind_info": citemkind_info,"check_info": check_info}}temp.update_one({ "registno": registno}, newvalues)finally:client.close()

发现我的PC(i7 6代)实现1700万多表join需要125个小时，也就是5天5夜，中途服务器容易挂死。

2、优化方式

要么多线程，要么分布式

2.1、mongodb的lookup, 也就是聚合功能

操作之前请务必为关联的字段创建索引

db.getCollection("prplcmain").aggregate([{"$lookup": {"from": "lida","localField": "registno","foreignField": "registno","as": "carinfo"}},{"$lookup": {"from": "prpldriver","localField": "registno","foreignField": "registno","as": "prpldriver"}},{"$lookup": {"from": "prplinjured","localField": "registno","foreignField": "registno","as": "prplinjured"}},{"$lookup": {"from": "prplinsured","localField": "registno","foreignField": "registno","as": "prplinsured"}},{"$lookup": {"from": "regist","localField": "registno","foreignField": "registno","as": "regist"}},{"$out" : "total"}],{"allowDiskUse" : true}
);

这个相同配置下2个小时内可以搞定

2.2、mapreduce 分布式join多表

这个还没研究透彻
https://stackoverflow.com/questions/38882184/join-two-collections-with-mapreduce-in-mongodb

Mongodb实现多表join相关推荐

阿里规范不建议多表join，可这SQL要怎么写啊？
点击上方"方志朋",选择"设为星标" 回复"666"获取新整理的面试资料前言我们先来看一下阿里开发手册的描述手册上写着[强制],但是肥 ...
阿里不让多表join？我偏要！
作者:谢斌 http://blog.itpub.net/30393770/viewspace-2650450/ 提出问题和环境准备 <阿里巴巴JAVA开发手册>里面写超过三张表禁止join ...
大数据开发实战：Hive优化实战2-大表join小表优化
4.大表join小表优化和join相关的优化主要分为mapjoin可以解决的优化(即大表join小表)和mapjoin无法解决的优化(即大表join大表),前者相对容易解决,后者较难,比较麻烦. 首 ...
mysql 多表三表删除_mysql 多表join查询索引优化
数据准备 CREATE TABLE IF NOT EXISTS `class` ( `id` int(10) unsigned NOT NULL AUTO_INCREMENT, `card` int( ...
阿里不让 MySQL 多表 Join ？我偏要！
一. 问题提出:<阿里巴巴JAVA开发手册>里面写超过三张表禁止join,这是为什么? 二.问题分析:对这个结论,你是否有怀疑呢?也不知道是哪位先哲说的不要人云亦云,今天我设计sql,来验 ...
sql join on 多表连接_阿里规范不建议多表Join，可这SQL要怎么写啊？
前言我们先来看一下阿里开发手册的描述: 手册上写着[强制],但是我相信很多同学项目里面的代码都不满足这个要求.但是关键问题是:不用join,这SQL究竟要怎么写啊! 高性能MySQL 高性能MySQ ...
MySQL小表join大表的正确使用姿势（straight_join 关键字的使用）
网上有种说法是:由于一般是采用小表join大表的方式(可以提高效率),所以有人说将小表放在左边,让它先执行,记住,这种说法是错误的!!!有例为证: 我们看上例: film inner join fil ...
Flink异步io应用场景之流表join维表
简介维度表,作为数据仓库里面的概念,是维度属性的集合,比如时间维.地点维:可以是一个mysql或者cassandra,redis等存储,甚至是自己定义的一些api. 流表是kafka等流式数据. 根 ...
Flink 实时计算 - 维表 Join 解读
Flink 实时计算 - 维表 Join 解读前言 Flink 1.9 版本可以说是一个具有里程碑意义的版本,其内部合入了很多 Blink Table/SQL 方面的功能,同时也开始增强 Flink ...

Mongodb实现多表join

文章目录

Mongodb实现多表join

1、通过遍历其他表，插入到当前表

2、优化方式

2.1、mongodb的lookup, 也就是聚合功能

2.2、mapreduce 分布式join多表

Mongodb实现多表join相关推荐

最新文章

热门文章