python列表按照批次分配数据(亲测)

# 场景：一次取回mongodb某表-64万数据，pymongo.errors.DocumentTooLarge: BSON document too large (28888095 bytes) -

# the connected server supports BSON document sizes up to 16777216 bytes. 文档太大就无法返回，因此分10次取，每次

# 取回6400条，然后统一更新到本地的字典中。

import uuid

data = [1, 2, 3, 4, 5, 6, 7, 8, 9, 3, 5, 6, 7, 8, 9, 6, 5, 4, 3, 8, 9]

batch_step = round(len(data)/10)

for index in range(0, len(data), batch_step):

item_list = data[index:index+batch_step]

# example

from pymongo import MongoClient

mdb = MongoClient('120.133.26.xxx:20002', username='xt', password='xxxxxx')

image_ids = ["001", "002", "003", ...]

image_dict = {}

batch_step = round(len(image_ids)/10)

for idx in range(0, len(image_ids), batch_step):

image_ids_part = image_ids[idx:idx + batch_step]

image_infos = mdb['数据库名']['图片表名'].find({"image_id": {"$in": image_ids_part}})

image_one = {}

for image_info in image_infos:

if image_info.get("image_size"):

image_one[image_info.get("image_id")] = image_info

image_dict.update(image_one)

python列表按照批次分配数据(亲测)相关推荐

已解决selenium框架接管已经打开的谷歌浏览器（Python反反爬教程，亲测有效）
已解决selenium框架接管已经打开的谷歌浏览器(Python反反爬教程,亲测有效) 文章目录问题描述解决方法千人全栈VIP答疑群联系博主帮忙解决报错问题描述使用selenium自动化测试 ...
9.9学python靠谱吗-宅家亲测：9.9的python体验课，到底值不值？
"股市开始动荡.公司无法正常复工.每月工资收入下降.高额房租依旧不减....."受新冠肺炎的影响,这段时间,一系列的现实经济问题让大多数人都过得不是很舒心. 部分人员开始在家线上办 ...
python for 循环每次取n个数据(亲测)
a = [1, 2, 3, 4, 5, 6, 7, 8, 9, 0] n = 5 for b in [a[i:i + n] for i in range(0, len(a), n)]: pri ...
python 获取当天和前几天时间数据(亲测)
import datetime from datetime import datetime, date, timedelta def dayDateRange(): dates = [] ...
Python机器学习笔记：XgBoost算法(亲测)
前言 1,Xgboost简介 Xgboost是Boosting算法的其中一种,Boosting算法的思想是将许多弱分类器集成在一起,形成一个强分类器.因为Xgboost是一种提升树模型,所以它是将许多 ...
Java List.size()方法：返回列表中元素的个数(亲测)
Java 集合类中的 List.size() 方法以 int 形式返回列表中元素的个数. 语法: size() 返回列表中元素的个数.如果列表中元素的个数超过 2 147 483 647,则返回 2 ...
Python实例讲解 -- 发送邮件带附件 (亲测)
主要使用了 smtp 和 email 组件 # -*- coding: utf-8 -*-import os import smtplib import mimetypes from email.MI ...
python模拟app抢票_亲测，手把手教你用Python抢票
大数据文摘作品,欢迎个人转发朋友圈,自媒体.媒体.机构转载务必申请授权,后台留言"机构名称+转载",申请过授权的不必再次申请,只要按约定转载即可,但文末需放置大数据文摘二维码. 大 ...
python列表操作之删除数据
# del 列表变量[位置] 删除指定数据 # 列表变量名.pop(下标) 删除指定下标位置数据,并且返回该数据,不填写下标则默认为最后一个: # remove() 移除列表中某个数据第一个匹配项 # ...

python列表按照批次分配数据(亲测)

python列表按照批次分配数据(亲测)相关推荐

最新文章

热门文章