需要的库

1.pymongo
2.csv

思路

1.连接MongoDB。
2.读取csv文件
3.csv文件的内容写入MongoDB。

代码

import pymongo
import csv
import time
def connect_mongo():mongo_uri = 'mongodb://user_name:password@host:port/验证数据库'client = pymongo.MongoClient(mongo_uri, readPreference='根据要求写')db = client.数据库名称collection = db['表名称']return collectiondef insertToMongoDB(set1):with open('csv地址','r',encoding='utf-8') as csvfile:# 调用csv中的DictReader函数直接获取数据为字典形式reader = csv.DictReader(csvfile)csv_data = []# 创建一个counts计数一下 看自己一共添加了了多少条数据counts = 0index = 1for each in reader:csv_data.append(each)if index==10000:#10000个之后写入MongoDB中set1.insert(csv_data)csv_data.clear()index = 0print("成功添加了" + str(counts) + "条数据")counts+=1index+=1if len(csv_data)>0:#剩余的数据set1.insert(csv_data)print("成功添加了%s条数据"%len(csv_data))if __name__=='__main__':print(time.strftime('%Y-%m-%d %H:%M:%S'))#计算时间用set1 = connect_mongo()insertToMongoDB(set1)print(time.strftime('%Y-%m-%d %H:%M:%S'))

这么写速度比较快，比insert_one快多了。

用Python向MongoDB中插入大csv文件相关推荐

python向数据库写入数据_如何用Python向Mysql中插入数据
我们使用Python经常会和Postgresql进行搭配,很少将python和mysql进行搭配.下面小编给大家分享如何用Python向Mysql中插入数据. 工具/原料 Pycharm 方法/步骤 ...
python matplotlib图中插入表格
python matplotlib图中插入表格解决问题示例代码结果解决问题在matplotlib画的图里插入表格数据.使用到pyplot和gridspec函数. 示例代码 #导入库 impo ...
python中如何打开csv文件_Python对CSV文件的处理
原标题:Python对CSV文件的处理在接口自动化测试中,把测试的数据存储到csv的文件也是一种很不错的选择,下面就详细的介绍如何实现CSV文件内容的读取和如何把数据写入到CSV的文件中.在Pyth ...
python 如何使用 pandas 在 flask web 网页中分页显示 csv 文件数据
目录一.实战场景二.知识点 python 基础语法 python 文件读写 python 分页 pandas 数据处理 flask web 框架 jinja 模版三.菜鸟实战初始化 Flask ...
Python之一个关于天气的csv文件中获取最高和最低气温的图表
Python之一个关于天气的csv文件中获取最高和最低气温的图表科普: csv: 简单的说:以逗号分隔的值(CSV)将数据写入文件中,这样的文件称为CSV文件说明: 博主这里主要是学习一下csv文 ...
python对数据进行分类、文件是csv文件_用Python将处理数据得到的csv文件分类（按顺序）保存...
用Python中的os和numpy库对文件夹及处理数据后得到的文件进行分类保存: import numpy as np import os for m in range(699,0,-35): cur ...
python导出数据找不到csv_【记录】使用Python读取/导出（写入）CSV文件
想要用python处理csv文件. 去查了下,python中本身就自带csv模块. 然后参考在线手册: 去试试. [用python生成csv] 1. 按照手册的例子,试了试:import csv wi ...
Python读入制表位分割的csv文件
Python读入制表位分割的csv文件常见的csv文件都是以逗号进行分割的,但一次数据库导出的文件是以制表位间隔. 虽说另存为如下方式即可正常使用,但大批量的文件总归是不合适的平时使用pandas ...
在Qt for Python应用程序中使用Designer UI文件
在Qt for Python应用程序中使用Designer UI文件在Qt for Python应用程序中使用Designer UI文件将表单转换为Python代码 UiTools方法在Qt f ...

用Python向MongoDB中插入大csv文件

需要的库

思路

代码

用Python向MongoDB中插入大csv文件相关推荐

最新文章

热门文章