在Django框架下向MongoDB数据库中导入.scv文件数据

在学习了一些MongoDB和Django框架的一些基础知识后，我对MongoDB以及Django知识已经有了一个初步的掌握，是时候对学长的项目里面的东西进行一个初步的实践了，于是我选择从Django框架中向MongoDB导入数据的这部分代码开始。通过复用几段学长项目里的代码，在我自己新建的项目中实现向数据库中导入csv文件。

1.新建一个Django项目

选择Exisiting interpreter,打开你的python安装文件夹，选择python.exe

建立好后会得到如下界面

其中，与项目同名的vis1目录是项目的核心文件；templates目录是HTML文件存放处，也就是MTV中的T。manage.py是Django项目管理文件。

在核心文件vis1目录中：

_init_.py：空文件

settings.py：主配置文件

urls.py：主路由文件

wsgi.py：网关接口

2.创建APP

在每个Django项目中可以包含多个APP，相当于一个大型项目中的分系统、子模块、功能部件等等，相互之间比较独立，但也可以有联系。所有的APP共享项目资源。要在Django框架下链接MongoDB，我们就必须建立一个APP。（为了方便我复用学长项目中的代码，我创建了一个与学长相同的APP：datas)

在Pycharm下方的Terminal终端中输入命令：

python manage.py startapp datas

创建好后，django自动生成“datas”文件夹，及一系列文件： (注意：如果你选择vis1->new->python package这样的方式得到的文件夹里将没有这一系列的文件)

3.编辑APP

在Datas中，models是与数据库操作相关，存入或读取数据的文件，所以首先我们需要对它进行配置。刚打开里面只有一句引入库的语句，你需要在这里编写对你要导入数据库的列名进行定义：

因为是为了理解并实践学长的代码，我这里就直接粘贴学长项目中的这部分代码了：

from django.db import models
from mongoengine import *
# Create your models here.class Alldata(models.Model):id = models.BigIntegerField(primary_key=True)ipsmalltype = models.IntegerField()filelen = models.BigIntegerField()fileaffix = models.CharField(max_length=10, null=True)iscracked = models.NullBooleanField()starttime = models.DateTimeField()srcip = models.CharField(max_length=45)dstip = models.CharField(max_length=45)srcport = models.IntegerField()dstport = models.IntegerField()vpi1 = models.IntegerField(null=True)vpi2 = models.IntegerField(null=True)atm1aaltype = models.IntegerField(null=True)

4.注册APP

在配置好了models之后，你要让你的数据库知道该给那个APP创建表，所以需要在vis1目录的settings中注册APP。也就是在

settings中的INSTALLED_APPS中添加你刚才创建好的datas

5.连接mongoDB

一般在Django框架中连接数据库都需要对settings中的DATABASES进行配置，如下图：

而我们这里使用MongoDB数据库，它可以不使用DATABASES，在学长的代码中，他是这样做的：

在DATABASES旁边建立一个DBCONFIG，然后将DATABSES中的内容删掉：

这样，每次连接MongoDB时只需要调用DBCONFIG就行了

6.编写导入csv部分的代码

先建立一个.py文件，然后在里面编写向数据库中导入数据功能的代码，我这里就直接复制学长的项目中有关这一段的代码：

class Data2Mongo:filename = 'ip{}.csv-数据处理.csv'path = 'C:\\Users\\Administrator\\Desktop\\ChinaVis\\2016年数据可视分析挑战赛-挑战1-数据\\'count = range(1, 11)c_raw = 'raw_data'c_clear = 'clear_data'c_uncracked = 'uncracked_data'c_merge = 'merge_data'colname = ['ipsmalltype', 'filelen', 'fileaffix', 'iscracked', 'starttime','srcip', 'dstip', 'srcport', 'dstport', ' vpi1', 'vpi2', 'atm1aaltype']checklist = ['ipsmalltype', 'filelen', 'fileaffix', 'iscracked', 'starttime','srcip', 'dstip', 'srcport', 'dstport', 'vpi1', 'vpi2', 'atm1aaltype']checklist_merge = ['ipsmalltype', 'fileaffix', 'starttime', 'srcip','dstip', 'srcport', 'dstport', 'vpi1', 'vpi2', 'atm1aaltype']res = []max_len = 100000def __init__(self):self.files = []for i in self.count:self.files.append(self.filename.format(i))self.client = MongoClient(DBCONFIG['HOST'], DBCONFIG['PORT'])self.db = self.client.__getattr__(DBCONFIG['NAME'])self.dst_raw = self.db[self.c_raw]self.dst_clear = self.db[self.c_clear]self.dst_uncracked = self.db[self.c_uncracked]self.dst_merge = self.db[self.c_merge]def __del__(self):self.client.close()@staticmethoddef convert_fileaffix(fileaffix):if len(fileaffix) == 0:return ''while fileaffix[0] == '.':fileaffix = fileaffix[1:]if '.' in fileaffix:return Noneelse:return fileaffixdef data2mongo(self):self.dst_raw.remove({})self.res.clear()for i in self.count:print('正在处理文件：%s' % (self.path + self.filename.format(i)))with open(self.path + self.filename.format(i)) as infile:reader = csv.reader(infile)next(reader)for row in reader:fileaffix = self.convert_fileaffix(str(row[3]))if fileaffix is None:continueself.res.append({'ipsmalltype': int(row[1]),'filelen': int(row[2]),'fileaffix': fileaffix if fileaffix != '' else None,'iscracked': int(row[4]) if row[4] == '0' else 1,'starttime': datetime.strptime(row[5], '%Y/%m/%d %H:%M:%S'),'srcip': str(row[6]),'dstip': str(row[7]),'srcport': int(row[8]),'dstport': int(row[9]),'vpi1': int(row[10]) if row[10] != '' else None,'vpi2': int(row[11]) if row[11] != '' else None,'atm1aaltype': int(row[12]) if row[12] != '' else None})if self.res.__len__() == self.max_len:self.dst_raw.insert_many(self.res)self.res.clear()if self.res.__len__() > 0:self.dst_raw.insert_many(self.res)self.res.clear()

记得把需要导入的库及要引用的文件导入，不然会报错：

from pymongo import MongoClient
from datetime import datetime
from vis.settings import DBCONFIG
import csv

其次，需要注意导入的文件路径一定要正确，文件名之间的分隔符是\\,别写反了

7.编写一个调用Data2Mongo的.py文件

我这里建立一个handles.py(为避免复用学长的代码出错，所以取了和学长项目中一样的名称)

from data2mongo import Data2Mongoimport time
if __name__ == '__main__':start = time.clock()tomongo = Data2Mongo()tomongo.data2mongo()

8.运行handles.py

这样，在Django框架下向MongoDB导入.csv文件便实现了。

用Navicate for MongoDB我们可以查看到我们导入的数据如图：