1. 连接mongo

需要知道mongoDB的地址、端口、授权用户、授权密码。一般情况下，技术都会给到数据分析人员这些信息。

python没有安装模块pymongo模块的，在cmd里面，pip install pymongo 进行安装。(具体操作可以自行百度)

##导入连接mongo需要的模块

from pymongo import MongoClient

###连接数据库

client = MongoClient(地址, 端口)

####访问数据库授权

db_auth = client.admin ##哪个库，这里是admin这个库

db_auth.authenticate(授权用户, 授权密码)

2. 访问数据集合并且提取数据

提取数据基本代码框架如下面代码示例：

collect10=db2.decisionResultData ##选择某个某个数据集合进行访问

###这里选择decisionResultData数据集合(相当于mysql里面的数据表)进行访问

dt= collect10.find({}) ###选择访问数据集合的所有数据

df_decision=pd.DataFrame(list(dt)) ####将这些数据转化为DataFrame格式

加入某些限制条件进行数据提取，在find字典里面进行条件设置。

dt= collect10.find({某些条件}) ###选择访问数据集合中符合某些条件的数据

df_decision=pd.DataFrame(list(dt)) ####将这些数据转化为DataFrame格式

3. 数据筛选条件

a. 大于/小于/等于条件

使用方式为：类似python中的字典嵌套字典的形式进行条件设置。

大于等于某个值

dt=collect10.find({'age':{'$gte':12

}

}

) ####年龄大于等于12岁

df_decision=pd.DataFrame(list(dt)) ####将这些数据转化为DataFrame格式

小于某个值，将上面代码中的 $gte 换为 $lt 即可

等于某个值，以字典形式传入值即可

dt=collect10.find({'age':12

}

) ####查询等于12岁的数据

df_decision=pd.DataFrame(list(dt)) ####将这些数据转化为DataFrame格式

关于时间范围的特殊示例。

Mongo数据集合中，有的是没有储存时间的，为了选取一定时间范围内的数据，可以利用集合表中的_id来进行时间范围的选择。

【_id是一个ObjectId类型的主键，其前4个字节是UNIX时间戳 。】

如果需要选择大于某个时间点后面的数据，根据需要的时间，生成一个ObjectId，条件设置为_id 大于这个ObjectId即可。

代码示例：

def object_id_from_datetime(from_datetime=None,span_days=0,span_hours=0,span_minutes=0,span_seconds=0,span_weeks=0):

'''根据时间手动生成一个objectid，此id不作为存储使用'''

if not from_datetime:

from_datetime = datetime.datetime.now()

from_datetime = from_datetime + datetime.timedelta(days=span_days,hours=span_hours,minutes=span_minutes,weeks=span_weeks)

return ObjectId.from_datetime(generation_time=from_datetime)

begin_date = input('请输入开始日期，格式例如：2017-01-31 00:00:00 :')

begin_date=object_id_from_datetime(datetime.datetime.strptime(begin_date,'%Y-%m-%d%H:%M:%S')-datetime.timedelta(hours=8))###减8个小时

dt= collect10.find({'_id':{'$gte':begin_date}}) ###大于等于开始时间的数据筛选条件

df_decision=pd.DataFrame(list(dt))###将数据转化为DataFrame格式

b. 包括/不包括条件

字典嵌套，'$in'的值为列表形式。

dt=collect10.find({'companyId':{'$in':['001','002']

}

}) ###提取companyId为001和002的数据

df_comp=pd.DataFrame(list(dt)) ####将这些数据转化为DataFrame格式

不在某些值中，将上面代码中的 $in 换为 $nin 即可。

c. 加入and /or 逻辑条件

并且的逻辑。字典里面的逗号就是表示and的逻辑。

dt=collect10.find({'age':{'$gte':12

,'$lte':18

}

}####年龄大于等于12岁并且小于等于18岁

)

df_decision=pd.DataFrame(list(dt)) ####将这些数据转化为DataFrame格式

或则和的逻辑。or字典，值为列表形式，列表里面以字典键值对形式进行或者条件的设置。

dt= collect10.find({'$or':[{'description':'BB'}

,{'name':'AA'}

]

})### description等于BB 并且 name等于AA的数据

df_3=pd.DataFrame(list(dt))

d. 限制输出条数

使用limit(number),number表示限制的条数。可以先看看数据输出的格式。

dt= collect10.find({'$or':[{'description':'BB'}

,{'name':'AA'}

]

}).limit(10) ### 只输出条数为10条

df_3=pd.DataFrame(list(dt))

e. 选择字段进行输出

可以不输出该数据集合中的所有字段，筛选某些字段输出。

格式为：collect2.find({ 筛选条件},{'字段A':1, '字段B':0,'字段C':1})。

在筛选条件之后，增加字段是否显示的字典键值对，0表示不显示(不输出)，1表示显示(输出)。

dt=collect2.find({'$or':[{'description':'BB'}

,{'name':'AA'}

]

}

,{'name':1

,'_id':0

,'status':1

,'requestDuration':1

}

)

###选择description为BB或则name为AA的数据，并且只显示name、description、requestDuration这3个字段。

df_3=pd.DataFrame(list(dt))

f. 进行排序

使用的格式为：

按照某个字段升序排列：

访问的集合命名.find({}).sort('字段名称',pymongo.DESCENDING)

按照某个字段降序排列：

访问的集合命名.find({}).sort('字段名称',pymongo. ASCENDING)

多个字段综合排序：

访问的集合命名.find({}).sort([('字段A',pymongo.DESCENDING)

,('字段B',pymongo.ASCENDING)

,……

]

)

使用sort和limit 结合，可以输出某些排序靠前的数据。经常用来查看最近时间产生的一些数据。

以下代码选取最近10条数据。

#访问data这个数据库

db2=client['data']

###访问这个文档，数据调取记录

collect2=db2.loggerModel

dt= collect2.find({}).sort('_id',pymongo.DESCENDING).limit(10)

#pymongo.DESCENDING 表述倒叙 # pymongo.ASCENDING表示升序

df_3=pd.DataFrame(list(dt))

g. 统计一共多少条数据

代码格式有两种：访问的集合命名.find({ 筛选条件}).count()

访问的集合命名.count_documents({筛选条件})

这两个代码当前都可以不报错，但是第一个会提醒你，这个格式已经被取代了，建议使用第二个格式。大家还是习惯使用第二个吧。

#访问data这个数据库

db2=client['data']

###访问这个文档，数据调取记录

collect2=db2.loggerModel

collect2.count_documents({'$or':[{'description':'BB'}

,{'name':'AA'}

]

})

121963 ###输出结果，一共有121963条

h. 聚合计算，实现与sql代码一样的数据提取逻辑

使用aggregate(),使用格式为：

aggregate([操作标识1: {操作1}

,操作标识2: {操作2}

,操作标识3: {操作3}

,……

])

aggregate是一个管道的概念，操作1的输出结果作为操作2的输入数据，操作2的输出结果作为操作3的输入数据，以此类推。

aggregate 操作标识：

$project：修改输入文档的结构。可以用来重命名、增加或删除域，也可以用于创建计算结果以及嵌套文档。

$match：用于过滤数据，只输出符合条件的文档。$match使用MongoDB的标准查询操作。

$limit：用来限制MongoDB聚合管道返回的文档数。

$skip：在聚合管道中跳过指定数量的文档，并返回余下的文档。

$unwind：将文档中的某一个数组类型字段拆分成多条，每条包含数组中的一个值。

$group：将集合中的文档分组，可用于统计结果。

$sort：将输入文档排序后输出。

$geoNear：输出接近某一地理位置的有序文档。

在数据提取的时候，常用的操作标识有：$project、$match、$limit、 $group、$sort

$project

常用来筛选字段，以下代码表示只显示name、description、_id三个字段。(_id是默认显示的)

collect2.aggregate([{'$project':{'name':1

, 'description':1}

}

])

$match

数据过滤的操作，类似于sql的where条件，筛选条件的筛选方式如前面a、b、c所述。

collect2.aggregate([{'$match':{筛选条件}}

])

$limit

限制输出的条数

collect2.aggregate([{'$limit':10}

]) ##显示输出10条

$group

实现sql里面group by 的功能。

collect2.aggregate([{'$group': {'_id':"$字段名1" ##字段名称固定为'_id'

,'取个名字2':{'$聚合方式': '$字段名2'}

,'取个名字3':{'$聚合方式': '$字段名3'}

}

}

])

其中，字段名1为聚合的字段，也就是sql里面group by 后面的字段。字段名2是需要进行统计的字段。

示例如下：

dt=collect2.aggregate([{'$match':{'_id':{'$gte':begin_date}}} ##选择某个时间段之后的

,{'$group':{'_id':"$description"

,'num':{'$sum':1}

}

} ##统计有多少条数据，相当于count(1)

])

df_4=pd.DataFrame(list(dt))

多字段group by 的情况，'_id'的值变为字典键值对，字典里面键值对形式为'取个字段名称': '$字段名'。

示例为：

dt=collect2.aggregate([{'$match':{'_id':{'$gte':begin_date}}} ##选择某个时间段之后的

,{'$group':{'_id':{'description':"$description"

,'thirdPart':"$thirdPart"}

,'num':{'$sum': '$number'}

,'avgnum':{'$avg':'$number'}

,'minnum':{'$min':'$number'}

}

} ##group by description, thirdPart,对number字段进行求和、平均值、最小值操作

])

df_4=pd.DataFrame(list(dt))

聚合方式：

$max:返回最大值

$min:返回最小值

$avg:返回平均值

$sum:求和的操作

$first:第一个文档数据

$last:最后一个文档数据

$sort

排序，基本格式为：

collect2.aggregate([{'$ sort':{'字段名':1}}

])

按照字段名升序排列 ，1表示升序，-1表示降序

示例如下，按照条件筛选后，统计description分别的个数，再按照个数升序。

Sql代码逻辑：

select description

,count(*) num

from collect2

where _id>= begin_date

and _id<= end_date

and (description='BB' or name in ('AA','CC'))

group by description

order by count(*)

mongo代码实现：

dt=collect2.aggregate([{'$match':{'_id':{'$gte':begin_date

,'$lte':end_date}

,'$or':[{'description':'BB'}

,{'name':{'$in':['AA','CC']} }

]

}

}####先进行条件筛选

,{'$group':{'_id':"$description",'num':{'$sum':1}}}

,{'$sort':{'num':-1} }

])

df_4=pd.DataFrame(list(dt))