断网了2天  今天补上
聚合操作:
对文档的信息进行整理统计的操作
返回:统计后的文档集合
db.collection.aggregate()
功能:聚合函数,完成聚合操作
参数:聚合条件,配合聚合操作符使用
返回:聚合后的结果

常用聚合操作符:
1.$group  分组聚合   要配合具体的统计操作符获取结果
$sum  求和
db.class1.aggregate({$group:{_id:'$gender',num:{$sum:1}}})
分组   按照gender值统计统计结果,求和每有一个加1
统计所有男生和女生的年龄之和
db.class1.aggregate({$group:{_id:'$gender',num:{$sum:'$age'}}})
$avg  平均值
求男生 女生年龄的平均数
db.class1.aggregate({$group:{_id:'$gender',num:{$avg:'$age'}}})
$max 求最大值
求男生女生的年龄最大值
db.class1.aggregate({$group:{_id:'$gender',num:{$max:'$age'}}})
$min  求最小值
求男生女生的年龄最小值
db.class1.aggregate({$group:{_id:'$gender',num:{$min:'$age'}}})
2.$project
用于修改文档的显示效果
$project值的用法同find()的field参数相同
db.class1.aggregate({$project:{_id:0,name:1,age:1}})
自定义显示的域名
db.class1.aggregate({$project:{_id:0,Name:'$name',Age:'$age'}})
3.$match
过滤想要的数据
过滤年龄大于30的数据,$match值的写法同query
db.class1.aggregate({$match:{age:{$gt:30}}})
4.$limit
显示前几个文档
db.class1.aggregate({$limit:3})
5.$skip
跳过前几个文档显示
db.class1.aggregate({$skip:2})
6.$sort   排序
按照年龄排序
db.class1.aggregate({$sort:{age:1}})

聚合管道
将前一个聚合操作产生的结果,交给后一个聚合操作继续使用
db.collection.aggregate([{聚合1},{聚合2},{}...])
$match --> $sort -->$project
db.class1.aggregate([{$match:{gender:'m'}},{$sort:{age:1}},{$project:{_id:0}}])
聚合示例
使用grade数据库
给更多同学添加 域score
score:{english:87,chinese:76,math:91}
1. 按照性别统计每组人数
aggregate({$group:{_id:'$sex',num:{$sum:1}}})
2. 统计该班中有哪个同学姓名为重名同学
aggregate([{$group:{_id:'$name',num:{$sum:1}}},{$match:{num:{$gt:1}}}])
3. 统计所有男生的语文成绩,只打印姓名,性别,语文成绩即可
aggregate([{$match:{sex:'m'}},{$project:{_id:0,name:1,sex:1,'score.chinese':1}}])
4. 将所有女生按照英语成绩降序排序
aggregate([{$match:{sex:'w'}},{$sort:{'score.english':-1}}])
文件存储:
1.存储路径
将文件放在本地路径(网络路径)下,然后数据库中存储该文件的查找路径
优点 : 节省数据库空间
缺点 : 当数据或者文件位置发生变化时文件即丢失
2. 将文件转换为二进制,存储文件本身
数据库支持二进制数据格式
将文件转换为二进制格式,然后存入数据库中
优点 : 数据库和文件绑定,数据库文件即在
缺点 : 占用数据库空间大,存取效率低
mongodb存储文件本身
* 如果是小文件建议转换二进制直接插入
* 如果是大文件建议使用GridFS方案存储(大于16M)
GridFS方案解释
1. 在mongodb一个数据库中使用两个集合配合存储文件
2. fs.files 用来存储文件的相关信息,为每一个文件创建一个文档,
存储文件,文件大小,存入时间。。。
3. fs.chunks 用来分块存储文件的实际内容(Binary data 类型数据)
存储方法:
mongofiles  -d dbname(数据库)   put  file(要存储的文件)
* 数据库不存在会自动创建数据库
数据库中会自动创建fs.files  fs.chunks两个集合
fs.files文档结构:
{
"_id" : ObjectId("5b7cdcd769d72e12b4f166d0"),
"chunkSize" : 261120,
"uploadDate" : ISODate("2018-08-22T03:47:35.381Z"),
"length" : 305033,
"md5" : "3698b5e762b5b396766aaf9feef7e10d", 
"filename" : "file.jpg"
}
fs.chunks文档结构
{
"_id" : ObjectId("5b7cdcd769d72e12b4f166d2"),
"files_id" : ObjectId("5b7cdcd769d72e12b4f166d0"), 
"n" : 1, 
"data" : BinData(0,"tQWR0AR......AG") 
}
* 同一个文件fs.files中的_id值等于fs.chunks中的    files_id域的值
提取方法:
mongofiles  -d  dbname   get  file
GridFS方案:
优点 : 存储方便,提供较好的命令支持和编程接口
缺点 :  存取效率低下 还没有复制的快
mongo shell中获取游标
* mongo shell下支持JS代码,可以通过JS获取游标,进而获取数据操作结果。
var cursor = db.class1.find()
cursor.next()   获取下一条结果
cursor.hasNext()  查看是否有下一个对象
通过python操作 MongoDB:
pymongo 模块   第三方模块
安装:
sudo  pip3 install  pymongo
操作步骤:
1. 连接数据库,生成数据库连接对象
conn = pymongo.MongoClient('localhost',27017)
2. 选择要操作的数据库,生成数据库对象 (__setitem__)
db = conn.stu
db = conn['stu']
3. 获取集合对象
myset = db.class0
myset = db['class0']
4. 通过集合对象调用mongodb数据库操作函数
增删改查,聚合,索引。。。。。
5. 关闭数据库连接
conn.close()

插入文档:
insert()   插入数据 功能同 mongoshell
insert_many()  插入多条
insert_one() 插入一条
save()  插入数据,通过_id可以修改
查找操作:
find()
功能 : 对数据库进行查找
参数 : 同mongoshell  find()
返回值 : 返回游标对象
cursor = myset.find({},{'_id':0})
cursor的属性函数
next()
limit()
skip()
count()
sort()
Python中sort和MongoDB的区别
                并且Python中的数据是字典和MongoDB的数据不同 
                所以键和操作符号都必须要加引号
pymongo  : sort([('age',-1),('name',1)])
mongoshell : sort({age:-1,name:1})
* 如果通过for或者next操作了游标对象,再调用limit,skip,sort会报错
find_one()
用法同mongoshell中 findOne()
返回一个字典
修改操作:
update(query,update,upsert = False,multi = False)
update_many()
update_one()
删除操作:
remove(query,multi = True)
功能: 删除文档
参数: query 筛选条件
multi  默认True表示删除所有符合条件的
False只删除一条
索引操作:
ensure_index()  创建索引
list_indexes()  查看索引
drop_index()  删除一个索引
drop_indexes() 删除所有索引
聚合操作:
aggregate([])
参数和mongoshell一样
返回值和find()函数一样也是得到一个游标对象
pymongo进行文件存取操作:
GridFS 文件提取:
import  gridfs
1. 连接数据库,获取相应的数据库对象
2. 通过 gridfs.GridFS(db) 获取集合对象(代表存储文件的两个集合)
3. 通过find()查找文件返回游标
4. 通过循环遍历游标获取指定文件对象,read()读取文件内容写入本地
以二进制的方式存取文件
import bson.binary
增删改查操作:
from pymongo import MongoClient #创建连接
conn = MongoClient('localhost',27017)#创建数据库对象
db = conn.stu #创建集合对象
myset = db.class4 print(dir(myset))# 插入操作
myset.insert({'name':'张铁林','King':'乾隆'})
myset.insert([{'name':'张国立','King':'康熙'},\{'name':'陈道明','King':'康熙'}])
myset.insert_many([{'name':'唐国强','King':'雍正'},\{'name':'陈建斌','King':'雍正'}])
myset.insert_one({'name':'郑少秋','King':'乾隆'})
myset.save({'_id':1,'name':'聂远','King':'乾隆'}) # 查找操作cursor = myset.find({},{'_id':0})# i为每个文档对应的字典
for i in cursor:print(i['name'],'--->',i['King'])myset = db.class1
# 操作符使用引号变为字符串
cursor = myset.find({'age':{'$gt':30}},{'_id':0})cursor.limit(2)#获取前两个文档
cursor.skip(2) #跳过前两个
cursor.sort([('age',-1),('name',1)]) #对游标内容排序for i in cursor:print(i)
print(cursor.next()) #获取下一个文档dic = {'$or':[{'age':{'$gt':35}},{'gender':'w'}]}
data = myset.find_one(dic,{'_id':0})
print(data)# 修改操作
myset.update({'name':'张国立'},\{'$set':{'king_name':'玄烨'}})myset.update({'name':'霍建华'},{'$set':{'King':'乾隆'}},\upsert = True)myset.update({'King':'乾隆'},\{'$set':{'king_name':'弘历'}},multi = True)myset.update_one({'King':'康熙'},\{'$set':{'king_name':'爱新觉罗玄烨'}})myset.update_many({'King':'雍正'},\{'$set':{'king_name':'胤禛'}})# 删除操作myset.remove({'King':'康熙'})
myset.remove({'King':'乾隆'},multi = False)#查找并删除
print(myset.find_one_and_delete({'King':'乾隆'}))#关闭连接
conn.close()

索引操作:

from pymongo import MongoClient #创建连接
conn = MongoClient('localhost',27017)#创建数据库对象
db = conn['stu'] myset = db['class1'] # 删除所有索引
myset.drop_indexes()# 创建索引
index = myset.ensure_index('name')
# 创建复合索引
index = myset.ensure_index([('name',-1),('age',1)])
print(index)# 删除一个索引
myset.drop_index('name_1')# 创建特殊索引
index = myset.ensure_index('name',name = "myIndex",\unique = True,sparse = True)# 查看集合中的索引
for i in myset.list_indexes():print(i)myset = db.class4 l = [{'$group':{'_id':'$King','num':{'$sum':1}}},{'$match':{'num':{'$gt':1}}}
]cursor = myset.aggregate(l)
for i in cursor:print(i)conn.close()


文件的存取:

from pymongo import MongoClient
import bson.binary conn = MongoClient('localhost',27017)
db = conn.images
myset = db.img #存储
f = open('file.jpg','rb')#转换为mongodb的二进制数据存储形式
content = bson.binary.Binary(f.read())#插入到数据库
myset.insert({'filename':'file.jpg','data':content})#提取data = myset.find_one({'filename':'file.jpg'})#通过字典获取到数据库内容写入本地
with open(data['filename'],'wb') as f:f.write(data['data'])conn.close()



手动存入文件MongoDB默认创建的文件数据导出:
from pymongo import MongoClient
#pymongo绑定的模块
import gridfsconn = MongoClient('localhost',27017)
db = conn.grid #获取gridfs对象
#fs综合了fs.files  fs.chunks两个集合的属性内容
fs = gridfs.GridFS(db)#查文档生产游标
files = fs.find()#获取每一个文件的对象
for file in files:print(file.filename)if file.filename == 'file.jpg':with open(file.filename,'wb') as f:#从数据库读取出来data = file.read()#写入本地f.write(data)conn.close()

Python全栈 MongoDB 数据库(聚合、二进制、GridFS、pymongo模块)相关推荐

  1. Python全栈 MongoDB 数据库(数据的修改)

    修改操作符的使用 $set 修改一个域的值,增加一个域 阿哲年龄修改为33 db.class1.update({name:'阿哲'},{$set:{age:33}}) 如果sex域不存在则会添加这个域 ...

  2. Python全栈 MySQL 数据库 (索引、数据导入、导出)

    ParisGabriel 每天坚持手写  一天一篇  决定坚持几年 为了梦想为了信仰  开局一张图 表字段重命名(change) alter table 表名 change 原名 新名 数据类型: S ...

  3. python点击事件onclick_巨蟒python全栈开发数据库前端6:事件onclick的两种绑定方式onblur和onfocus事件window.onload解释小米商城讲解...

    1.回顾上节内容(JavaScript) 一.JavaScript概述 1.ECMAScript和JavaScript的关系 2.ECMAScript的历史 3.JavaScript是一门前后端都可以 ...

  4. python学习之老男孩python全栈第九期_day019知识点总结——collections模块、时间模块、random模块、os模块、sys模块...

    一. collections模块 在内置数据类型(dict.list.set.tuple)的基础上,collections模块还提供了几个额外的数据类型:namedtuple.deque.Counte ...

  5. python全栈开发_day20_加密模块和excel操作模块以及xml

    hashlib模块:加密 import hashlib# 基本使用cipher = hashlib.md5('需要加密的数据的二进制形式'.encode('utf-8'))print(cipher.h ...

  6. Python 全栈工程师必备面试题 300 道(2020 版)

    2020元旦巨献,面试升级必备!献给正在学习Python的同学! Python 全栈工程师必备面试题 300 道(2020 版) Python 面试不仅需要掌握 Python 基础知识和高级语法,还会 ...

  7. python26章_44G-26章节Python盖世修炼最新实战 全新升级版Python全栈架构师高级课程 从零实战...

    44G-26章节Python盖世修炼最新实战 全新升级版Python全栈架构师高级课程 从零实战 ===============课程目录=============== 课程目录过长,下面只列出了章节目 ...

  8. Python全栈开发之MySQL

    No.1 数据库概念 什么是数据库? 数据库就是一种特殊的文件,内部存储着需要的数据 RDBMS 所谓关系数据库,是建立在关系模型基础的数据库,借助于集合代数等数学概念和方法来处理数据库中的数据 SQ ...

  9. python全栈开发中级班全程笔记(第二模块、第四章)(常用模块导入)

    python全栈开发笔记第二模块 第四章 :常用模块(第二部分)     一.os 模块的 详解 1.os.getcwd()    :得到当前工作目录,即当前python解释器所在目录路径 impor ...

  10. python 全栈开发,Day81(博客系统个人主页,文章详情页)

    一.个人主页 随笔分类 需求:查询当前站点每一个分类的名称以及对应的文章数 完成这个需求,就可以展示左侧的分类 它需要利用分组查询,那么必须要会基于双下划线的查询. 基于双下划线的查询,简单来讲,就是 ...

最新文章

  1. 如何在C++中动态建立二维数组
  2. 编译器预定义宏的查看和使用
  3. java response.write_@ResponseBody与response.getWriter .write()区别
  4. 赞!苏州大学95后硕士一作发《Nature》!
  5. arcgis flexviewer中由Application向widget传值
  6. OpenCV-Python官方教程-24-SIFT算法
  7. Java随笔记 - BIO Socket 编程实例
  8. Java中BigDecimal用法
  9. WP模板,WP网站模板,WP网站主题模板
  10. django orm级联_django系列5.3--ORM数据库的多表操作
  11. 流传千古的爱情传说原来竟是一个先劫色后劫财的骗局
  12. ndows 未能启动,Windows未能启动F8无效怎么办?
  13. [转载]windows搭建cloudreve对接OneDrive教程
  14. 【华为OD机试真题 python】不含 101 的数【2022 Q4 | 100分】
  15. 计算机网络统考outlook操作视频,网络教育计算机统考Outlook
  16. 【音频解码芯片】VS1503音频解码芯片的应用
  17. java 建一个car_大学java习题 :定义一个汽车类car
  18. Python机器学习05——判别分析
  19. 网站设计全攻略-3、确定网站的栏目和版块
  20. 进阶篇——数据库的索引

热门文章

  1. linux下分配磁盘空间,linux如何分配磁盘空间
  2. 利用微信官方文档下载微信对账单、资金账单
  3. 软件测试工程师的职业规划
  4. wi7计算机桌面删除,如何删除win7系统桌面IE图标|win7删除桌面IE图标的方法
  5. 单相半桥两电平电压型逆变器的正弦脉宽调制(SPWM)——Matlab程序
  6. 如何用WPS表格生成拟合曲线
  7. 2018 网易校招题目
  8. windows常见电脑蓝屏的解决办法
  9. Oracle EBS SLA Custom Sources(自定义来源)
  10. 《薛兆丰的经济学课》课程总结5--需要协调