Python爬虫学习第十一天—pymongo模块使用

一、安装pymongo模块

python3 -m pip install pymongo

二、pymongo模块的使用

1、配置基础项

user = 'pytest' # 账号
password = 'python' # 密码
# host = '127.0.0.1' # host
host = '10.1.1.141' # host
port = 27017 # port
uri = "mongodb://%s:%s@%s" % (quote_plus(user),quote_plus(password),host)
# quote_plus函数：对url进行编码
# uri = mongodb://python:python@127.0.0.1
client = MongoClient(uri, port=port)   # 创建客户端链接对象

2、连接指定库及连接指定集合

dbtest = client['test']    ## 连接到指定的库，连接方式1，方式2：client.testcollection = client.test.stu   # 连接到指定库的指定集合

3、插入数据

插入一条数据：collection.insert_one({"name" : "lufei", "hometown" : "zhulu", "age" : 23, "gender" : 1})   插入多条数据：collection.insert_many([{"name" : "lufei001", "hometown" : "zhulu001", "age" : 32, "gender" : 1},{"name" : "lufei002", "hometown" : "zhulu002", "age" : 33, "gender" : 0}])

4、查询数据

查询示例的所有数据如下：
{‘name’: ‘gj’, ‘gender’: 0.0}
{‘name’: ‘gj’, ‘gender’: 0.0}
{‘name’: ‘gj’, ‘gender’: 0.0}
{‘name’: ‘郭靖’, ‘hometown’: ‘蒙古’, ‘age’: 20.0, ‘gender’: 0.0}
{‘name’: ‘黄蓉’, ‘hometown’: ‘桃花岛’, ‘age’: 18.0, ‘gender’: ‘1’}
{‘name’: ‘华筝’, ‘hometown’: ‘蒙古’, ‘age’: 18.0, ‘gender’: ‘1’}
{‘name’: ‘黄药师’, ‘hometown’: ‘桃花岛’, ‘age’: 40.0, ‘gender’: 0.0}
{‘name’: ‘段誉’, ‘hometown’: ‘大理’, ‘age’: 16.0, ‘gender’: 0.0}
{‘name’: ‘段王爷’, ‘hometown’: ‘大理’, ‘age’: 45.0, ‘gender’: 0.0}
{‘name’: ‘洪七公’, ‘hometown’: ‘华筝’, ‘age’: 18.0, ‘gender’: 0.0}
{‘name’: ‘lufei’, ‘hometown’: ‘zhulu’, ‘age’: 23, ‘gender’: 1}
{‘name’: ‘lufei001’, ‘hometown’: ‘zhulu’, ‘age’: 32, ‘gender’: 0}
{‘name’: ‘lufei002’, ‘hometown’: ‘zhulu’, ‘age’: 335, ‘gender’: 1}

4.1 查询单条数据

ret = client.test.stu.find_one({'name': '郭靖'})
print(ret)

结果：

4.2 查询所有数据

rets = client.test.stu.find({},{'_id':0})  # 查询所有数据，不输出_id字段

结果：

4.3 条件查询

01）$lt：小于

rets = collection.find({'age':{'$lt':20}},{'_id':0})    # $lt:查询年龄小于20的数据，且不输出_id字段

结果：

02）$lte：小于等于

rets = collection.find({'age':{'$lte':16}},{'_id':0})    # $lte:查询年龄小于等于18的数据，且不输出_id字段

结果：

03）$gt：大于

rets = collection.find({'age':{'$gt':23}},{'_id':0})    # $gt:查询年龄大于23的数据，且不输出_id字段

结果：

04）$gte：大于等于

rets = collection.find({'age':{'$gte':23}},{'_id':0})    # $gte:查询年龄大于等于23的数据，且不输出_id字段

结果：

05）$ne：不等于

rets = collection.find({'age':{'$ne':23}},{'_id':0})    # $ne:查询年龄不等于23的数据，且不输出_id字段

结果：

06）等于，默认就是等于的判断

rets = collection.find({'age':23},{'_id':0})    # :查询年龄不# 等于23的数据，且不输出_id字段；默认是等于判断， 没有运算符

结果：

4.4 逻辑运算

01）and运算—且运算

rets = collection.find({'age':{'$ne':35},'name':'黄蓉'},{'_id':0})    # 此示例是逻辑and的运算方式，$ne:查询年龄不等于23的数据，且性别为男性的（gender为1则为男性，为0则为女性），且不输出_id字段

结果：

02）$or运算符—或运算

rets = collection.find({'$or':[{'age':{'$gt':23}},{'gender':1}]},{'_id':0})  # 逻辑or使用方式，查询年龄大于23或性别为男性的人

结果：

03）and与or同时使用

rets = collection.find({'$or':[{'age':{'$gt':23}},{'gender':1}],'name':'黄药师'},{'_id':0})  # 逻辑$or和逻辑and同时使用，查询年龄大于23或性别为男性，且名字叫“黄药师”的人。

结果：

4.5 范围查询使用$in， $nin（不在…内）判断数据是否在某个数组内

rets = collection.find({'age':{'$in':[18,32,33]}},{'_id':0})   # 范围查询，查询年龄为18,32,33的人

结果：

4.6 正则表达式：$regex

rets = client.test.stu.find({"name":{"$regex":"lufei*"}},{'_id':0})       # 通过正则表达式查询多条数据,且不输出_id字段

结果：

4.7 自定义查询

rets = collection.find({'$where':'function() {return this.age > 30;}'})           # 自定义查询，查询年龄大于30的学生

结果：

4.8 ship和limit

01）limit()

rets = collection.find().limit(2)   # limit(num)限制，查询前两个

结果：

02）skip()

rets = collection.find().skip(10)   # skip(num)跳过多少,跳过前10条，查询后面的。

结果：

03 limit()和skip同时使用

rets = collection.find().limit(3).skip(10)    # 同时使用skip()和limit(),这两条效果相同，都是先ship后limit。但是先使用skip在使用limit的效率要高于前者

结果：

4.9 投影：在查询到的返回结果中，只选择必要的字段

rets = collection.find({},{'_id':0,'name':1,'gender':1})  # 投影，只输出name和gender两个字段

结果：

5、Mongodb的更新：$set

更新单条数据：collection.update_one({'name':'lufei'},{"$set":{'name':'feilu'}})

结果：

更新多条数据：collection.update_many({'name':'gj'},{"$set":{"name":"guojin"}})或单行方式：collection.update_many({'name':'gj'},{"$set":{"name":"guojin"}})

结果：

6、Mongodb删除数据

collection.delete_one({'name':'lufei5'})  # 删除单条数据
collection.delete_many({'name':{'$regex':"lufeia*"}})   # 删除多条数据