借阅书籍python_pythonMongoDB爬取图书馆借阅记录
直接上需求和代码
首先是需要爬取的链接和网页:http://211.81.31.34/uhtbin/cgisirsi/x/0/0/57/49?user_id=LIBSCI_ENGI&password=LIBSC
登陆进去之后进入我的账号——借阅、预约及申请记录——借阅历史就可以看到所要爬取的内容
然后将借阅历史中的题名、著者、借阅日期、归还日期、索书号存入Mongodb数据库中,以上便是这次爬虫的需求。
下面开始:
各软件版本为:
python 2.7.11
MongoDb 3.2.1
Pycharm 5.0.4
MongoDb Management Studio 1.9.3
360极速浏览器 懒得查了
一、登陆模块
python中的登陆一般都是用urllib和urllib2这两个模块,首先我们要查看网页的源代码:
借阅证号码:
个人密码:
查找网页中的form表单中的action,方法为post,但是随后我们发现,该网页中的action地址不是一定的,是随机变化的,刷新一下就变成了下面这样子的:
我们可以看到/?ps到/之间的字符串是随机变化的(加粗部分),于是我们需要用到另一个模块——BeautifulSoup实时获取该链接:
url = "http://211.81.31.34/uhtbin/cgisirsi/x/0/0/57/49?user_id=LIBSCI_ENGI&password=LIBSC"
res = urllib2.urlopen(url).read()
soup = BeautifulSoup(res, "html.parser")
login_url = "http://211.81.31.34" + soup.findAll("form")[1]['action'].encode("utf8")
之后就可以正常使用urllib和urllib来模拟登陆了,下面列举一下BeautifulSoup的常用方法,之后的HTML解析需要:
1.soup.contents 该属性可以将tag的子节点以列表的方式输出
2.soup.children 通过tag的.children生成器,可以对tag的子节点进行循环
3.soup.parent 获取某个元素的父节点
4.soup.find_all(name,attrs,recursive,text,**kwargs) 搜索当前tag的所有tag子节点,并判断是否符合过滤器的条件
5.soup.find_all("a",class="xx") 按CSS搜索
6.find(name,attrs,recursive,text,**kwargs) 可以通过limit和find_all区分开
二、解析所获得的HTML
先看看需求中的HTML的特点:
做人要低调,说话要幽默 孙郡铠编著
孙郡铠 编著
2015/9/10,16:16
2015/9/23,15:15
B821-49/S65
我用一生去寻找 潘石屹的人生哲学 潘石屹著
潘石屹, 1963- 著
2015/9/10,16:16
2015/9/25,15:23
B821-49/P89
由所有代码,注意这行:
该标签表示下面的内容将是借阅书籍的相关信息,我们采用遍历该网页所有子节点的方法获得id="tblSuspensions"的内容:
for i, k in enumerate(BeautifulSoup(detail, "html.parser").find(id='tblSuspensions').children):
# print i,k
if isinstance(k, element.Tag):
bookhtml.append(k)
# print type(k)
三、提取所需要的内容
这一步比较简单,bs4中的BeautifulSoup可以轻易的提取:
for i in bookhtml:
# p
# rint i
name = i.find(class_="accountstyle").getText()
author = i.find(class_="accountstyle author", align="left").getText()
Date_Charged = i.find(class_="accountstyle due_date", align="center").getText()
Date_Returned = i.find(class_="accountstyle due_date", align="left").getText()
bookid = i.find(class_="accountstyle author", align="center").getText()
bookinfo.append(
[name.strip(), author.strip(), Date_Charged.strip(), Date_Returned.strip(), bookid.strip()])
这一步采用getText()的方法将text中内容提取出来;strip()方法是去掉前后空格,同时可以保留之间的空格,比如:s=" a a ",使用s.strip()之后即为"a a"
四、连接数据库
据说NoSQL以后会很流行,随后采用了Mongodb数据库图图新鲜,结果一折腾真是烦,具体安装方法在上一篇日记中记载了。
1.导入python连接Mongodb的模块
import pymongo
2.创建python和Mongodb的链接:
# connection database
conn = pymongo.MongoClient("mongodb://root:root@localhost:27017")
db = conn.book
collection = db.book
3.将获得的内容保存到数据库:
user = {"_id": xuehao_ben,
"Bookname": name.strip(),
"Author": author.strip(),
"Rent_Day": Date_Charged.strip(),
"Return_Day": Date_Returned.strip()}
j += 1
collection.insert(user)
上面基本完成了,但是爬虫做到这个没有意义,重点在下面
五、获取全校学生的借阅记录
我们学校的图书馆的密码都是一样的,应该没有人闲得无聊改密码,甚至没有人用过这个网站去查询自己的借阅记录,所以,做个循环,就可以轻易的获取到全校的借阅记录了,然后并没有那么简单,str(0001)强制将int变成string,但是在cmd的python中是报错的(在1位置),在pycharm前面三个0是忽略的,只能用傻瓜式的四个for循环了。好了,下面是所有代码:
# encoding=utf8
import urllib2
import urllib
import pymongo
import socket
from bs4 import BeautifulSoup
from bs4 import element
# connection database
conn = pymongo.MongoClient("mongodb://root:root@localhost:27017")
db = conn.book
collection = db.book
# 循环开始
def xunhuan(xuehao):
try:
socket.setdefaulttimeout(60)
s = socket.socket(socket.AF_INET, socket.SOCK_STREAM)
s.bind(("127.0.0.1", 80))
url = "http://211.81.31.34/uhtbin/cgisirsi/x/0/0/57/49?user_id=LIBSCI_ENGI&password=LIBSC"
res = urllib2.urlopen(url).read()
soup = BeautifulSoup(res, "html.parser")
login_url = "http://211.81.31.34" + soup.findAll("form")[1]['action'].encode("utf8")
params = {
"user_id": "账号前缀你猜你猜" + xuehao,
"password": "密码你猜猜"
}
print params
params = urllib.urlencode(params)
req = urllib2.Request(login_url, params)
lianjie = urllib2.urlopen(req)
# print lianjie
jieyue_res = lianjie.read()
# print jieyue_res 首页的HTML代码
houmian = BeautifulSoup(jieyue_res, "html.parser").find_all('a', class_='rootbar')[1]['href']
# print houmian
houmian = urllib.quote(houmian.encode('utf8'))
url_myaccount = "http://211.81.31.34" + houmian
# print url_myaccount
# print urllib.urlencode(BeautifulSoup(jieyue_res, "html.parser").find_all('a',class_ = 'rootbar')[0]['href'])
lianjie2 = urllib.urlopen(url_myaccount)
myaccounthtml = lianjie2.read()
detail_url = ''
# print (BeautifulSoup(myaccounthtml).find_all('ul',class_='gatelist_table')[0]).children
print "连接完成,开始爬取数据"
for i in (BeautifulSoup(myaccounthtml, "html.parser").find_all('ul', class_='gatelist_table')[0]).children:
if isinstance(i, element.NavigableString):
continue
for ii in i.children:
detail_url = ii['href']
break
detail_url = "http://211.81.31.34" + urllib.quote(detail_url.encode('utf8'))
detail = urllib.urlopen(detail_url).read()
# print detail
bookhtml = []
bookinfo = []
# 解决没有借书
try:
for i, k in enumerate(BeautifulSoup(detail, "html.parser").find(id='tblSuspensions').children):
# print i,k
if isinstance(k, element.Tag):
bookhtml.append(k)
# print type(k)
print "look here!!!"
j = 1
for i in bookhtml:
# p
# rint i
name = i.find(class_="accountstyle").getText()
author = i.find(class_="accountstyle author", align="left").getText()
Date_Charged = i.find(class_="accountstyle due_date", align="center").getText()
Date_Returned = i.find(class_="accountstyle due_date", align="left").getText()
bookid = i.find(class_="accountstyle author", align="center").getText()
bookinfo.append(
[name.strip(), author.strip(), Date_Charged.strip(), Date_Returned.strip(), bookid.strip()])
xuehao_ben = str(xuehao) + str("_") + str(j)
user = {"_id": xuehao_ben,
"Bookname": name.strip(),
"Author": author.strip(),
"Rent_Day": Date_Charged.strip(),
"Return_Day": Date_Returned.strip()}
j += 1
collection.insert(user)
except Exception, ee:
print ee
print "此人没有借过书"
user = {"_id": xuehao,
"Bookname": "此人",
"Author": "没有",
"Rent_Day": "借过",
"Return_Day": "书"}
collection.insert(user)
print "********" + str(xuehao) + "_Finish"+"**********"
except Exception, e:
s.close()
print e
print "socket超时,重新运行"
xunhuan(xuehao)
# with contextlib.closing(urllib.urlopen(req)) as A:
# print A
# print xuehao
# print req
for i1 in range(0, 6):
for i2 in range(0, 9):
for i3 in range(0, 9):
for i4 in range(0, 9):
xueha = str(i1) + str(i2) + str(i3) + str(i4)
chushi = '0000'
if chushi == xueha:
print "=======爬虫开始=========="
else:
print xueha + "begin"
xunhuan(xueha)
conn.close()
print "End!!!"
下面是Mongodb Management Studio的显示内容(部分):
总结:这次爬虫遇到了很多问题,问了很多人,但是最终效果还不是很理想,虽然用了try except语句,但是还是会报错10060,连接超时(我只能质疑学校的服务器了TT),还有就是,你可以看到数据库中列的顺序不一样=。=这个我暂时未理解,希望大家可以给出解决方法。
以上就是本文的全部内容,希望对大家的学习有所帮助。
借阅书籍python_pythonMongoDB爬取图书馆借阅记录相关推荐
- python爬虫——爬取图书馆借阅数据
环境 python3.6 BeautifulSoup4 -- v4.6 分析 由于图书管理系统很多人密码都未改,为默认密码,刚好最近在学爬虫,想爬出来试试手,并没有任何恶意,侵删. 本次主要包含以下内 ...
- Python爬虫实战---抓取图书馆借阅信息
Python爬虫实战---抓取图书馆借阅信息 原创作品,引用请表明出处:Python爬虫实战---抓取图书馆借阅信息 前段时间在图书馆借了很多书,借得多了就容易忘记每本书的应还日期,老是担心自己会违约 ...
- 爬虫第三弹:图灵社区书籍信息爬取
爬虫第三弹:图灵社区书籍信息爬取 一.目的:将图灵社区所有书籍的网址.书籍名称,作者,译者,阅读数,标签,出版日期,定价,页数,印刷方式,出版状态全部爬取下来存入mysql数据库,并导出xml格式,最 ...
- Scrapy爬取二手房成交记录并进行数据分析与展示(一)
Scrapy爬取二手房成交记录并进行数据分析与展示(一) 前言 数据获取 分析html 创建Item 解析Response Item信息爬取 后续Request 数据清洗 保存到数据库 总结 前言 本 ...
- Selenium爬取打卡记录并记录到表格
一篇学会爬取打卡记录,就不用一一就复制粘贴了 背景:老师要求要记录每天的打卡情况,然而人数有点多,不想一一点开记录.那怎么办呢,诶我们可以利用爬虫Selenium来爬取数据 一般是用request来爬 ...
- 豆瓣书籍数据爬取与分析
前言 17年底,买了清华大学出版社出版的<Hadoop权威指南>(第四版)学习,没想到这本书质量之差,超越我的想象,然后上网一看,也是骂声一片.从那个时候其就对出版社综合实力很感兴趣,想通 ...
- python爬虫和数据分析的书籍_豆瓣书籍数据爬取与分析
前言 17年底,买了清华大学出版社出版的<Hadoop权威指南>(第四版)学习,没想到这本书质量之差,超越我的想象,然后上网一看,也是骂声一片.从那个时候其就对出版社综合实力很感兴趣,想通 ...
- python爬取豆瓣书籍_Python 爬取豆瓣读书标签下的书籍
这几天想爬下豆瓣读书时发现 github 上他人分享的源码都有一定年份了,豆瓣读书的页面貌似也稍微改了,于是就在前人轮子的基础上改进一下重新爬下豆瓣读书.Python 版本是 3.7. 1.爬取信息 ...
- Python爬虫入门教程 94-100 帮粉丝写Python爬虫之【微信读书书籍信息爬取】
X同学发私信说想要微信读书上的书籍清单做测试用,吓我一跳,原以为是要爬取APP呢,刚换了新笔记本难道要配置新的开发环境,结果是爬取一个PC端的网站,虚惊一场. 爬虫百例教程导航链接 : https:/ ...
- Scrapy中selenium的应用-----并通过京东图书书籍信息爬取项目进行实操!
引言------ 在通过scrapy框架进行某些网站数据爬取的时候,往往会碰到页面动态数据加载(ajax)的情况发生,如果直接使用scrapy对其url发请求,是绝对获取不到那部分动态加载出来的数据值 ...
最新文章
- Get/POST方法提交的长度限制
- 移动端开发问题及技巧汇总
- Hibernate关于父类子类的映射
- mysql parameter_C#MySqlParameter问题
- mysql workbench启动_怎么启动mysql workbench
- C语言课后习题(15)
- TreeView 用法(有代码)
- 10月31 安装redis报错
- 【转载】斐讯K2P B1刷入金梅林固件,加koolproxy、S-S R等【V1.0尝鲜版】
- Win11系统svchost.exe一直在下载怎么办?
- Neo4j之导入CSV大文件 periodic commit
- MOS管与三极管的区别,你务必牢记于心
- 【Web前端HTML5CSS3】05-样式继承与其他概念
- 基于Vue+Node+SSM+MySQL的流浪动物救助平台设计与实现
- 128、函数接口类---Consumer
- 最新阿里云服务器和GPU服务器长期优惠活动价格表
- 报错:SyntaxError: Unexpected token u in JSON at position 0 at JSON.parse (<anonymous>)
- 6.数字图像处理及MATLAB实现-马赛克
- web高德地图路线规划(多条)
- 视频 TS 内容详细讲解