python爬虫和医学数据_【爬虫】(八)Python之爬虫和数据小解析
date: 2017-03-14 21:08:42
Holi需要。
之前爬的课表,现在需要将那些个一连串的字符串分割成想要的单独的数据,做个性化推送。
程序的前面和之前一样,模拟登录。
在处理选课/改课这个网页的时候,还是蛮复杂的。
遇神杀神,见鬼杀鬼。
爬虫
def Store(self):
# 改课选课
grade_page = self.session.get(
"http://yjsxt.xidian.edu.cn/electiveForwardAction.do")
bsObj = BeautifulSoup(grade_page.text, "html.parser")
table = bsObj.findAll("table", {"class": "list_2title"})[0]
rows = table.findAll("tr")
# 删除特定的标签和其标签下的内容
# 方法:
# 去除标签:[s.extract() for s in soup('script')]
[s.extract() for s in bsObj.findAll(
'td', attrs={'class': "special_background textLeft"})]
csvFile = open('./xuankegaike.csv', 'w', newline='', encoding='utf-8')
writer = csv.writer(csvFile)
writer.writerow(('课程编号', '课程名称', '学分', '学位课', '上课学期',
'任课教师', '校区', '上课地点/星期/节次/周次', '分班号'))
csvRow = []
try:
for row in rows:
csvRow = []
# for cell in row.findAll('td')[:-1]:
for cell in row.findAll('td', attrs={'valign': "middle"})[:-1]:
csvRow.append(cell.get_text().strip().replace(' ', ''))
writer.writerow(csvRow)
finally:
csvFile.close()
csvFile1 = open('./xuankegaike.csv', 'r', encoding='utf-8')
reader = csv.DictReader(csvFile1)
正个页面有一张大table,但是里面分布的真不整齐。
新方法s.extract():
删除特定的标签和其标签下的内容
方法:
去除标签:[s.extract() for s in soup('script')]
s.extract()方法可以删除标签或指定标签下的内容。
获取指定td下的内容:
row.findAll('td', attrs={'valign': "middle"})[:-1]:
这几次爬虫对于切片还是用的很好的。
爬回待处理table:
课程编号,课程名称,学分,学位课,上课学期,任课教师,校区,上课地点/星期/节次/周次,分班号
G00FL1020,综合英语,2,是,2016秋,培养办,北校区,,免修班
G00HA1012,科学道德与学风,0,是,2016秋,梁昌洪,南校区,,不分班
G00HA1010,中国特色社会主义理论与实践,2,是,2016秋,肖群,北校区,"J-201/星期一/(9-11)2,3,4,5,7,8,9,10,11,12,13",02
G00HA1011,自然辩证法概论,1,是,2017春,朱丹琼,北校区,"J-205/星期一/(3-4)2,3,4,5,7,8,9,11,12",07
G00FL1023,英语听说,1,是,2016秋,姜宁,北校区,"西-508/星期二/(7-8)2,3,4,5,7,8,9,10,11,12,13,14,15,16,17,18",07
G00FL1026,英美文化,1,是,2017春,邹甜甜,北校区,"西-514/星期一/(1-2)2,3,4,5,7,8,9,11,12,13,15,16,17,18",01
Z00MS1031,工程优化方法及应用,3,是,2016秋,寇晓丽,北校区,"J-205/星期四/(9-11)2,4,5,7,8,9,10,11,13,14,15,16,17,18,19",01
Z08EE1011,算法设计技术与方法,3,是,2016秋,公茂果,北校区,"J-304/星期三/(9-11)18J-304/星期五/(9-11)2,5,7,8,9,10,11,12,13,14,15,16,17,18,20",不分班
Z08TE1107,宽带无线通信,3,是,2016秋,盛敏,北校区,"J-204/星期一/(3-4)2,3,4,5,7,8,9,10,11,12,13,14,15,16,17,18J-204/星期四/(1-2)2,4,8,10,12,14,16,18",不分班
Z08TE1140,信号检测与估值理论,3,是,2017春,李颖,北校区,"J-208/星期三/(3-4)2,3,4,5,6,7,8,9,10,11,12,13,14,15,16,17J-208/星期五/(1-2)2,4,6,8,10,12,14,16",不分班
G00HA0040,体育,0.5,否,2016秋,白光斌,北校区,"体育馆/星期三/(3-4)3,4,5,7,8,9,10,11,12,13",01
G00HA0041,体育,0.5,否,2017春,白光斌,北校区,"体育馆/星期三/(5-6)2,3,4,5,6,7,8,9,10,11",02
Z08TE1222,扩频通信系统,2,否,2016秋,刘乃安,北校区,"J-205/星期二/(9-11)4,5,7,8,9,10,11,12,13,14,15",不分班
G00HA1016,知识产权与专利申请,1,否,2016秋,王喜媛,北校区,"J-101/星期二/(1-2)3,4,5,7,8,9,10,11,12",01
G00GS1001,企业实习报告,2,否,2016秋,培养办,北校区,,不分班
G00GS1002,开题报告,2,否,2016秋,培养办,北校区,,不分班
G00GS1003,中期检查,2,否,2016秋,培养办,北校区,,不分班
Z08TE1212,MIMO系统与OFDM传输技术,2,否,2016秋,赵力强,北校区,"J-204/星期二/(5-6)3,4,5,7,8,9,10,11,12J-204/星期四/(5-6)4,5,7,8,9,10,11",不分班
Z08TE1216,图像工程,3,否,2016秋,卢朝阳,李静,北校区,"J-208/星期五/(5-8)2,4,5,7,8,9,10,11,12,13,14,15",不分班
Z08EE1238,科学精神与方法专题讲座,2,否,2017春,梁昌洪,北校区,"图书馆报告厅(3楼)/星期四/(9-11)3,4,5,6,7,8,9,10,11,12,13",不分班
前几项都是可以直接存到MySQL,现在要做的就是把 上课地点/星期/节次/周次 这一栏切割后存进MySQL。
方法:split()
首先分析爬回的table。
里面的上课地点/星期/节次/周次可以分为三类:
空。比如综合英语,科学道德与学分。
一周只有一节课的课。
一周有两节课的课。
讲道理是要按照三种方法来对字符型切割。
但是该怎么来分类。
我的第一个思路是用:try,except。
但是这几个并不是用来处理选择结构的吧。
但是try,except,else,finally还是很好用的。
选择结构?难道不应该是if,else吗?
对!就是它!
对这几种不同类型的上课地点/星期/节次/周次字符串的长度进行分析,三类的长度大概如下:
第一类:长度为0;
第二类:长度为50~60;
第三类:长度60~90.
这样一来就按照上课地点/星期/节次/周次的长度来判断分割方法。
# # 使用 execute() 方法执行 SQL 查询
try:
if len(e['上课地点/星期/节次/周次']) > 60:
cursor.execute(sql, (
e['课程编号'].strip(),
e['课程名称'].strip(),
e['学分'].strip(),
e['学位课'].strip(),
e['上课学期'].strip(),
e['任课教师'].strip(),
e['校区'].strip(),
e['上课地点/星期/节次/周次'].split("/")[0],
e['上课地点/星期/节次/周次'].split("/")[1],
e['上课地点/星期/节次/周次'].split(
"(")[1].split(")")[0][0],
e['上课地点/星期/节次/周次'].split("/")[2][5:-
5].lstrip(')'),
e['分班号'].strip()))
# 存两次
cursor.execute(sql, (
e['课程编号'].strip(),
e['课程名称'].strip(),
e['学分'].strip(),
e['学位课'].strip(),
e['上课学期'].strip(),
e['任课教师'].strip(),
e['校区'].strip(),
e['上课地点/星期/节次/周次'].split("/")[2][-5:],
e['上课地点/星期/节次/周次'].split("/")[3],
e['上课地点/星期/节次/周次'].split("/")[4][1],
e['上课地点/星期/节次/周次'].split(
"/")[4][5:].lstrip(')'),
e['分班号'].strip()))
else:
cursor.execute(sql, (
e['课程编号'].strip(),
e['课程名称'].strip(),
e['学分'].strip(),
e['学位课'].strip(),
e['上课学期'].strip(),
e['任课教师'].strip(),
e['校区'].strip(),
e['上课地点/星期/节次/周次'].split("/")[0],
e['上课地点/星期/节次/周次'].split("/")[1],
e['上课地点/星期/节次/周次'].split(
"(")[1].split(")")[0][0],
e['上课地点/星期/节次/周次'].split(
"/")[2][5:].lstrip(')'),
e['分班号'].strip()))
except:
# else len(e['上课地点/星期/节次/周次']) == 0:
cursor.execute(sql, (
e['课程编号'].strip(),
e['课程名称'].strip(),
e['学分'].strip(),
e['学位课'].strip(),
e['上课学期'].strip(),
e['任课教师'].strip(),
e['校区'].strip(),
e['上课地点/星期/节次/周次'],
e['上课地点/星期/节次/周次'],
e['上课地点/星期/节次/周次'],
e['上课地点/星期/节次/周次'],
e['分班号'].strip()))
if
下面包含两部分:
字符串长度大于60的,即一周有两节课的情况。
一周有两节课的情况,将该课程在数据库存两次,但是两次的上课时间、地点、周次是不一样的。
else
处理长度小于60的,即一周只要一节课的课。
except
当前两项都出现异常时,其必然是第一类情况,字符串为空,直接存进就可以。
split
split的几种用法:
split("/")[0]:按照“/”分割,取第一个切片。
split("(")[1].split(")")[0][0]
取“()”内的字符串的第一个。
最后
将里面的简单字符串都处理为数字。
for e in reader:
# 是否是学位课
if e['学位课'] == '是':
e['学位课'] = '1'
else:
e['学位课'] = '0'
# 学期
if e['上课学期'] == '2016秋':
e['上课学期'] = '0'
else:
e['上课学期'] = '1'
存进数据库了。
这次还是发现了很多的问题。
归根结底,还是基础不太好,是得花时间在研习下Python基础。
python爬虫和医学数据_【爬虫】(八)Python之爬虫和数据小解析相关推荐
- python爬虫编程100例_哪种Python程序员最赚钱?爬虫数据告诉你!
世界上有三种宝贵的东西: 知识.粮食和友谊. 那么,1 块钱,你能买到什么呢? 骑一次共享单车 买 2 包辣条 1/190 件格子衬衫 1/299 支口红 1/10099 个 iPhone XS 但是 ...
- python双色球的开发原理_我用Python爬虫获取数据,分析双色球中奖概率,差点就中了...
很多人喜欢买彩票,但是经常买彩票的人要么想着一夜暴富,要么想着改变命运,要么是娱乐娱乐,但是小编也要提醒大家一句,哪里能赚钱,哪里就有奸商,做事须谨慎. 前两天,在网上看到一个有意思的问题:彩票预测靠 ...
- python爬取京东书籍_一个scrapy框架的爬虫(爬取京东图书)
我们的这个爬虫设计来爬取京东图书(jd.com). scrapy框架相信大家比较了解了.里面有很多复杂的机制,超出本文的范围. 1.爬虫spider tips: 1.xpath的语法比较坑,但是你可以 ...
- python爬虫崔庆才_崔庆才老师爬虫原理讲解笔记
目录: 一.什么是爬虫? 二.爬虫的基本流程 三.什么是Request和Response? 四.Request中包含什么? 五.Response中包含什么? 六.能抓怎样的数据 七.解析方式 八.为啥 ...
- python爬虫分布式怎么构造_如何构建一个分布式爬虫:实战篇
本篇文章将是『如何构建一个分布式爬虫』系列文章的最后一篇,拟**从实战角度**来介绍如何构建一个*稳健的分布式微博爬虫*.这里我*没敢谈高效*,抓过微博数据的同学应该都知道微博的反爬虫能力,也知道微博 ...
- python爬虫代理的使用_从零开始写Python爬虫 --- 2.4 爬虫实践:代理的爬取和验证...
爬网站的时候,由于各种原因,ip被锁了,这个时候我们就需要通过代理来突破封锁.网上有很多代理网站,付费和免费的都有,这次我们就来写一个scrapy爬虫,爬一些免费的代理下来用. 目标分析: 本次爬取了 ...
- node爬取app数据_从零开始写一个node爬虫(上)—— 数据采集篇
爬虫相信大家都知道,这里我们从一个空的文件夹开始,也来写一写我们自己的爬虫程序吧. github入口 下一篇--数据分析篇入口 爬虫毕竟涉及到数据的爬取,所以其实有一个道德的约束,那就是Robots协 ...
- python爬虫工资高吗_月薪2万的爬虫工程师,Python需要学到什么程度?
Python 爬虫学到什么样就可以找工作了? 非计算机专业,正在自学python,很多教程里提到的网站的爬虫都会写了.比如拉勾网,豆瓣,实习僧,京东,淘宝,某妹子图等等--但是因为不是计算机专业的,也 ...
- 玩转python网络爬虫 黄永祥_玩转Python网络爬虫
第1章理解网络爬虫 1 1.1 爬虫的定义 1 1.2 爬虫的类型 2 1.3 爬虫的原理 3 1.4 爬虫的搜索策略 5 1.5 反爬虫技术及解决方案 6 1.6 本章小结 8 第2章爬虫开发基础 ...
- 用python做数据处理怎么挣钱_个人利用python爬虫技术怎么挣钱
爬虫技术挣钱方法2:整合信息.整合数据做产品 简单说就是抓取分散在各个角落的信息,整合后用网站或微信或APP呈现出来,以通过网盟广告,电商佣金,直接售卖电商产品或知识付费来变现. 别被产品这个词吓到, ...
最新文章
- 2015级C++第14周程序阅读 STL中的简单容器和迭代器
- java.net.UnknownHostException: unknown host:xxxx异常解决办法
- java web七:http协议
- docker 安装mysql
- python 端口扫描
- python实现ping命令_[小菜随笔]python tkinter实现简单的ping命令
- ERP数据口径不一,管理层不好决策?你该看看这5个数字化场景
- 分享几个益智题......看你能做对吗?
- caffe matlab 崩溃,终于搞定caffe了(window官方版win7+VS2013)
- Subclipse与Subversive比较
- 女人不适合做产品经理?
- 历史上十大著名思想实验
- iphonex计算机隐藏功能,iPhoneX如何隐藏小白条 iPhoneX隐藏小白条方法【步骤介绍】...
- 龙ol一键端服务器维护,龙OL一键端纯一键点两下OK问题及解答汇总贴.doc
- HBBuilderProjest逆向分析与安全性扯淡
- 虚拟机磁盘重新分区增加Docker磁盘空间
- eos安装区块链开发环境
- partition by用法
- emeditor文本编辑器 秘钥
- Getting started with wxPython