python Demo 01 爬取大学名称

对icourse、学堂在线等网页中的大学名称进行爬取：

# to clean data from icourses
fi = open("icourses.txt","r",encoding="utf-8")
ls = []
for line in fi:if "alt" in line:tokens = line.split('"')uname = tokens[-2]if "大学生" in uname:continueif "大学" in uname or "学院" in uname:ls.append(uname)
print("".join(ls))
print(len(ls))
fi.close()#to claean  data from xuetangx
fi = open("xuetangx.txt","r",encoding="utf-8")
U = set()  #使用集合去重
for line in fi:if "慕课" in line:continueif "大学" in line or "学院" in line:U.add(line.strip("\n"))
print("".join(U))
print(len(U))
fi.close()# to claen data from cnmooc
fi = open("cnmooc.txt","r",encoding="utf-8")
U = set()
for line in fi:if "大学" in line or "学院" in line:U.add(line.strip("/n"))
print("".join(U))
print(len(U))
fi.close()#汇总结果
ic = '''          '''
xt = '''          '''
cm = '''          '''
U =set()
U |= set(ic.split())
U |= set(xt.split())
U |= set(cm.split())
ls = list(U)
ls.sort()
print("",join(ls))
print(len(ls))

python Demo 01 爬取大学名称相关推荐

python实例，python网络爬虫爬取大学排名!
源代码: import requests from bs4 import BeautifulSoup import bs4def getHTMLText(url):try:r = requests.g ...
Python爬虫 - scrapy - 爬取妹子图 Lv1
0. 前言这是一个利用python scrapy框架爬取网站图片的实例,本人也是在学习当中,在这做个记录,也希望能帮到需要的人.爬取妹子图的实例打算分成三部分来写,尝试完善实用性. 系统环境 Sys ...
python爬电影_使用Python多线程爬虫爬取电影天堂资源
最近花些时间学习了一下Python,并写了一个多线程的爬虫程序来获取电影天堂上资源的迅雷下载地址,代码已经上传到GitHub上了,需要的同学可以自行下载.刚开始学习python希望可以获得宝贵的意见. ...
Python爬虫实战爬取租房网站2w+数据-链家上海区域信息（超详细）
Python爬虫实战爬取租房网站-链家上海区域信息(过程超详细) 内容可能有点啰嗦大佬们请见谅后面会贴代码带火们有需求的话就用吧正好这几天做的实验报告就直接拿过来了,我想后面应该会有人用的到吧 ...
python爬虫能爬取微信密码吗_爬虫如何爬取微信公众号文章
下篇文章:python爬虫如何爬取微信公众号文章(二) 下下篇连接python爬虫如何实现每天爬取微信公众号的推送文章因为最近在法院实习,需要一些公众号的数据,然后做成网页展示出来便于查看,之前我倒 ...
python爬虫实战--爬取猫眼专业版-实时票房
小白级别的爬虫入门最近闲来无事,发现了猫眼专业版-实时票房,可以看到在猫眼上映电影的票房数据,便验证自己之前学的python爬虫,爬取数据,做成.svg文件. 爬虫开始之前我们先来看看猫眼专业版- ...
Python之数据爬取数据可视化
前言临近中秋,月饼的销量持续增长,然而不仅仅是中秋节,非旺季也有很多月饼爱好者在电商平台购买月饼.本文利用淘宝上的公开数据,应用 python 对月饼非旺季的销售状况进行分析,并对统计结果进行数据可 ...
python爬虫爬取音乐_利用python爬虫实现爬取网易云音乐热歌榜
利用python爬虫实现爬取网易云音乐热歌榜发布时间:2020-11-09 16:12:28 来源:亿速云阅读:102 作者:Leah 本篇文章给大家分享的是有关利用python爬虫实现爬取网易云 ...
基于golang的爬虫demo，爬取微博用户的粉丝和关注者信息
基于golang的爬虫demo,爬取微博用户的粉丝和关注者信息注意:仅供学习交流,任何非法使用与作者无关! 目录基于golang的爬虫demo,爬取微博用户的粉丝和关注者信息一.背景与取材二. ...

python Demo 01 爬取大学名称

python Demo 01 爬取大学名称相关推荐

最新文章

热门文章