python3爬虫豆瓣前一百_Python爬虫基础4-豆瓣top100
看了下,很多人都有写如何爬豆瓣,遂当做一个学习课题,写出来看看啊。本文主要分一下几个部分:
分析豆瓣top页面,构建程序结构
依次写出代码
整理代码
分析豆瓣top页面,构建程序结构
1.首先打开网页http://movie.douban.com/top250?start,也就是top页面
然后试着点击到top100的页面,注意带top100的链接依次为
http://movie.douban.com/top250?start=0
http://movie.douban.com/top250?start=25
http://movie.douban.com/top250?start=50
http://movie.douban.com/top250?start=75
2.然后通过查看源码,发现电影名的代码如下:
肖申克的救赎
/ The Shawshank Redemption
如图,因为有一些英文名等描述,通过正则抓取有些干扰,可能还需要后续过滤。
根据以上信息,此程序主要分以下3个步骤:
构建url地址池
抓取top100电影名称
依次打印输出
依次写出代码
1.构建url地址池。代码如下:
import urllib2
import re
# ----------确定url地址池------------
pre_url = 'http://movie.douban.com/top250?start='
top_urls = []
# 因为top100,每页25部电影,故为4页,从零开始
for num in range(4):
top_urls.append(pre_url + str(num * 25))
2.抓取top100电影名称
# ------------抓取top100电影名称----------
top_content = []
top_tag = re.compile(r'(.+?)')
for url in top_urls:
content = urllib2.urlopen(url).read()
pre_content = re.findall(top_tag, content)
# 过滤不符合条件的list,得到最后的top100的list
for item in pre_content:
if item.find(' ') == -1:
top_content.append(item)
3.打印输出
top_num = 1
for item in top_content:
print 'Top' + str(top_num) + ' ' + item
top_num += 1
整理代码
我还是python新手,还没有太多的pythonic思想,也没有代码优化技巧,只能说是整理。
其次,个人习惯,在简单的代码里面我还是喜欢少用函数,尽量不隐藏代码的逻辑。
以下代码请参考,并欢迎提意见,希望得到大家的意见,谢谢!
整理后的代码如下:
# coding=utf-8
'''
本代码为自动抓取豆瓣top100电影代码
@pre_url url地址前缀,在这里为http://movie.douban.com/top250?start=
@top_urls url地址池
@top_tag 为抓取电影名正则表达式
'''
import urllib2
import re
pre_url = 'http://movie.douban.com/top250?start='
top_urls = []
top_tag = re.compile(r'(.+?)')
top_content = []
top_num = 1
# ----------确定url地址池------------
# 因为top100,每页25部电影,故为4页,从零开始
for num in range(4):
top_urls.append(pre_url + str(num * 25))
# ------------抓取top100电影名称,并打印输出----------
top_tag = re.compile(r'(.+?)')
for url in top_urls:
content = urllib2.urlopen(url).read()
pre_content = re.findall(top_tag, content)
# 过滤并打印输出
for item in pre_content:
if item.find(' ') == -1:
print 'Top' + str(top_num) + ' ' + item
top_num += 1
python3爬虫豆瓣前一百_Python爬虫基础4-豆瓣top100相关推荐
- python 豆瓣评论数据分析_Python爬虫实战案例:豆瓣影评大数据分析报告之网页分析...
个人希望,通过这个完整的爬虫案例(预计总共4篇短文),能够让爬虫小白学会怎么做爬虫的开发,所以在高手们看来,会有很多浅显的废话,如果觉得啰嗦,可以跳过一些内容~ 上一篇文章给大家简单介绍了Python ...
- python爬取豆瓣电影信息_Python爬虫入门 | 爬取豆瓣电影信息
这是一个适用于小白的Python爬虫免费教学课程,只有7节,让零基础的你初步了解爬虫,跟着课程内容能自己爬取资源.看着文章,打开电脑动手实践,平均45分钟就能学完一节,如果你愿意,今天内你就可以迈入爬 ...
- python爬虫视频 下载 黑马_Python爬虫能爬视频么(python爬虫零基础视频教程)
Python爬虫能爬视频么 他视频没有的,但是跑了之后你要处理这个视频,就是问题的?你只需要,得到视频的播放地址,还是要把视频完整的下载到本地的.如果只是爬那个视频的下载地址,很简单,如果要下载的话, ...
- 爬虫python下载电影_python爬虫:抓取下载电影文件,合并ts文件为完整视频
目标网站:https://www.88ys.cc/vod-play-id-58547-src-1-num-1.html 反贪风暴4 对电影进行分析 我们发现,电影是按片段一点点加载出来的,我们分别抓取 ...
- python爬虫企业级技术点_Python爬虫必备技术点(一)
爬虫必备技术 面向具有Python基础的Python爬虫爱好者,urllib和requests两个库在实际的项目中应用也非常广泛,不仅用于爬虫技术也可以应用在API接口调用方面.如果需要相关的案例可以 ...
- 爬虫python名词解释_python爬虫
Python爬虫是用Python编程语言实现的网络爬虫,主要用于网络数据的抓取和处理,相比于其他语言,Python是一门非常适合开发网络爬虫的编程语言,大量内置包,可以轻松实现网络爬虫功能. Pyth ...
- python除了爬虫还可以干什么_python爬虫能够干什么
Python爬虫是用Python编程语言实现的网络爬虫,主要用于网络数据的抓取和处理,相比于其他语言,Python是一门非常适合开发网络爬虫的编程语言,大量内置包,可以轻松实现网络爬虫功能. Pyth ...
- python爬虫抓取房产_Python爬虫实战(3):安居客房产经纪人信息采集
1, 引言 Python开源网络爬虫项目启动之初,我们就把网络爬虫分成两类:即时爬虫和收割式网络爬虫.为了使用各种应用场景,该项目的整个网络爬虫产品线包含了四类产品,如下图所示: 本实战是上图中的&q ...
- python爬虫入门必备正则_python 爬虫入门之正则表达式 一
python 正则表达式知识点 正则 常用符号 . : 匹配任意字符,换行符除外 * : 匹配前一个字符 0 次或者无限次 ? : 匹配前一个字符 0次或者1次 .* : 贪心算法 .*? :非贪心 ...
最新文章
- Web前端工程师的一些常见误区
- 使apk具有system权限
- Atitit 大json文件的结构化查看解决方案,高性能的jsonview attilax总结.docx
- 5.4任务进展情况(整理——郑云飞)
- 监听iPhone的通话状态之---CoreTelephony.framework
- 找工作,要工资高的,还是要自己喜欢的?
- pageContext对象和config对象
- Docker基础入门及示例
- 上传项目到GitLab
- atitit.Servlet2.5 Servlet 3.0 新特性 jsp2.0 jsp2.1 jsp2.2新特性
- Python : bitcoin库
- 用Python剪辑视频?太简单了
- linux 取消分区,如何在 Linux 中删除分区 | Linux 中国
- linux ps 简书,Linux小白学习法宝-命令大全第一部分
- html5车牌效果,html中车牌号省份简称输入键盘的示例代码
- win10注入漏洞跳出计算机,win10操作系统本地提权漏洞
- c语言常量指数的正确表示,c语言常量的正确表示方法有哪些
- 响ASO优化的九大因素
- 变量被重复定义的问题的讨论
- keras学习-循环层Recurrent-包装器Wrapper-自己的
热门文章
- amcharts教程
- 临床血液学综合练习题库【2】
- mux decoder selector详解
- 无处安放的野心和能力
- 微信扫一扫中的js安全接口域名的配置
- `Stream`的`Collectors.reducing`与`Collectors.groupingBy`
- jdk8 list Stream groupingBy 分组之后 利用 reducing 求和 BigDecimal
- Exp1 PC平台逆向破解 20164302 王一帆
- 中冠百年|个人如何理财收益最大
- 一篇文让你看懂NB-IoT、LoRa、eMTC、Sigfox及ZigBee的应用场景