python爬虫豆瓣电影我不是药神的评价_Python | 爬取《我不是药神》电影热门短评...

1.目标数据：

数据来源：

目标描述：

建立一个爬虫项目，抓取豆瓣上对电影《我不是药神》的热门短评，采集字段包括：

用户昵称

评论时间

觉得有用的人数

短评内容

2.开始爬虫

采集策略：

本次采集数据拟使用Requests库的requests.get()函数自动爬取html页面，然后使用Beautifulsoup库对下载的“标签树”html文本进行解析和遍历。

实现模拟登陆：

由于豆瓣设有反爬虫机制，若未登录的话则一次只能爬取60条评论，所以本次爬虫获取数据最主要的一个部分是实现模拟登陆：

def Login(headers,loginUrl,formData):

r = s.post(loginUrl, data=formData, headers=headers) # 提交登录信息

print (r.url)

print (formData["redir"])

if r.url == formData["redir"]:

print ("登陆成功") # 若登录后返回的页面是想要爬取的页面则说明登录成功

else:

print ("第一次登陆失败")

page = r.text

soup = BeautifulSoup(page, "html.parser")

captchaAddr = s

python爬虫豆瓣电影我不是药神的评价_Python | 爬取《我不是药神》电影热门短评...相关推荐

Python爬虫学习第三章-4.3-使用xpath解析爬取全国城市名称
Python爬虫学习第三章-4.3-使用xpath解析爬取全国城市名称这一节主要是使用xpath解析爬取全国城市名称这里使用的网址是:空气质量历史数据查询这一个案例体现的点主要是xpat ...
【爬虫+数据可视化毕业设计：英雄联盟数据爬取及可视化分析，python爬虫可视化/数据分析/大数据/大数据屏/数据挖掘/数据爬取，程序开发-哔哩哔哩】
[爬虫+数据可视化毕业设计:英雄联盟数据爬取及可视化分析,python爬虫可视化/数据分析/大数据/大数据屏/数据挖掘/数据爬取,程序开发-哔哩哔哩] https://b23.tv/TIoy6hj
【【数据可视化毕业设计：差旅数据可视化分析，python爬虫可视化/数据分析/大数据/大数据屏/数据挖掘/数据爬取，程序开发-哔哩哔哩】-哔哩哔哩】 https://b23.tv/iTt30QG
[[数据可视化毕业设计:差旅数据可视化分析,python爬虫可视化/数据分析/大数据/大数据屏/数据挖掘/数据爬取,程序开发-哔哩哔哩]-哔哩哔哩] https://b23.tv/iTt30QG ht ...
零基础入门python爬虫之《青春有你2》选手信息爬取
零基础入门python爬虫之<青春有你2>选手信息爬取完成<青春有你2>选手图片爬取,生成选手图片的绝对路径并输出,统计爬取的图片总数量.使用工具:requests模块.Be ...
python爬虫教程（五）：解析库bs4及爬取实例
大家好,今天分享的是解析库中的bs4,本文章的目的是让你知道如何使用bs4,并且附带爬取实例. 目录一.bs4简介二.安装及初始印象 1.安装 2.解析器 3.初始印象三.选择元素的方法 1.方 ...
python爬虫之Scrapy介绍八——Scrapy-分布式（以爬取京东读书为示例）
Scrapy-分布式(scrapy-redis)介绍 1 Scrapy-分布式介绍 1.1 Scrapy-redis工作原理 1.2 Scrapy-redis 安装和基本使用 1.2.1 安装 1.2 ...
python爬虫你们最爱的YY小姐姐，这不爬取下来看看？
本文的文字及图片来源于网络,仅供学习.交流使用,不具有任何商业用途,版权归原作者所有,如有问题请及时联系我们以作处理 ( 想要学习Python?Python学习交流群:1039649593,满足你的需 ...
Python爬虫入门实例五之淘宝商品信息定向爬取(优化版)
文章目录写在前面一.爬取原页面二.编程思路 1.功能描述 2.程序的结构设计三.编程过程 1.解决翻页问题 2.编写getHTMLText()函数 3.编写parsePage()函数 (1). ...
python爬虫——用selenium和phantomjs对新浪微博PC端进行爬取（二）
.,.上一篇文章里我选择爬取简单的微博移动端,由于移动端构造简单,一般都优先爬取移动端,且因为是静态页面,我们可以直接使用xpath或者正则表达式搞定,但pc端结构就复杂得多,不能使用前面的方法.这篇 ...

python爬虫豆瓣电影我不是药神的评价_Python | 爬取《我不是药神》电影热门短评...

python爬虫豆瓣电影我不是药神的评价_Python | 爬取《我不是药神》电影热门短评...相关推荐

最新文章

热门文章