python爬取豆瓣电影图片并生成评分柱状图

博主在学习python爬虫后，实现了一个爬取豆瓣电影评分并形成柱状图，并下载电影海报，实现效果如图所示

python爬取电影信息需要按此步骤
模拟浏览器发送请求(获取网页代码)->提取有用的数据->存放于数据库或文件中
首先需要分析获取数据的url

此时打开其headers
访问这个url

https://movie.douban.com/j/search_subjects?type=movie&tag=%E7%83%AD%E9%97%A8&sort=recommend&page_limit=20&page_start=0

网上都是分析其起始页的方式循环访问，这种方式较为麻烦，我们可以修改其每页条数

至此，访问的url便获取成功了

接下来便是编写代码来访问了

def get_data():url = 'https://movie.douban.com/j/search_subjects?type=movie&tag=%E7%83%AD%E9%97%A8&sort=recommend&page_limit=330&page_start=0'headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/71.0.3578.80 Safari/537.36'}json_data = requests.get(url,headers = headers)print(json_data.content)print(json_data.text)data = json_data.textjson_data = json.loads(data)#将数据转化为字典subjects = json_data['subjects']result = []for movie in subjects:row = {'movie_rate': movie['rate'],'movie_name': movie['title'],'movie_url' : movie['url'],'movie_img': movie['cover']}result.append(row)return result

调用获取数据，进行图片下载，图片命名为电影名称.jpg

data=get_data()
for x in data[0:20]:r = requests.get(x['movie_img'])with open('./images/'+x['movie_name']+'.jpg', 'wb') as f:#with是处理异常f.write(r.content)

引入刚刚的test模块，使用pyechart来进行数据视图显示

from pyecharts import Bar
import test
data=test.get_data()
columns=[]
data1=[]
for x in data[0:14]:#数据太多，只截取14条即可columns.append(x['movie_name'])data1.append(x['movie_rate'])
print(columns)
bar = Bar("柱状图", "影片评分")
bar.add('评分',columns, data1,is_stack=True)
bar.render()#默认生成render.html

至此，我们通过python爬取的数据的过程便完成了，通过我们爬取的数据我们可以做数据分析，或者将数据信息保存到我们的数据库，文件中供我们使用。

python爬取豆瓣电影图片并生成评分柱状图相关推荐

python爬取豆瓣电影评论_python 爬取豆瓣电影评论，并进行词云展示及出现的问题解决办法...
def getHtml(url): """获取url页面""" headers = {'User-Agent':'Mozilla/5.0 ( ...
源码大公开！Python爬取豆瓣电影Top250源代码，赶紧收藏！
哈喽~大家好,我是恰恰.不知道是不是有很多小伙伴跟我一样,很喜欢看电影,尤其是那种别人推荐的豆瓣高分电影,所以学Python就有一个好处,用Python爬取豆瓣电影那是分分钟的事,再也不用因为有些电影 ...
python爬取豆瓣电影top250_Python爬虫——爬取豆瓣电影Top250代码实例
利用python爬取豆瓣电影Top250的相关信息,包括电影详情链接,图片链接,影片中文名,影片外国名,评分,评价数,概况,导演,主演,年份,地区,类别这12项内容,然后将爬取的信息写入Excel表中 ...
python爬取豆瓣电影top250的代码_Python爬虫——爬取豆瓣电影Top250代码实例
利用python爬取豆瓣电影Top250的相关信息,包括电影详情链接,图片链接,影片中文名,影片外国名,评分,评价数,概况,导演,主演,年份,地区,类别这12项内容,然后将爬取的信息写入Excel表中 ...
利用python爬取豆瓣电影top250
利用python爬取豆瓣电影top250: 注:本内容只是作为个人学习记录 1.业务分析进入网页https://movie.douban.com/top250 可以看见每部电影都呈现在眼前,点击电影 ...
Python爬取豆瓣电影top250的电影信息
Python爬取豆瓣电影top250的电影信息前言一.简介二.实例源码展示小结前言相信很多小伙伴在学习网络爬虫时,老师们会举一些实例案例讲解爬虫知识,本文介绍的就是经典爬虫实际案例–爬取豆 ...
python 爬取豆瓣电影排名
python 爬取豆瓣电影排名任务要求获取豆瓣电影排名前250信息打包进文件夹代码展示代码如下 import requests#导入requests库 import redef GetHtm ...
python爬取豆瓣电影榜单
python爬取豆瓣电影榜单 python爬取豆瓣电影榜单并保存到本地excel中,以后就不愁没片看了. 目标确定我们想要抓取的电影的相关内容. 抓取豆瓣top250电影的排名.电影名.评价(总结很 ...
python爬取豆瓣电影top250_Python爬虫 - scrapy - 爬取豆瓣电影TOP250
0.前言新接触爬虫,经过一段时间的实践,写了几个简单爬虫,爬取豆瓣电影的爬虫例子网上有很多,但都很简单,大部分只介绍了请求页面和解析部分,对于新手而言,我希望能够有一个比较全面的实例.所以找了很多实 ...

python爬取豆瓣电影图片并生成评分柱状图

python爬取豆瓣电影图片并生成评分柱状图相关推荐

最新文章

热门文章