python爬虫爬取豆瓣电影排行榜，并写进csv文件，可视化数据分析

#1、爬取内容，写进csv文件
import requests
import re
import csv
#豆瓣电影排行榜，写进csv文件
url = "https://movie.douban.com/top250?start=25"#start确定每次起始位置，每次取25个headers = {"user-agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/94.0.4606.81 Safari/537.36"
}
res = requests.get(url,headers=headers)
page_content=res.text
#.*?表示懒惰匹配，加上括号表示要取匹配的内容，?P<name>表示根据此标记获取匹配的内容，使用下面group时候用
#正则预编译
obj = re.compile(r'<li>.*?<span class="title">(?P<name>.*?)</span>.*?<br>(?P<year>.*?)&nbsp;'r'.*?<span class="rating_num" property="v:average">(?P<score>.*?)</span>'r'.*?<span>(?P<coment>.*?)人评价</span>',re.S)result = obj.finditer(page_content) #生成的内容是个迭代器
f = open("data.csv","a+",encoding="utf-8")
csvwriter = csv.writer(f)for it in result:# print(it.group('name')) #对应?P<name>，可以用过name标记取到匹配的内容# print(it.group('year').strip())#处理年份前面的空格# print(it.group('score'))# print(it.group('coment'))dic = it.groupdict() #把数据装进字典dic['year'] = dic['year'].strip()csvwriter.writerow(dic.values())
print("over")

#2、可视化，取电影和评分import csv
from matplotlib import pyplot
pyplot.rcParams['font.sans-serif'] = ['SimHei']  # 用来正常显示中文标签
f = open("data.csv","r",encoding="utf-8")
csvReader = csv.reader(f)
name,score,year = [],[],[]
for row in csvReader:name.append(row[0])year.append(row[1])score.append(row[2])header_row = next(csvReader)
pyplot.plot(name,score)
pyplot.title("电影排行榜")
pyplot.xlabel("电影")
pyplot.ylabel("评分")
pyplot.xticks(rotation=90)#控制横坐标的方向
pyplot.show()

python爬虫爬取豆瓣电影排行榜，并写进csv文件，可视化数据分析相关推荐

python爬虫爬取豆瓣电影排行榜并通过pandas保存到Excel文件当中
我们的需求是利用python爬虫爬取豆瓣电影排行榜数据,并将数据通过pandas保存到Excel文件当中(步骤详细) 我们用到的第三方库如下所示: import requests import pan ...
Python爬虫爬取豆瓣电影TOP250
Python爬虫爬取豆瓣电影TOP250 最近在b站上学习了一下python的爬虫,实践爬取豆瓣的电影top250,现在对这两天的学习进行一下总结主要分为三步: 爬取豆瓣top250的网页,并通过 ...
Python爬虫爬取豆瓣电影评论内容，评论时间和评论人
Python爬虫爬取豆瓣电影评论内容,评论时间和评论人我们可以看到影评比较长,需要展开才能完整显示.但是在网页源码中是没有显示完整影评的.所以我们考虑到这部分应该是异步加载的方式显示.所以打开网页的 ...
[爬虫] 爬取豆瓣电影排行榜
申明:本文对爬取的数据仅做学习使用,不涉及任何商业活动,侵删爬取豆瓣电影排行榜这是一个Scrapy框架入门级的项目, 它可以帮助我们基本了解Scrapy的操作流程和运行原理这次我们要做例子的网站 ...
【Python爬虫】爬取猫眼电影排行榜并存放至csv文件
在进行本节实战之前,希望您对requests库以及正则表达式有所了解. 运行平台:windows **Python版本: Python3.x ** 一.依赖库的安装在本节实战之前,请确保已经正确安装 ...
python爬虫爬取豆瓣电影信息城市_Python爬虫入门 | 2 爬取豆瓣电影信息
这是一个适用于小白的Python爬虫免费教学课程,只有7节,让零基础的你初步了解爬虫,跟着课程内容能自己爬取资源.看着文章,打开电脑动手实践,平均45分钟就能学完一节,如果你愿意,今天内你就可以迈入爬 ...
Python爬虫爬取豆瓣电影Top250
爬虫爬取豆瓣Top250 文章目录爬虫爬取豆瓣Top250 完整代码第一步获取整个网页并以html来解析正则表达式来匹配关键词所有信息写入列表中存入Excel中效果如图本文学习自B站UP ...
用Python爬虫爬取豆瓣电影、读书Top250并排序
更新:已更新豆瓣电影Top250的脚本及网站概述经常用豆瓣读书的童鞋应该知道,豆瓣Top250用的是综合排序,除用户评分之外还考虑了很多比如是否畅销.点击量等等,这也就导致了一些近年来评分不高的畅 ...
python爬虫爬取豆瓣电影信息城市_python爬虫，爬取豆瓣电影信息
hhhhh开心,搞了一整天,查了不少python基础资料,终于完成了第一个最简单的爬虫:爬取了豆瓣top250电影的名字.评分.评分人数以及短评. 代码实现如下:#第一个最简单的爬虫 #爬取了豆瓣to ...

python爬虫爬取豆瓣电影排行榜，并写进csv文件，可视化数据分析

python爬虫爬取豆瓣电影排行榜，并写进csv文件，可视化数据分析相关推荐

最新文章

热门文章