python简单爬豆瓣电影排名

爬豆瓣电影

网站分析：

1 打开https://movie.douban.com，选择【排行榜】，然后随便选择一类型，我这里选择科幻

　　　　　 2 一直浏览网页，发现没有下一的标签，是下滑再加载的，可以判定使用了 ajax 请求，进行异步的加载

检查请求信息：

1.右键【检查】>【Network】

2 找url

简单实现代码

 1 from urllib import request
 2 import json
 3 import time
 4
 5 headers = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/73.0.3683.103 Safari/537.36"}
 6 # url 信息：interval_id 表示排名段  可修改  ，limit 限制20个,就是每页请求多少个
 7 url = "https://movie.douban.com/j/chart/top_list?type=17&interval_id=100%3A90&action=&start=20&limit=20"
 8
 9 rsp = request.urlopen(url)
10 data = rsp.read().decode()
11
12 data = json.loads(data)
13
14 print(data)

运行效果

优化输出格式，代码

 1 from urllib import request
 2 import json
 3
 4 url = "https://movie.douban.com/j/chart/top_list?type=5&interval_id=100%3A90&action=&start=20&limit=20"
 5
 6 rsp = request.urlopen(url)
 7 data = rsp.read().decode()
 8
 9 data = json.loads(data)
10
11 #遍历输出每个'k'和‘v’的值
12 for item in data:
13     print("排名:", item['rank'],"\n",
14             "名称:",item['title'],"\n",
15             "类型:",item['types'],"\n",
16             "主演:",item['actors'],"\n",
17             "国家:",item['regions'],"\n",
18             "分数:",item['score'],"\n",
19             "图片:",item['cover_url'],"\n---------------")

优化效果

好了，这样的效果，看起来更顺眼了

转载于:https://www.cnblogs.com/lanyincao/p/10829239.html

python简单爬豆瓣电影排名相关推荐

Python简单爬取电影磁力链接
Python简单爬取电影磁力链接网页的链接:http://www.ygdy8.net/html/gndy/dyzz/list_23_2.html 打开你想要的电影:http://www.ygdy8. ...
python 爬取豆瓣电影排名
python 爬取豆瓣电影排名任务要求获取豆瓣电影排名前250信息打包进文件夹代码展示代码如下 import requests#导入requests库 import redef GetHtm ...
python爬虫（一）爬取豆瓣电影排名前50名电影的信息
python爬虫(一)爬取豆瓣电影排名前50名电影的信息在Python爬虫中,我们可以使用beautifulsoup对网页进行解析. 我们可以使用它来爬取豆瓣电影排名前50名的电影的详细信息,例如排 ...
python爬取豆瓣短评_爬取并简单分析豆瓣电影短评
导语利用Python爬取并简单分析豆瓣电影短评. 说起来挺逗的,去年爬豆瓣短评的时候还是可以爬个几万条数据的,昨天我还想着终于可以起个唬人的标题了,什么爬取了xxx电影的xxx万条数据. 于是昨晚写 ...
爬取豆瓣电影排名代码
urllib.request爬取电影排名,复制以下代码可以直接执行: -- coding:utf-8 -- import urllib import urllib.request import tim ...
python使用多线程进行爬豆瓣电影top250海报图片，附源码加运行结果
使用多线程进行爬豆瓣电影top250海报图片 # -- coding: UTF-8 -- import time import requests import urllib.request from ...
BeautifulSoup爬取豆瓣电影排名
豆瓣电影排名网址:https://movie.douban.com/top250?start=0&filter= 在进去豆瓣电影排名后,打开浏览器的检查功能分析爬取页面源代码,在写请求代码之前 ...
利用正则表达式爬取豆瓣电影排名
利用正则表达式爬取豆瓣电影排名一/正则表达式二/用正则表达式爬取豆瓣top250 一/正则表达式很多不太懂正则的朋友,在遇到需要用正则校验数据时,往往是在网上去找很久,结果找来的还是不很符合要求 ...
基于Python的海量豆瓣电影、数据获取、数据预处理、数据分析、可视化、大屏设计项目（含数据库）
目录项目介绍研究背景国内外研究现状分析研究目的研究意义研究总体设计网络爬虫介绍豆瓣电影数据的采集数据预处理大数据分析及可视化豆瓣影评结构化分析大屏可视化文本可视化总结每文 ...

python简单爬豆瓣电影排名

python简单爬豆瓣电影排名相关推荐

最新文章

热门文章