鸟与虫（五）豆瓣我想看高分电影

哈罗有见面了，几天刚刚验收学校仿站项目，就来赶博客，上课赶得哦。
我的爬虫原则：爬虫就要有礼貌，爬虫与反爬虫的战争~~很奇妙~~。呸，很费精神。
话不多说上代码

'''这次是抓取豆瓣网的前100部高分影片本代码作者：高佳乐'''import requests                                     ##导入requests库
import json                                         ##导入json库，对json的一个解析
import time                                         ##还是那句话，爬虫要有礼貌#######################################################定义一个类##############################################################################class spring():                                     ##定义类，def __init__(self):                             ##定义构造函数self.start = 0                              ##定义初始开始数self.limit = 100                            ##初始电影数量self.type = 1                               ##初始类型，下边是地址的urlself.url='https://movie.douban.com/j/chart/top_list?type='+str(self.type)+'&interval_id=100%3A90&action=&start='+str(self.start)+'&limit='+str(self.limit)return####################################################获取HTML#################################################################################def html(self,url):                             ##定义一个获取html_text的方法封装html = requests.get(url)                    ##html是获取urlhtml_text = html.text                       ##html_text是html的写出html_text = json.loads(html_text)           ##html_text是json解析再一次# html_text = json.dumps(html_text,sort_keys=True,indent=4,ensure_ascii=False)           ##格式化输出实验一遍# for i in html_text:                       ##循环输出以便观看#     print(i)return html_text                            ##返回json解析后的html_text格式########################################################操作##################################################################################def select(self):                               ##这个方法就是开始解析后的json的格式后然后获取电影的标题，封面，分数啥的。##选择类型，上边的url是types切换数字的，type就是电影类型。self.type = input('请输入要查询的代码,默认是纪录片：\n1-记录片，11-剧情，24-喜剧，5-动作，13-爱情，17-科幻，25-动画\n10-悬疑，19-惊悚，20-恐怖，23-短片，6-情色，26-同性，14-音乐，7-歌舞\n28-家庭，8-儿童，2-传记，4-历史，22-战争，3-犯罪，27-西部，16-奇幻\n15-冒险，12-灾难，29-武侠，30-古装，18-运动，31-黑色电影\n')print('正在获取排行榜前100个电影资料。')      ##输出提示，本来打算给一个好看的等待条的状态，结果有点问题先这样吧→_→i=1                                         ##这开始就是等待条的代码while i<5:print('·',end='')time.sleep(0.5)i+=1print()                                     ##嘿，这是等待条的结束，可以忽略url = self.url                              ##url是初始结构的url，通过上边type合成后的urlhtml_text = self.html(url)                  ##获取后的url的json的格式for i in html_text:                         ##因为获取后的会是一个列表，列表里边是字典，所以要遍历输出字典##分数和星星rating = i['rating']                    ##字典的访问方式，字典[键]，下边也是fenshu = rating[0]                      ##获取到的是列表用索引xing = int(rating[1])/10##第几个rank = i['rank']##封面cover_url = i['cover_url']##类型types = i['types']types = ','.join(types)##地点regions = i['regions']regions = ''.join(regions)##电影名字title = i['title']##详细地址url = i['url']##时间release_date = i['release_date']##评论人数vote_count = i['vote_count']##演员actors = i['actors']actors = ','.join(actors)               ##这里的演员返回的是一个列表，因为是多个演员，所以用join的函数，用法就是：连接符.join.列表啥的，就是用连接符把列表里边的元素连接##按格式输出喽print('第%s个：\n封面：%s\n电影名：%s\n演员：%s\n%s-%s-%s\n星星：%s\n分数：%s\n评价人数：%s\n详情页面：%s'%(rank,cover_url,title,actors,release_date,regions,types,xing,fenshu,vote_count,url))##分解线print('\n','-'*200,'\n')time.sleep(1)                           ##爬虫宗旨：有礼貌，慢慢爬##########################################################################操作########################################################################douban = spring()
douban.select()

终于要进入抓包解析动态页面的脚步了，和静态页面感觉很奇妙。
这会我也不太熟，就不多说啥了，怕误人子弟。
就到这里吧，砸门下次见面。
怎么可能，效果图还没放就再见，我没放文档里面，啊哈哈哈。
好了，现在，砸门下次再见吧。

鸟与虫（五）豆瓣我想看高分电影相关推荐

requests爬取豆瓣前250部高分电影
这两天又写了一个爬取豆瓣前250部高分电影的爬虫,并把电影名字和图片保存到本地. 用的是requests和BeautifulSoup. @requires_authorization import r ...
有了这个浏览器插件，让你轻松找到你想看的电影电视剧
不知道大家平时遇没遇到这种情况,看到一个好看的电影/电视剧片段,觉得非常精彩好看,想看完整版,可是却不知道这个影片的名字和其它任何信息,这时候我们只能到处求爷爷告奶奶的到处发帖去问今天小七就给大家带 ...
国庆居家观影指南请收好，美家市场陪你在家用投影仪看高分电影
国庆7天长假来啦,前几年会有很多人走进电影院看电影,但现在特殊时期,也不方便出游,没有出游计划的朋友们,不妨在家自己看电影,这也是个不错的选择.下面送上一份观影指南,都是非常不错的电影,喜欢看电影的朋 ...
电影荒？看看豆瓣排行榜上有没有你想看的电影！
Scrapy简介 Scrapy is an application framework for crawling web sites and extracting structured data wh ...
看过和想看的电影、连续剧（不断更新）
一.<如果·爱>:陈可辛之歌舞爱情 (导演:陈可辛,编剧:杜国威.林爱华,主演:金城武.张学友.周迅,类型:歌舞/爱情,上映日期:2005年12月1日) 三个月前,作为第62届威尼斯国际电 ...
电影那点事，如何看一部电影？
看电影,首先要学会管理学思维把自己看过的电影分类标记记录下来豆瓣电影是你最好的选择,记录下自己的观影轨迹在遇到自己喜欢的电影的时候,记得看下下面的相关推荐一定也会遇到你喜欢的另一部电影豆瓣电 ...
看日本电影再也不怕看不懂了，6行Python代码轻松实现音频转文字
前面几天想看一个电影(至于什么电影就不说了),搜了半天没有中文字幕. 这种事情,你是不是也预定过!很痛苦,有声音和图形.但是你听不懂!嗯? 于是,我想想现在的科技这么发达,难道找不到音频转文字的软件吗 ...
python听不懂_看日本电影真痛苦，本来就听不懂！还没字幕！6行代码音频转文字...
进群:125240963 即可获取数十套PDF哦! 前面几天想看一个电影(至于什么电影就不说了),搜了半天没有中文字幕. 看日本电影再也不怕看不懂了,6行Python代码轻松实现音频转文字这么贵 ...
Python爬虫：网络爬虫实现豆瓣电影采集，想看啥自己挑选
本文的文字及图片来源于网络,仅供学习.交流使用,不具有任何商业用途,版权归原作者所有,如有问题请及时联系我们以作处理本文章来自腾讯云作者:Python爬虫与数据挖掘想要学习Python?有问题得 ...

鸟与虫（五）豆瓣我想看高分电影

鸟与虫（五）豆瓣我想看高分电影相关推荐

最新文章

热门文章