爬虫系列4：Requests+Xpath 爬取动态数据

【抓取】：参考前文 爬虫系列1：https://www.cnblogs.com/yizhiamumu/p/9451093.html

【分页】：参考前文 爬虫系列2：https://www.cnblogs.com/yizhiamumu/p/10267721.html

【保存】：参考前文 爬虫系列3：https://www.cnblogs.com/yizhiamumu/p/10270926.html

【动态】：参考前文 爬虫系列4：https://www.cnblogs.com/yizhiamumu/p/10272977.html

# 动态爬取数据，如页面不分页，而是点击查看更多# https://movie.douban.com/tag/#/?sort=T&range=0,10&tags=%E5%8A%B1%E5%BF%97 # 安装jsonview 插件 ## F12 - network- XHR # 发现规律 # https://movie.douban.com/j/new_search_subjects?sort=T&range=0,10&tags=%E5%8A%B1%E5%BF%97&start=20 # https://movie.douban.com/j/new_search_subjects?sort=T&range=0,10&tags=%E5%8A%B1%E5%BF%97&start=40 # 循环爬取 # for a in range(3): # url='https://movie.douban.com/j/new_search_subjects?sort=T&range=0,10&tags=&start={}'.format(a*20)

import requests
import json
import timefor a in range(3):url_visit = 'https://movie.douban.com/j/new_search_subjects?sort=T&range=0,10&tags=&start={}'.format(a*20)file = requests.get(url_visit).json()   #这里跟之前的不一样，因为返回的是 json 文件time.sleep(6)for i in range(20):dict=file['data'][i]   #取出字典中 'data' 下第 [i] 部电影的信息urlname=dict['url']title=dict['title']rate=dict['rate']cast=dict['casts']print('{}  {}  {}  {}\n'.format(title,rate,'  '.join(cast),urlname))

打印结果:

我不是药神  9.0  徐峥  王传君  周一围  谭卓  章宇  https://movie.douban.com/subject/26752088/这个杀手不太冷  9.4  让·雷诺  娜塔莉·波特曼  加里·奥德曼  丹尼·爱罗  彼得·阿佩尔  https://movie.douban.com/subject/1295644/肖申克的救赎  9.6  蒂姆·罗宾斯  摩根·弗里曼  鲍勃·冈顿  威廉姆·赛德勒  克兰西·布朗  https://movie.douban.com/subject/1292052/盗梦空间  9.3  莱昂纳多·迪卡普里奥  约瑟夫·高登-莱维特  艾伦·佩吉  汤姆·哈迪  渡边谦  https://movie.douban.com/subject/3541415/复仇者联盟3：无限战争  8.1  小罗伯特·唐尼  克里斯·海姆斯沃斯  克里斯·埃文斯  马克·鲁弗洛  乔什·布洛林  https://movie.douban.com/subject/24773958/阿甘正传  9.4  汤姆·汉克斯  罗宾·怀特  加里·西尼斯  麦凯尔泰·威廉逊  莎莉·菲尔德  https://movie.douban.com/subject/1292720/西虹市首富  6.6  沈腾  宋芸桦  张一鸣  张晨光  常远  https://movie.douban.com/subject/27605698/泰坦尼克号  9.3  莱昂纳多·迪卡普里奥  凯特·温丝莱特  比利·赞恩  凯西·贝茨  弗兰西丝·费舍  https://movie.douban.com/subject/1292722/霸王别姬  9.6  张国荣  张丰毅  巩俐  葛优  英达  https://movie.douban.com/subject/1291546/三傻大闹宝莱坞  9.2  阿米尔·汗  卡琳娜·卡普尔  马达范  沙尔曼·乔希  奥米·瓦依达  https://movie.douban.com/subject/3793023/千与千寻  9.3  柊瑠美  入野自由  夏木真理  菅原文太  中村彰男  https://movie.douban.com/subject/1291561/让子弹飞  8.7  姜文  葛优  周润发  刘嘉玲  陈坤  https://movie.douban.com/subject/3742360/怦然心动  9.0  玛德琳·卡罗尔  卡兰·麦克奥利菲  瑞贝卡·德·莫妮  安东尼·爱德华兹  约翰·马奥尼  https://movie.douban.com/subject/3319755/海上钢琴师  9.2  蒂姆·罗斯  普路特·泰勒·文斯  比尔·努恩  梅兰尼·蒂埃里  阿尔贝托·巴斯克斯  https://movie.douban.com/subject/1292001/忠犬八公的故事  9.3  理查·基尔  萨拉·罗默尔  琼·艾伦  罗比·萨布莱特  艾瑞克·阿瓦利  https://movie.douban.com/subject/3011091/当幸福来敲门  9.0  威尔·史密斯  贾登·史密斯  坦迪·牛顿  布莱恩·豪威   詹姆斯·凯伦  https://movie.douban.com/subject/1849031/毒液：致命守护者  7.2  汤姆·哈迪  米歇尔·威廉姆斯  里兹·阿迈德  斯科特·黑兹   瑞德·斯科特  https://movie.douban.com/subject/3168101/少年派的奇幻漂流  9.0  苏拉·沙玛  伊尔凡·可汗  拉菲·斯波  阿迪勒·侯赛因  塔布  https://movie.douban.com/subject/1929463/一出好戏  7.1  黄渤  舒淇  王宝强  张艺兴  于和伟  https://movie.douban.com/subject/26985127/摔跤吧！爸爸  9.1  阿米尔·汗  法缇玛·萨那·纱卡  桑亚·玛荷塔  阿帕尔夏克提·库拉那  沙克希·坦沃  https://movie.douban.com/subject/26387939/阿凡达  8.6  萨姆·沃辛顿  佐伊·索尔达娜  西格妮·韦弗  史蒂芬·朗  米歇尔·罗德里格兹  https://movie.douban.com/subject/1652587/那些年，我们一起追的女孩  8.1  柯震东  陈妍希  敖犬  郝劭文  蔡昌宪  https://movie.douban.com/subject/4920528/大话西游之大圣娶亲  9.2  周星驰  吴孟达  朱茵  蔡少芬  蓝洁瑛  https://movie.douban.com/subject/1292213/疯狂动物城  9.2  金妮弗·古德温  杰森·贝特曼  伊德里斯·艾尔巴  珍妮·斯蕾特  内特·托伦斯  https://movie.douban.com/subject/25662329/星际穿越  9.2  马修·麦康纳  安妮·海瑟薇  杰西卡·查斯坦  卡西·阿弗莱克  迈克尔·凯恩  https://movie.douban.com/subject/1889243/楚门的世界  9.2  金·凯瑞  劳拉·琳妮  艾德·哈里斯  诺亚·艾默里奇  娜塔莎·麦克艾霍恩  https://movie.douban.com/subject/1292064/放牛班的春天  9.2  热拉尔·朱尼奥  让-巴蒂斯特·莫尼耶  弗朗索瓦·贝莱昂  凯德·麦拉德  玛丽·布奈尔  https://movie.douban.com/subject/1291549/机器人总动员  9.3  本·贝尔特  艾丽莎·奈特  杰夫·格尔林  佛莱德·威拉特  西格妮·韦弗  https://movie.douban.com/subject/2131459/飞屋环游记  8.9  爱德华·阿斯纳  克里斯托弗·普卢默  乔丹·长井  鲍勃·彼德森  戴尔里·林多  https://movie.douban.com/subject/2129039/初恋这件小事  8.3  平采娜·乐维瑟派布恩  马里奥·毛瑞尔  苏达拉·布查蓬  雅尼卡·桑普蕾舞  诺特·阿查拉那·阿瑞亚卫考  https://movie.douban.com/subject/4739952/天使爱美丽  8.7  奥黛丽·塔图  马修·卡索维茨  吕菲斯  洛莱拉·克拉沃塔  塞尔日·梅兰  https://movie.douban.com/subject/1292215/你的名字。  8.4  神木隆之介  上白石萌音  长泽雅美  市原悦子  成田凌  https://movie.douban.com/subject/26683290/碟中谍6：全面瓦解  8.1  汤姆·克鲁斯  亨利·卡维尔  文·瑞姆斯  西蒙·佩吉  丽贝卡·弗格森  https://movie.douban.com/subject/26336252/龙猫  9.1  日高法子  坂本千夏  糸井重里  岛本须美  北林谷荣  https://movie.douban.com/subject/1291560/剪刀手爱德华  8.7  约翰尼·德普  薇诺娜·瑞德  黛安·韦斯特  安东尼·迈克尔·豪尔  凯西·贝克  https://movie.douban.com/subject/1292370/头号玩家  8.7  泰伊·谢里丹  奥利维亚·库克  本·门德尔森  马克·里朗斯  丽娜·维特  https://movie.douban.com/subject/4920389/无间道  9.1  刘德华  梁朝伟  黄秋生  曾志伟  郑秀文  https://movie.douban.com/subject/1307914/无双  8.1  周润发  郭富城  张静初  冯文娟  廖启智  https://movie.douban.com/subject/26425063/大话西游之月光宝盒  8.9  周星驰  吴孟达  罗家英  蓝洁瑛  莫文蔚  https://movie.douban.com/subject/1299398/红海行动  8.3  张译  黄景瑜  海清  杜江  蒋璐霞  https://movie.douban.com/subject/26861685/战狼2  7.1  吴京  弗兰克·格里罗  吴刚  张翰  卢靖姗  https://movie.douban.com/subject/26363254/寻梦环游记  9.0  安东尼·冈萨雷斯  盖尔·加西亚·贝纳尔  本杰明·布拉特  阿兰纳·乌巴奇  芮妮·维克托  https://movie.douban.com/subject/20495023/罗马假日  9.0  奥黛丽·赫本  格利高里·派克  埃迪·艾伯特  哈特利·鲍尔  哈考特·威廉姆斯  https://movie.douban.com/subject/1293839/V字仇杀队  8.8  娜塔莉·波特曼  雨果·维文  斯蒂芬·瑞  斯蒂芬·弗雷  约翰·赫特  https://movie.douban.com/subject/1309046/美丽人生  9.5  罗伯托·贝尼尼  尼可莱塔·布拉斯基  乔治·坎塔里尼  朱斯蒂诺·杜拉诺  赛尔乔·比尼·布斯特里克  https://movie.douban.com/subject/1292063/七宗罪  8.8  摩根·弗里曼  布拉德·皮特  凯文·史派西  格温妮斯·帕特洛  安德鲁·凯文·沃克  https://movie.douban.com/subject/1292223/动物世界  7.2  李易峰  迈克尔·道格拉斯  周冬雨  曹炳琨  王戈  https://movie.douban.com/subject/26925317/老炮儿  7.8  冯小刚  许晴  张涵予  刘桦  李易峰  https://movie.douban.com/subject/24751756/失恋33天  7.3  白百何  文章  张嘉译  王耀庆  张子萱  https://movie.douban.com/subject/4873490/蝴蝶效应  8.7  阿什顿·库彻  梅罗拉·沃特斯  艾米·斯马特  埃尔登·汉森  威廉姆·李·斯科特  https://movie.douban.com/subject/1292343/人再囧途之泰囧  7.4  徐峥  王宝强  黄渤  陶虹  谢楠  https://movie.douban.com/subject/10574622/辛德勒的名单  9.5  连姆·尼森  本·金斯利  拉尔夫·费因斯  卡罗琳·古多尔  乔纳森·萨加尔  https://movie.douban.com/subject/1295124/唐伯虎点秋香  8.5  周星驰  巩俐  陈百祥  郑佩佩  朱咪咪  https://movie.douban.com/subject/1306249/海王  7.8  杰森·莫玛  艾梅柏·希尔德  威廉·达福  帕特里克·威尔森  妮可·基德曼  https://movie.douban.com/subject/3878007/夏洛特烦恼  7.5  沈腾  马丽  尹正  艾伦  王智  https://movie.douban.com/subject/25964071/复仇者联盟  8.1  小罗伯特·唐尼  克里斯·埃文斯  斯嘉丽·约翰逊  克里斯·海姆斯沃斯  杰瑞米·雷纳  https://movie.douban.com/subject/1866479/芳华  7.6  黄轩  苗苗  钟楚曦  杨采钰  李晓峰  https://movie.douban.com/subject/26862829/黑天鹅  8.5  娜塔莉·波特曼  米拉·库尼斯  文森特·卡索  芭芭拉·赫希  薇诺娜·瑞德  https://movie.douban.com/subject/1978709/本杰明·巴顿奇事  8.8  凯特·布兰切特  布拉德·皮特  朱莉娅·奥蒙德  芳妮·A·钱勃丝  伊莱亚斯·科泰斯  https://movie.douban.com/subject/1485260/北京遇上西雅图  7.4  汤唯  吴秀波  海清  宋美曼  宋美慧  https://movie.douban.com/subject/10574468/

by:【一只阿木木】