Python3-豆瓣电影影片差评和影片封面照片的爬取

#实现豆瓣电影影片差评和影片封面照片的爬取
from urllib import request
import json
import ssl
ssl._create_default_https_context=ssl._create_unverified_context#接口列表
url_list=[]
for i in range(3):base_url  = "https://movie.douban.com/j/chart/top_list?type=%d&interval_id=100%%3A90&action=&start=0&limit=10"%(i)url_list.append(base_url)# print(base_url)

#网络请求
for base_url in url_list:response=request.urlopen(base_url)content=response.read()content=content.decode('utf-8')data_json=json.loads(content)print(data_json)i=1
    for item in data_json:title=item['title']# print(str(i),title)

        # # 获取差评页面
        # comment_url=item['url']
        # comment_url=comment_url+"comments?start=0&limit=100&sort=new_score&status=P&percent_type=l"
        # # print(item)
        # print(comment_url)

        #获取影片封面
        cover_url=item['cover_url']response_c = request.urlopen(cover_url)content_c = response_c.read()# content_c = content_c.decode('utf-8')
        with open(str(i)+title+'.png','wb') as pf:pf.write(content_c)i += 1

        # break
    # break
    # print('====================================')

/Library/Frameworks/Python.framework/Versions/3.6/bin/python3.6 /Users/apple/PycharmProjects/stage4/spider/2018——0307/01homeword.py
[]
[{'rating': ['9.8', '50'], 'rank': 1, 'cover_url': 'https://img3.doubanio.com/view/photo/s_ratio_poster/public/p2508258590.jpg', 'is_playable': False, 'id': '27087625', 'types': ['纪录片'], 'regions': ['英国'], 'title': '地球脉动2：奇迹世界', 'url': 'https://movie.douban.com/subject/27087625/', 'release_date': '2017-01-01', 'actor_count': 1, 'vote_count': 977, 'score': '9.8', 'actors': ['戴维·阿滕伯勒'], 'is_watched': False}, {'rating': ['9.7', '50'], 'rank': 2, 'cover_url': 'https://img1.doubanio.com/view/photo/s_ratio_poster/public/p2163632289.jpg', 'is_playable': False, 'id': '4167113', 'types': ['纪录片', '音乐'], 'regions': ['日本'], 'title': '久石让在武道馆：与宫崎骏动画一同走过的25年', 'url': 'https://movie.douban.com/subject/4167113/', 'release_date': '2008-08-05', 'actor_count': 1, 'vote_count': 10049, 'score': '9.7', 'actors': ['久石让'], 'is_watched': False}, {'rating': ['9.6', '50'], 'rank': 3, 'cover_url': 'https://img3.doubanio.com/view/photo/s_ratio_poster/public/p2511465254.jpg', 'is_playable': False, 'id': '26874505', 'types': ['纪录片'], 'regions': ['日本'], 'title': '人生果实', 'url': 'https://movie.douban.com/subject/26874505/', 'release_date': '2017-01-02', 'actor_count': 3, 'vote_count': 8120, 'score': '9.6', 'actors': ['津端修一', '津端英子', '树木希林'], 'is_watched': False}, {'rating': ['9.6', '50'], 'rank': 4, 'cover_url': 'https://img3.doubanio.com/view/photo/s_ratio_poster/public/p2210549104.jpg', 'is_playable': False, 'id': '26257406', 'types': ['纪录片'], 'regions': ['日本'], 'title': '岚：15周年的告白', 'url': 'https://movie.douban.com/subject/26257406/', 'release_date': '2014-11-07', 'actor_count': 5, 'vote_count': 1829, 'score': '9.6', 'actors': ['大野智', '樱井翔', '相叶雅纪', '二宫和也', '松本润'], 'is_watched': False}, {'rating': ['9.6', '50'], 'rank': 5, 'cover_url': 'https://img1.doubanio.com/view/photo/s_ratio_poster/public/p2184489189.jpg', 'is_playable': False, 'id': '4234314', 'types': ['纪录片', '传记', '音乐'], 'regions': ['英国'], 'title': '无路可逃：一部关于模糊乐队的电影', 'url': 'https://movie.douban.com/subject/4234314/', 'release_date': '2010-01-14', 'actor_count': 5, 'vote_count': 1599, 'score': '9.6', 'actors': ['Blur', 'Damon Albarn', 'Graham Coxon', 'Alex James', 'Dave Rowntree'], 'is_watched': False}, {'rating': ['9.6', '50'], 'rank': 6, 'cover_url': 'https://img1.doubanio.com/view/photo/s_ratio_poster/public/p2359098118.jpg', 'is_playable': False, 'id': '5164585', 'types': ['纪录片'], 'regions': ['美国'], 'title': '创造“哈利·波特”的世界：魔法开始', 'url': 'https://movie.douban.com/subject/5164585/', 'release_date': '2009', 'actor_count': 0, 'vote_count': 1160, 'score': '9.6', 'actors': [], 'is_watched': False}, {'rating': ['9.6', '50'], 'rank': 7, 'cover_url': 'https://img1.doubanio.com/view/photo/s_ratio_poster/public/p2317582899.jpg', 'is_playable': False, 'id': '10508911', 'types': ['纪录片'], 'regions': ['英国'], 'title': '神秘博士：DT的视频日志：最后的日子', 'url': 'https://movie.douban.com/subject/10508911/', 'release_date': '2010', 'actor_count': 1, 'vote_count': 738, 'score': '9.6', 'actors': ['大卫·田纳特'], 'is_watched': False}, {'rating': ['9.6', '50'], 'rank': 8, 'cover_url': 'https://img1.doubanio.com/view/photo/s_ratio_poster/public/p2493762829.jpg', 'is_playable': False, 'id': '6718144', 'types': ['纪录片'], 'regions': ['美国'], 'title': '创造“哈利·波特”的世界：音乐', 'url': 'https://movie.douban.com/subject/6718144/', 'release_date': '2010-10-19', 'actor_count': 0, 'vote_count': 651, 'score': '9.6', 'actors': [], 'is_watched': False}, {'rating': ['9.6', '50'], 'rank': 9, 'cover_url': 'https://img1.doubanio.com/view/photo/s_ratio_poster/public/p2359098318.jpg', 'is_playable': False, 'id': '20514888', 'types': ['纪录片'], 'regions': ['美国'], 'title': '创造哈利·波特的世界：成长', 'url': 'https://movie.douban.com/subject/20514888/', 'release_date': '2012', 'actor_count': 3, 'vote_count': 642, 'score': '9.6', 'actors': ['丹尼尔·雷德克里夫', '艾玛·沃森', '鲁伯特·格林特'], 'is_watched': False}, {'rating': ['9.6', '50'], 'rank': 10, 'cover_url': 'https://img1.doubanio.com/view/photo/s_ratio_poster/public/p2374644667.jpg', 'is_playable': False, 'id': '26852960', 'types': ['纪录片'], 'regions': ['加拿大'], 'title': '周游加拿大', 'url': 'https://movie.douban.com/subject/26852960/', 'release_date': '2014-12-04', 'actor_count': 3, 'vote_count': 567, 'score': '9.6', 'actors': ['高以翔', '曲婉婷', '夏克立'], 'is_watched': False}]
[{'rating': ['9.3', '50'], 'rank': 1, 'cover_url': 'https://img3.doubanio.com/view/photo/s_ratio_poster/public/p1971528714.jpg', 'is_playable': False, 'id': '24696708', 'types': ['传记'], 'regions': ['英国'], 'title': '神奇的费曼先生', 'url': 'https://movie.douban.com/subject/24696708/', 'release_date': '2013-05-12', 'actor_count': 1, 'vote_count': 430, 'score': '9.3', 'actors': ['Richard Feynman'], 'is_watched': False}, {'rating': ['9.3', '50'], 'rank': 2, 'cover_url': 'https://img3.doubanio.com/view/photo/s_ratio_poster/public/p2238186336.jpg', 'is_playable': False, 'id': '26258817', 'types': ['传记'], 'regions': ['日本'], 'title': '世界滞在记：18岁的小栗旬在西伯利亚', 'url': 'https://movie.douban.com/subject/26258817/', 'release_date': '2009-01-09', 'actor_count': 1, 'vote_count': 398, 'score': '9.3', 'actors': ['小栗旬'], 'is_watched': False}, {'rating': ['9.1', '45'], 'rank': 3, 'cover_url': 'https://img3.doubanio.com/view/photo/s_ratio_poster/public/p2457983084.jpg', 'is_playable': True, 'id': '26387939', 'types': ['剧情', '传记', '运动', '家庭'], 'regions': ['印度'], 'title': '摔跤吧！爸爸', 'url': 'https://movie.douban.com/subject/26387939/', 'release_date': '2017-05-05', 'actor_count': 9, 'vote_count': 519912, 'score': '9.1', 'actors': ['阿米尔·汗', '法缇玛·萨那·纱卡', '桑亚·玛荷塔', '阿帕尔夏克提·库拉那', '沙克希·坦沃', '塞伊拉·沃西', '苏哈妮·巴特纳格尔', '里特维克·萨霍里', '吉里什·库卡尼'], 'is_watched': False}, {'rating': ['9.1', '45'], 'rank': 4, 'cover_url': 'https://img1.doubanio.com/view/photo/s_ratio_poster/public/p2328424489.jpg', 'is_playable': False, 'id': '1303913', 'types': ['剧情', '传记', '爱情'], 'regions': ['香港'], 'title': '南海十三郎', 'url': 'https://movie.douban.com/subject/1303913/', 'release_date': '1997-05-15', 'actor_count': 7, 'vote_count': 13988, 'score': '9.1', 'actors': ['谢君豪', '潘灿良', '苏玉华', '梁汉威', '吴绮莉', '黄霑', '周志辉'], 'is_watched': False}, {'rating': ['9.1', '45'], 'rank': 5, 'cover_url': 'https://img3.doubanio.com/view/photo/s_ratio_poster/public/p2186918733.jpg', 'is_playable': False, 'id': '3097352', 'types': ['剧情', '传记'], 'regions': ['中国大陆'], 'title': '剃头匠', 'url': 'https://movie.douban.com/subject/3097352/', 'release_date': '2006-10-24', 'actor_count': 1, 'vote_count': 7283, 'score': '9.1', 'actors': ['靖奎'], 'is_watched': False}, {'rating': ['9.0', '45'], 'rank': 6, 'cover_url': 'https://img3.doubanio.com/view/photo/s_ratio_poster/public/p792484461.jpg', 'is_playable': True, 'id': '1296736', 'types': ['剧情', '传记', '历史', '战争', '音乐'], 'regions': ['法国', '德国', '英国', '波兰'], 'title': '钢琴家', 'url': 'https://movie.douban.com/subject/1296736/', 'release_date': '2002-05-24', 'actor_count': 10, 'vote_count': 220895, 'score': '9.0', 'actors': ['艾德里安·布洛迪', '托马斯·克莱舒曼', '艾米莉娅·福克斯', '米哈乌·热布罗夫斯基', '埃德·斯托帕德', '穆琳·利普曼', '弗兰克·芬莱', '邱莉娅蕾娜', '杰西卡·凯特·梅耶尔', '理查德·赖丁斯'], 'is_watched': False}, {'rating': ['9.0', '45'], 'rank': 7, 'cover_url': 'https://img3.doubanio.com/view/photo/s_ratio_poster/public/p2315734512.jpg', 'is_playable': False, 'id': '26266892', 'types': ['剧情', '传记'], 'regions': ['日本'], 'title': '红鳉鱼', 'url': 'https://movie.douban.com/subject/26266892/', 'release_date': '2015-12-28', 'actor_count': 12, 'vote_count': 25563, 'score': '9.0', 'actors': ['二宫和也', '北野武', '宫川大辅', '柄本时生', '新井浩文', '北村有起哉', '药师丸博子', '笑福亭鹤瓶', '香川照之', '滨田岳', '岸本加世子', '寺岛进'], 'is_watched': False}, {'rating': ['8.9', '45'], 'rank': 8, 'cover_url': 'https://img1.doubanio.com/view/photo/s_ratio_poster/public/p1312700628.jpg', 'is_playable': True, 'id': '1849031', 'types': ['剧情', '传记', '家庭'], 'regions': ['美国'], 'title': '当幸福来敲门', 'url': 'https://movie.douban.com/subject/1849031/', 'release_date': '2008-01-17', 'actor_count': 15, 'vote_count': 608246, 'score': '8.9', 'actors': ['威尔·史密斯', '贾登·史密斯', '坦迪·牛顿', '布莱恩·豪威 ', '詹姆斯·凯伦', '丹·卡斯泰兰尼塔', '柯特·富勒', '塔卡尤·费舍尔', '凯文·韦斯特', '乔治·张', '戴维·迈克尔·西尔弗曼', '多米尼克·博夫', '杰弗·卡伦', '乔伊芙·拉文', '斯科特·克拉斯'], 'is_watched': False}, {'rating': ['8.9', '45'], 'rank': 9, 'cover_url': 'https://img3.doubanio.com/view/photo/s_ratio_poster/public/p1665997400.jpg', 'is_playable': True, 'id': '1306029', 'types': ['传记', '剧情'], 'regions': ['美国'], 'title': '美丽心灵', 'url': 'https://movie.douban.com/subject/1306029/', 'release_date': '2001-12-13', 'actor_count': 7, 'vote_count': 334571, 'score': '8.9', 'actors': ['罗素·克劳', '詹妮弗·康纳利', '艾德·哈里斯', '克里斯托弗·普卢默', '保罗·贝坦尼', '亚当·戈德堡', '乔什·卢卡斯'], 'is_watched': False}, {'rating': ['8.9', '45'], 'rank': 10, 'cover_url': 'https://img1.doubanio.com/view/photo/s_ratio_poster/public/p453788577.jpg', 'is_playable': True, 'id': '1294408', 'types': ['剧情', '传记', '爱情', '歌舞'], 'regions': ['美国'], 'title': '音乐之声', 'url': 'https://movie.douban.com/subject/1294408/', 'release_date': '1965-03-02', 'actor_count': 21, 'vote_count': 251753, 'score': '8.9', 'actors': ['朱莉·安德鲁斯', '克里斯托弗·普卢默', '埃琳诺·帕克', '理查德·海顿', '佩吉·伍德', '查尔敏·卡尔', '希瑟·孟席斯-尤里克', '尼古拉斯·哈蒙德', '杜安·蔡斯', '安吉拉·卡特怀特', '黛比·特纳', '基姆·卡拉思', '安娜·李', '波希娅·纳尔逊', '本·怀特', '丹尼尔·特鲁希特', '诺玛·威登', '吉尔克里斯特·斯图尔特', '马妮·尼克松', '埃瓦德妮·贝克', '多丽丝·劳埃德'], 'is_watched': False}]

Process finished with exit code 0

Python3-豆瓣电影影片差评和影片封面照片的爬取相关推荐

python爬虫豆瓣电影短评_【Python爬虫】BeautifulSoup爬取豆瓣电影短评
目的:爬取豆瓣[红海行动]电影的首页短评步骤: 1.使用BeautifulSoup解析网页 soup = BeautifulSoup(r, 'lxml') // lxml 库解析速度快,也能解析复杂 ...
python爬虫豆瓣电影我不是药神的评价_Python | 爬取《我不是药神》电影热门短评...
1.目标数据: 数据来源: 目标描述: 建立一个爬虫项目,抓取豆瓣上对电影<我不是药神>的热门短评,采集字段包括: 用户昵称评论时间觉得有用的人数短评内容 2.开始爬虫采集策略: ...
python3爬虫进阶之自动登录网易云音乐并爬取指定歌曲评论
** python3爬虫进阶之自动登录网易云音乐并爬取指定歌曲评论 ** 一.访问网易云首页,找到所需元素的位置用浏览器打开网易云首页https://music.163.com/之后,发现我们要找的 ...
python3爬虫之访问量、点击率数据的爬取分析
python3爬虫之访问量.点击率数据的爬取分析 1.明确问题: 通过开发者工具分析我们可以看出,这个点击率并不是'静态数据',而是一个脚本返回,那么这个数据到底藏在哪里呢? 经验告诉我,不是Doc ...
python3豆瓣电影排行榜爬取
项目目标: 爬取豆瓣电影排行榜top250 项目分析: 打开豆瓣电影排行榜网址(以下分别是前三页的网址),由此我们判断只需更改"start=**"的数值既可遍历整个排行榜. htt ...
python下载电影天堂_【PY】没有电影看？来教你用Python爬取电影天堂最新电影！...
项目开始第一步仍然是创建scrapy项目与spider文件切换到工作目录两条命令依次输入 scrapy startproject xunleidianying scrapy genspider x ...
python实例豆瓣音乐代码_Python爬虫实战（3）-爬取豆瓣音乐Top250数据（超详细
前言首先我们先来回忆一下上两篇爬虫实战文章: 第一篇:讲到了requests和bs4和一些网页基本操作. 第二篇:用到了正则表达式-re模块今天我们用lxml库和xpath语法来爬虫实战. 1.安 ...
利用python爬取豆瓣音乐_Python爬虫小白入门（七）爬取豆瓣音乐top250
抓取目标: 豆瓣音乐top250的歌名.作者(专辑).评分和歌曲链接使用工具: requests + lxml + xpath. 我认为这种工具组合是最适合初学者的,requests比python自 ...
Python3 + xpath + excel 实现对boss直聘网的爬取
一.项目简介 1.内容:抓取boss直聘网上广州地区的 python 相关工作的招聘信息,并且将招聘信息循环保存在excel表中 2.目标网站:https://www.zhipin.com/c1012 ...

Python3-豆瓣电影影片差评和影片封面照片的爬取

Python3-豆瓣电影影片差评和影片封面照片的爬取相关推荐

最新文章

热门文章