爬取豆瓣top250电影练习

注意这里的细节哦，对应代码好好看。

import requests
from bs4 import BeautifulSoupdef get_movies():headers = {'user-agent':'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/14.1.2 Safari/605.1.15','Host':'movie.douban.com' }'''headers = {'user-agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/78.0.3904.108 Safari/537.36','Host':'movie.douban.com'} 原作者的headers.'''movie_list = []for i in range(0, 10):link = "https://movie.douban.com/top250?start=" + str(i * 25)r = requests.get(link, headers=headers, timeout=10)print(r.status_code)print(r.text)print(link)soup = BeautifulSoup(r.text,'lxml')div_list = soup.find_all('div',class_='hd')for each in div_list:movie = each.a.span.text.strip()movie_list.append(movie)# print(movie_list)return movie_listmovies = get_movies()
print(movies)
movies_str=str(movies)with open('movens.txt','a+') as f:f.write(movies_str)f.close()

输出结果：

['肖申克的救赎', '霸王别姬', '阿甘正传', '这个杀手不太冷', '泰坦尼克号', '美丽人生', '千与千寻', '辛德勒的名单', '盗梦空间', '忠犬八公的故事', '星际穿越', '楚门的世界', '海上钢琴师', '三傻大闹宝莱坞', '机器人总动员', '放牛班的春天', '无间道', '疯狂动物城', '大话西游之大圣娶亲', '熔炉', '教父', '当幸福来敲门', '龙猫', '控方证人', '怦然心动', '触不可及', '末代皇帝', '蝙蝠侠：黑暗骑士', '寻梦环游记', '活着', '指环王3：王者无敌', '哈利·波特与魔法石', '乱世佳人', '何以为家', '素媛', '飞屋环游记', '摔跤吧！爸爸', '十二怒汉', '哈尔的移动城堡', '我不是药神', '少年派的奇幻漂流', '鬼子来了', '大话西游之月光宝盒', '天空之城', '天堂电影院', '猫鼠游戏', '闻香识女人', '指环王2：双塔奇兵', '罗马假日', '钢琴家', '让子弹飞', '指环王1：护戒使者', '辩护人', '大闹天宫', '教父2', '狮子王', '死亡诗社', '黑客帝国', '海蒂和爷爷', '搏击俱乐部', '绿皮书', '饮食男女', '美丽心灵', '窃听风暴', '本杰明·巴顿奇事', '两杆大烟枪', '情书', '穿条纹睡衣的男孩', '西西里的美丽传说', '看不见的客人', '飞越疯人院', '拯救大兵瑞恩', '音乐之声', '小鞋子', '阿凡达', '海豚湾', '致命魔术', '沉默的羔羊', '美国往事', '哈利·波特与死亡圣器(下)', '禁闭岛', '蝴蝶效应', '布达佩斯大饭店', '心灵捕手', '低俗小说', '春光乍泄', '七宗罪', '摩登时代', '喜剧之王', '致命ID', '被嫌弃的松子的一生', '杀人回忆', '加勒比海盗', '红辣椒', '剪刀手爱德华', '狩猎', '请以你的名字呼唤我', '勇敢的心', '7号房的礼物', '功夫', '断背山', '超脱', '哈利·波特与阿兹卡班的囚徒', '天使爱美丽', '入殓师', '唐伯虎点秋香', '第六感', '幽灵公主', '重庆森林', '小森林夏秋篇', '阳光灿烂的日子', '爱在黎明破晓前', '一一', '蝙蝠侠：黑暗骑士崛起', '菊次郎的夏天', '消失的爱人', '无人知晓', '超能陆战队', '哈利·波特与密室', '小森林冬春篇', '完美的世界', '倩女幽魂', '爱在日落黄昏时', '侧耳倾听', '借东西的小人阿莉埃蒂', '甜蜜蜜', '萤火之森', '驯龙高手', '幸福终点站', '玛丽和马克思', '时空恋旅人', '大鱼', '告白', '怪兽电力公司', '阳光姐妹淘', '射雕英雄传之东成西就', '神偷奶爸', '傲慢与偏见', '教父3', '玩具总动员3', '恐怖直播', '釜山行', '一个叫欧维的男人决定去死', '哪吒闹海', '被解救的姜戈', '血战钢锯岭', '未麻的部屋', '头号玩家', '七武士', '我是山姆', '寄生虫', '喜宴', '新世界', '电锯惊魂', '模仿游戏', '哈利·波特与火焰杯', '花样年华', '黑客帝国3：矩阵革命', '卢旺达饭店', '上帝之城', '风之谷', '三块广告牌', '疯狂原始人', '谍影重重3', '英雄本色', '你的名字。', '头脑特工队', '达拉斯买家俱乐部', '纵横四海', '心迷宫', '岁月神偷', '记忆碎片', '忠犬八公物语', '海街日记', '惊魂记', '荒蛮故事', '九品芝麻官', '爆裂鼓手', '贫民窟的百万富翁', '真爱至上', '东邪西毒', '绿里奇迹', '小偷家族', '爱在午夜降临前', '无敌破坏王', '黑天鹅', '冰川时代', '你看起来好像很好吃', '疯狂的石头', '萤火虫之墓', '雨人', '色，戒', '雨中曲', '恐怖游轮', '恋恋笔记本', '魔女宅急便', '2001太空漫游', '城市之光', '可可西里', '二十二', '虎口脱险', '人工智能', '初恋这件小事', '海边的曼彻斯特', '遗愿清单', '奇迹男孩', '大佛普拉斯', '罗生门', '终结者2：审判日', '牯岭街少年杀人事件', '房间', '青蛇', '源代码', '无间道2', '新龙门客栈', '东京教父', '疯狂的麦克斯4：狂暴之路', '魂断蓝桥', '波西米亚狂想曲', '无耻混蛋', '步履不停', '血钻', '茶馆', '彗星来的那一夜', '燃情岁月', '战争之王', '千钧一发', '黑客帝国2：重装上阵', '谍影重重2', '海洋', '崖上的波妞', '阿飞正传', '穿越时空的少女', '背靠背，脸对脸', '谍影重重', '地球上的星星', '香水', '小丑', '完美陌生人', '再次出发之纽约遇见你', '我爱你', '爱乐之城', '朗读者', '火星救援', '驴得水', '聚焦', '小萝莉的猴神大叔', '浪潮', '猜火车', '千年女优']['肖申克的救赎', '霸王别姬', '阿甘正传', '这个杀手不太冷', '泰坦尼克号', '美丽人生', '千与千寻', '辛德勒的名单', '盗梦空间', '忠犬八公的故事', '星际穿越', '楚门的世界', '海上钢琴师', '三傻大闹宝莱坞', '机器人总动员', '放牛班的春天', '无间道', '疯狂动物城', '大话西游之大圣娶亲', '熔炉', '教父', '当幸福来敲门', '龙猫', '控方证人', '怦然心动', '触不可及', '末代皇帝', '蝙蝠侠：黑暗骑士', '寻梦环游记', '活着', '指环王3：王者无敌', '哈利·波特与魔法石', '乱世佳人', '何以为家', '素媛', '飞屋环游记', '摔跤吧！爸爸', '十二怒汉', '哈尔的移动城堡', '我不是药神', '少年派的奇幻漂流', '鬼子来了', '大话西游之月光宝盒', '天空之城', '天堂电影院', '猫鼠游戏', '闻香识女人', '指环王2：双塔奇兵', '罗马假日', '钢琴家', '让子弹飞', '指环王1：护戒使者', '辩护人', '大闹天宫', '教父2', '狮子王', '死亡诗社', '黑客帝国', '海蒂和爷爷', '搏击俱乐部', '绿皮书', '饮食男女', '美丽心灵', '窃听风暴', '本杰明·巴顿奇事', '两杆大烟枪', '情书', '穿条纹睡衣的男孩', '西西里的美丽传说', '看不见的客人', '飞越疯人院', '拯救大兵瑞恩', '音乐之声', '小鞋子', '阿凡达', '海豚湾', '致命魔术', '沉默的羔羊', '美国往事', '哈利·波特与死亡圣器(下)', '禁闭岛', '蝴蝶效应', '布达佩斯大饭店', '心灵捕手', '低俗小说', '春光乍泄', '七宗罪', '摩登时代', '喜剧之王', '致命ID', '被嫌弃的松子的一生', '杀人回忆', '加勒比海盗', '红辣椒', '剪刀手爱德华', '狩猎', '请以你的名字呼唤我', '勇敢的心', '7号房的礼物', '功夫', '断背山', '超脱', '哈利·波特与阿兹卡班的囚徒', '天使爱美丽', '入殓师', '唐伯虎点秋香', '第六感', '幽灵公主', '重庆森林', '小森林夏秋篇', '阳光灿烂的日子', '爱在黎明破晓前', '一一', '蝙蝠侠：黑暗骑士崛起', '菊次郎的夏天', '消失的爱人', '无人知晓', '超能陆战队', '哈利·波特与密室', '小森林冬春篇', '完美的世界', '倩女幽魂', '爱在日落黄昏时', '侧耳倾听', '借东西的小人阿莉埃蒂', '甜蜜蜜', '萤火之森', '驯龙高手', '幸福终点站', '玛丽和马克思', '时空恋旅人', '大鱼', '告白', '怪兽电力公司', '阳光姐妹淘', '射雕英雄传之东成西就', '神偷奶爸', '傲慢与偏见', '教父3', '玩具总动员3', '恐怖直播', '釜山行', '一个叫欧维的男人决定去死', '哪吒闹海', '被解救的姜戈', '血战钢锯岭', '未麻的部屋', '头号玩家', '七武士', '我是山姆', '寄生虫', '喜宴', '新世界', '电锯惊魂', '模仿游戏', '哈利·波特与火焰杯', '花样年华', '黑客帝国3：矩阵革命', '卢旺达饭店', '上帝之城', '风之谷', '三块广告牌', '疯狂原始人', '谍影重重3', '英雄本色', '你的名字。', '头脑特工队', '达拉斯买家俱乐部', '纵横四海', '心迷宫', '岁月神偷', '记忆碎片', '忠犬八公物语', '海街日记', '惊魂记', '荒蛮故事', '九品芝麻官', '爆裂鼓手', '贫民窟的百万富翁', '真爱至上', '东邪西毒', '绿里奇迹', '小偷家族', '爱在午夜降临前', '无敌破坏王', '黑天鹅', '冰川时代', '你看起来好像很好吃', '疯狂的石头', '萤火虫之墓', '雨人', '色，戒', '雨中曲', '恐怖游轮', '恋恋笔记本', '魔女宅急便', '2001太空漫游', '城市之光', '可可西里', '二十二', '虎口脱险', '人工智能', '初恋这件小事', '海边的曼彻斯特', '遗愿清单', '奇迹男孩', '大佛普拉斯', '罗生门', '终结者2：审判日', '牯岭街少年杀人事件', '房间', '青蛇', '源代码', '无间道2', '新龙门客栈', '东京教父', '疯狂的麦克斯4：狂暴之路', '魂断蓝桥', '波西米亚狂想曲', '无耻混蛋', '步履不停', '血钻', '茶馆', '彗星来的那一夜', '燃情岁月', '战争之王', '千钧一发', '黑客帝国2：重装上阵', '谍影重重2', '海洋', '崖上的波妞', '阿飞正传', '穿越时空的少女', '背靠背，脸对脸', '谍影重重', '地球上的星星', '香水', '小丑', '完美陌生人', '再次出发之纽约遇见你', '我爱你', '爱乐之城', '朗读者', '火星救援', '驴得水', '聚焦', '小萝莉的猴神大叔', '浪潮', '猜火车', '千年女优']

参考资料

python爬取豆瓣电影top250，代码及思路 - 知乎
BeautifulSoup中的find，find_all - 做梦当财神 - 博客园
网页中怎么查看请求头header信息_xiezhiming1234的博客-CSDN博客_网页请求头

爬取豆瓣top250电影练习相关推荐

[python爬虫] BeautifulSoup和Selenium对比爬取豆瓣Top250电影信息
这篇文章主要对比BeautifulSoup和Selenium爬取豆瓣Top250电影信息,两种方法从本质上都是一样的,都是通过分析网页的DOM树结构进行元素定位,再定向爬取具体的电影信息,通过代码的对 ...
爬取豆瓣top250电影并分析
爬取豆瓣top250电影,提取评论关键词,然后将同一国家的关键词做成一个词云,轮廓是每个国家的地图轮廓爬取数据需要爬取电影名称.导演.年份.地区和前10个评论除了地区,其他的都没什么问题,我们来研 ...
scrapy爬取豆瓣top250电影数据
scrapy爬取豆瓣top250电影数据 scrapy框架 Scrapy是一个为了爬取网站数据,提取结构性数据而编写的应用框架. 可以应用在包括数据挖掘,信息处理或存储历史数据等一系列的程序中. sc ...
【实战1】用BeatuifulSoup解析器爬取豆瓣Top250电影的名称
[实战1]用BeatuifulSoup解析器爬取豆瓣Top250电影的名称一. 爬虫的普遍步骤二. 项目目标分析三.完整爬取代码参考链接: https://www.bilibili.com/v ...
【实战2】爬取豆瓣Top250电影的海报
[实战2]爬取豆瓣Top250电影的海报一. 项目目标分析二. 完整代码参考链接: https://www.bilibili.com/video/BV1ZJ411N7Fq?p=4 一. 项目目标 ...
Python爬取豆瓣Top250电影中2000年后上映的影片信息
Python爬取豆瓣Top250电影中2000年后上映的影片信息前言双十一前加在京东购物车的一个东西,价格330,Plus会员用券后差不多310.双十一当天打开看了下399,还得去抢满300减10 ...
python采用requests+bs4爬取豆瓣top250电影信息
爬取豆瓣top250电影说明 (链接:https://movie.douban.com/top250,可爬取一页或者多页(输出电影的正标题(肖申克的救赎),副标题( The Shawshank Red ...
爬取豆瓣TOP250电影的评分、评价人数、短评等信息，并在其保存在sql数据库中。
爬取目标爬取豆瓣TOP250电影的评分.评价人数.短评等信息,并在其保存在sql数据库中. 最终实现效果如图: 确定爬取的URL 爬取的网页地址为:https://movie.douban.com/ ...
Python爬虫菜鸟入门，爬取豆瓣top250电影（自己学习，如有侵权，请联系我删除）
Python爬虫菜鸟入门,爬取豆瓣top250电影 (自己学习,如有侵权,请联系我删除) import requests from bs4 import BeautifulSoup import ti ...
Python爬取豆瓣Top250电影可见资料并保存为excel形式
Python爬取豆瓣Top250电影可见资料并保存为excel形式利用requests第三方库实现网页的元素爬取,再使用openpyxl库进行信息的录入. 具体思路 1.分析网页的headers. ...

爬取豆瓣top250电影练习

爬取豆瓣top250电影练习相关推荐

最新文章

热门文章