想要爬取豆瓣电影Top250的电影排名、电影名和评分并写入文档吗？其实很简单。

打开Pycharm
得到豆瓣电影Top250的网址：
https://movie.douban.com/top250?start=0&filter=
接下来是我的代码：

from urllib.request import urlopen, Request
from bs4 import BeautifulSoup
import re
for x in range(0,250,25):url=("https://movie.douban.com/top250?start="+str(x))+"&filter="header = {'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/85.0.4183.102 Safari/537.36'}ret = Request(url, headers=header)html=urlopen(ret)name1s=[]bs = BeautifulSoup(html,'html.parser')numbers=bs.find_all("em",{ "class":""})names = bs.find_all("span",{"class":"title"})scores = bs.find_all("span",{"class":"rating_num"})for name in names:name = name.get_text()if name[1] !='/' :name1s.append(name)for number,name1,score in zip(numbers,name1s,scores,) :number = number.get_text()score = score.get_text()print(number,name1,score)list = [str(number)+ name1+ str(score)]sep = ','fl=open('douban.txt', 'a')fl.write(sep.join(list)+'\r\n')fl.close()

可以试试运行一下哦！

爬取“豆瓣电影Top250”的电影排名、电影名和评分并写入文档相关推荐

利用Requests库和正则表达式爬取豆瓣影评Top250
说明最近看了下爬虫基础,想写个博客来记录一下,一来是可以方便和我一样刚入门的小白来参考学习,二来也当做自己的笔记供自己以后查阅. 本文章是利用python3.6和Requests库(需自行安装,cm ...
requests 获取div_爬虫系列第五篇使用requests与BeautifulSoup爬取豆瓣图书Top250
上一篇我们学习了BeautifulSoup的基本用法,本节我们使用它来爬取豆瓣图书Top250. 一.网页分析我们爬取的网页的url是https://book.douban.com/top250?i ...
Python爬虫学习之爬取豆瓣音乐Top250存入Excel表格中
前言目标网站:https://music.douban.com/top250 任务: 爬取豆瓣音乐Top250的歌曲名爬取豆瓣音乐Top250的歌曲对应的表演者.发行时间和音乐流派(分别对应下图斜 ...
R语言爬取豆瓣图书Top250
新手爬虫,使用R中最简单的读取网页,然后获取所需内容所在行进行解析.下面介绍爬取豆瓣图书Top250的案例. 1.首先,我们知道网页规律为:"http://book.douban.com/t ...
使用Xpath语法爬取豆瓣读书Top250
使用Xpath语法爬取豆瓣读书Top250(csv存取数据) 使用的软件是Spyder 网页地址:https://book.douban.com/top250?start=0 直接上代码: 建议大家从 ...
爬虫项目实操三、用scrapy框架爬取豆瓣读书Top250的书名,出版信息和评分
安装方法:Windows:在终端输入命令:pip install scrapy:mac:在终端输入命令:pip3 install scrapy,按下enter键,再输入cd Python,就能跳转到P ...
python爬虫爬取豆瓣读书Top250
python爬虫爬取豆瓣读书Top250 话不多说,直接上代码! from urllib.request import urlopen, Request from bs4 import Beautif ...
使用python的scrapy框架简单的爬取豆瓣读书top250
使用python的scrapy框架简单的爬取豆瓣读书top250 一.配置scrapy环境 1. 配置相应模块如果没有配置过scrapy环境的一般需要安装lxml.PyOpenssl.Twisted ...
python爬取豆瓣读书top250并保存xls（含源码）
python爬取豆瓣读书top250并保存xls(含源码) 又是霍霍豆瓣的一天O(∩_∩)O哈哈~. 目标网站:http://book.douban.com/top250/ 全军出击!!! 首先,按下 ...

爬取“豆瓣电影Top250”的电影排名、电影名和评分并写入文档

想要爬取豆瓣电影Top250的电影排名、电影名和评分并写入文档吗？其实很简单。

可以试试运行一下哦！

爬取“豆瓣电影Top250”的电影排名、电影名和评分并写入文档相关推荐

最新文章

热门文章