python 网络爬虫 1.2 获取豆瓣TOP250电影的中英文名、港台名、导演、上映年份、电影分类以及评分，将数据存入文档。

题目：
获取豆瓣TOP250电影的中英文名、港台名、导演、上映年份、电影分类以及评分，将数据存入文档。
代码：

import codecs
import csv
import refrom requests_html import HTMLSessionbase_url = "https://movie.douban.com/top250?start="
# 获取请求对象
session = HTMLSession()
result_list = []def filter(s):if s:s = s.strip()s = re.sub('\s+', ' ', s)s = s.replace(" / ", "/")if s[0] == "/":s = s[1:]s = s.strip()return sfor i in range(0, 10):url = base_url + str(i * 25)response = session.get(url)html = response.htmldiv = html.xpath('//*[@class="grid_view"]', first=True)div_list = div.xpath('//li')for d in div_list:z_name = filter(d.xpath('//div/div[2]/div[1]/a/span[1]/text()', first=True))e_name = filter(d.xpath('//div/div[2]/div[1]/a/span[2]/text()', first=True))g_name = filter(d.xpath('//div/div[2]/div[1]/a/span[3]/text()', first=True))info_list = d.xpath('//div/div[2]/div[2]/p/text()')# 省略部分代码，回复获取else:print(url, z_name, info_list)
csv_file = codecs.open('data/movie_test.csv', 'w', encoding='utf-8')
writer = csv.writer(csv_file)
for d in result_list:writer.writerow((d['中文名'], d['英文名'], d['港台名'], d['导演'], d['上映年份'], d['分类'], d['评分']))
csv_file.close()

输出结果：

python 网络爬虫 1.2 获取豆瓣TOP250电影的中英文名、港台名、导演、上映年份、电影分类以及评分，将数据存入文档。相关推荐

python 网络爬虫 1.3 获取中国天气网8-15天的天气信息,包含: 日期,天气,温度,风力. 将数据存入文档。
题目: 获取中国天气网8-15天的天气信息,包含: 日期,天气,温度,风力. 将数据存入文档. 代码: from requests_html import HTMLSessionurl = " ...
Python网络爬虫：爬取豆瓣上《小王子》书评
本文为南大<用Python玩转数据>学习笔记用到的库或模块: 1.Requests第三方库用于中小型网络爬虫的信息抓取. 基本方法: requests.get() 请求获取指定YRL位 ...
Python 网络爬虫与信息获取（二）—— 页面内容提取
1. 获取超链接 python获取指定网页上所有超链接的方法 links = re.findall(b'"((http|ftp)s?://.*?)"', html) links = ...
Python 网络爬虫与信息获取（一）—— requests 库的网络爬虫
1. 安装与测试进入 cmd(以管理员权限),使用 pip 工具,pip install requests 进行安装: 基本用法: >> import requests >> ...
python下载电影天堂视频_一篇文章教会你利用Python网络爬虫获取电影天堂视频下载链接...
点击上方"IT共享之家",进行关注回复"资料"可获赠Python学习福利 [一.项目背景] 相信大家都有一种头疼的体验,要下载电影特别费劲,对吧?要一部一部的 ...
一篇文章教会你利用Python网络爬虫获取电影天堂视频下载链接
[一.项目背景] 相信大家都有一种头疼的体验,要下载电影特别费劲,对吧?要一部一部的下载,而且不能直观的知道最近电影更新的状态. 今天小编以电影天堂为例,带大家更直观的去看自己喜欢的电影,并且下载下来 ...
python爬虫教程视频下载-利用Python网络爬虫获取电影天堂视频下载链接【详细教程】...
相信大家都有一种头疼的体验,要下载电影特别费劲,对吧?要一部一部的下载,而且不能直观的知道最近电影更新的状态. 今天以电影天堂为例,带大家更直观的去看自己喜欢的电影,并且下载下来. [二.项目准备] ...
利用Python网络爬虫获取电影天堂视频下载链接【详细教程】
相信大家都有一种头疼的体验,要下载电影特别费劲,对吧?要一部一部的下载,而且不能直观的知道最近电影更新的状态. 今天以电影天堂为例,带大家更直观的去看自己喜欢的电影,并且下载下来. [二.项目准备] ...
python下载电影天堂视频教程_一篇文章教会你利用Python网络爬虫获取电影天堂视频下载链接|python基础教程|python入门|python教程...
https://www.xin3721.com/eschool/pythonxin3721/ [一.项目背景] 相信大家都有一种头疼的体验,要下载电影特别费劲,对吧?要一部一部的下载,而且不能直观的知 ...

python 网络爬虫 1.2 获取豆瓣TOP250电影的中英文名、港台名、导演、上映年份、电影分类以及评分，将数据存入文档。

python 网络爬虫 1.2 获取豆瓣TOP250电影的中英文名、港台名、导演、上映年份、电影分类以及评分，将数据存入文档。相关推荐

最新文章

热门文章