爬虫项目——xpath练手（1）

本文爬取目标网址中的电影名，介绍，及评分

前期准备：
工具：Spyder
引用的库：requests,csv,lxml里的 etree

1.前期基本处理:

url = "https://film.sohu.com/list_4_0_0_0_0_1_60.html?channeled=1200100000"
headers = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/94.0.4606.61 Safari/537.36"
}
resp = requests.get(url,headers=headers)
resp.encoding = "utf-8"

2.对其进行x-path解析

html = etree.HTML(resp.text)

3.进行定位

选中神秘巨星的字样,右键->检查
选择右边源码区域，选择到每个影片同级的区域，这里找到

右键->复制->复制Xpath
/html/body/div[4]/div[2]/ul/li[1]
li[1]就是神秘巨星影片所包含的信息，我们去掉[1],就能寻找到所有影片的信息了

lis = html.xpath("/html/body/div[4]/div[2]/ul/li")

4.深层寻找每个信息

for li in lis:title = li.xpath("./div[2]/div[1]/text()")abstract = li.xpath("./div[2]/div[2]/text()")score = li.xpath("./div[1]/div[3]/span/text()")

附上完整代码

# -*- coding: utf-8 -*-
"""
Created on Sun Oct  3 17:37:09 2021@author: yingziE-mail:guotaomath@163.com
"""import requests
from lxml import etree
import csvurl = "https://film.sohu.com/list_4_0_0_0_0_1_60.html?channeled=1200100000"
headers = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/94.0.4606.61 Safari/537.36"
}
resp = requests.get(url,headers=headers)
resp.encoding = "utf-8"f = open("movie.csv",mode="w",encoding="utf-8")
csvwriter = csv.writer(f)html = etree.HTML(resp.text)lis = html.xpath("/html/body/div[4]/div[2]/ul/li")for li in lis:title = li.xpath("./div[2]/div[1]/text()")abstract = li.xpath("./div[2]/div[2]/text()")score = li.xpath("./div[1]/div[3]/span/text()")csvwriter.writerow([title,abstract,score])
f.close()
resp.close()
print("over!!!")

评分那块,只取出数字待解决

爬虫项目——xpath练手（1）相关推荐

爬虫项目——BS练手（2）
本文爬取目标网址的图片,获取如下区域的图片前期准备: 工具:Spyder 引用的库:requests,bs4中的BeautifulSoup 1.获取目标网址信息 url = "https: ...
爬虫项目——BS4练手（1）
本文爬取目标网页表格中的内容,提取(品名,最高价,最低价,均价)信息,导入csv文件中前期准备: 工具:Spyder 引用的库:requests,bs4中的BeautifulSoup,csv 1.获 ...
从入门到入土：Python爬虫学习|实例练手|爬取猫眼榜单|Xpath定位标签爬取|代码
此博客仅用于记录个人学习进度,学识浅薄,若有错误观点欢迎评论区指出.欢迎各位前来交流.(部分材料来源网络,若有侵权,立即删除) 本人博客所有文章纯属学习之用,不涉及商业利益.不合适引用,自当删除! 若 ...
从入门到入土：Python爬虫学习|实例练手|爬取新浪新闻搜索指定内容|Xpath定位标签爬取|代码注释详解
此博客仅用于记录个人学习进度,学识浅薄,若有错误观点欢迎评论区指出.欢迎各位前来交流.(部分材料来源网络,若有侵权,立即删除) 本人博客所有文章纯属学习之用,不涉及商业利益.不合适引用,自当删除! 若 ...
从入门到入土：Python爬虫学习|实例练手|爬取百度产品列表|Xpath定位标签爬取|代码注释详解
此博客仅用于记录个人学习进度,学识浅薄,若有错误观点欢迎评论区指出.欢迎各位前来交流.(部分材料来源网络,若有侵权,立即删除) 本人博客所有文章纯属学习之用,不涉及商业利益.不合适引用,自当删除! 若 ...
从入门到入土：Python爬虫学习|实例练手|爬取百度翻译|Selenium出击|绕过反爬机制|
此博客仅用于记录个人学习进度,学识浅薄,若有错误观点欢迎评论区指出.欢迎各位前来交流.(部分材料来源网络,若有侵权,立即删除) 本人博客所有文章纯属学习之用,不涉及商业利益.不合适引用,自当删除! 若 ...
【源码+教程】Java桌球游戏_Java初级项目_Java练手项目_Java项目实战_Java游戏开发
今天分享的Java开源游戏项目是桌球游戏,初学者也可以用来练习喔~课程详细讲解了一个桌球游戏的编写思路和流程,即使你刚学Java没多久,也可以跟随该教程视频完成属于你自己的桌球游戏!同时,还可以加深和 ...
为何别人实操很强？因为他用这70个Python项目学习练手！它值得你收藏落灰！
[此文章转自乐字节] 前言: 不管学习哪门语言都希望能做出实际的东西来,这个实际的东西当然就是项目啦,不用多说大家都知道学编程语言一定要做项目才行. 这里整理了70个Python实战项目列表,都有完整 ...
新手python的100个实战项目,python练手经典100例项目
Python 的练手项目有哪些值得推荐? 基础和爬虫.Python由荷兰数学和计算机科学研究学会的Guido van Rossum于1990 年代初设计,作为一门叫做ABC语言的替代品. Python ...

爬虫项目——xpath练手（1）

爬虫项目——xpath练手（1）相关推荐

最新文章

热门文章