用xpath爬取豆瓣
**
(继上次正则的爬取豆瓣的另一种方法)
**
import requests
from lxml import html
url = "https://movie.douban.com/chart"
headers = {'User-Agent':'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/39.0.2171.71 Safari/537.36','Cookie':'ll="118088"; bid=pEvZmYymg9w; __yadk_uid=MBVdmoWQpfuaAduWgI3sr27xdVb2SpxL; _vwo_uuid_v2=D48A302F0862238CF3F23ACA0683DA5FD|96bd09ebd9b5983c45ac0b80abdd5580; trc_cookie_storage=taboola%2520global%253Auser-id%3Daeb8d923-8e31-45ff-9a11-7a4a24c2fd2a-tuct46c9718; viewed="6898903"; gr_user_id=3ca08a9d-8af2-4ae5-b72c-1bd6343499e3; __utmc=30149280; __utmz=30149280.1569503137.3.3.utmcsr=baidu|utmccn=(organic)|utmcmd=organic; __utmc=223695111; __utmz=223695111.1569503137.2.2.utmcsr=baidu|utmccn=(organic)|utmcmd=organic; acw_tc=276082a815695948946125465eed822b29faf81d8ad94d5cf0d821287a5f92; ap_v=0,6.0; _pk_ref.100001.4cf6=%5B%22%22%2C%22%22%2C1569594896%2C%22https%3A%2F%2Fwww.baidu.com%2Flink%3Furl%3D9Tr6b3hwv1bkFIt9iIEG9pjP2rKLHFpsgJYvz_JZ4P-gjFxDN7hKNDQUVT_-57rw%26wd%3D%26eqid%3D99624ff700502a24000000035d8cb79c%22%5D; _pk_id.100001.4cf6=0d8c49bca23e986a.1568892239.4.1569594896.1569541094.; __utma=30149280.1815959067.1568892238.1569541094.1569594896.5; __utma=223695111.1519397804.1568892239.1569541094.1569594896.4'}
response=requests.get(url,headers=headers,timeout=2)
response.encoding = response.apparent_encoding
html=response.text
selector=lxml.html.fromstring(html)
titles= selector.xpath("//a[@class='nbg']/@title")
webs=selector.xpath("//a[@class='nbg']/@href")
scores=selector.xpath("//span[@class='rating_nums']/text()")
contents=selector.xpath("//p[@class='pl']/text()")
for i in range(0,11):print("片名:",titles[i])print("评分:",scores[i]) print("详情:",contents[i])print("网址:",webs[i])print('\n')
用xpath爬取豆瓣相关推荐
- Requests+Xpath 爬取豆瓣读书TOP并生成txt,csv,json,excel文件
说明: ##来源:https://www.cnblogs.com/yizhiamumu/p/10270926.html 1 Requests+Xpath 爬取豆瓣读书TOP ''' Requests+ ...
- 爬虫系列1:Requests+Xpath 爬取豆瓣电影TOP
爬虫1:Requests+Xpath 爬取豆瓣电影TOP [抓取]:参考前文 爬虫系列1:https://www.cnblogs.com/yizhiamumu/p/9451093.html [分页]: ...
- python爬取音乐_Python现学现用xpath爬取豆瓣音乐
昨天说了Requests库,今天来上手爬虫了. 爬虫的抓取方式有好几种,正则表达式,Lxml(xpath)与BeautifulSoup,我在网上查了一下资料,了解到三者之间的使用难度与性能 三种爬虫方 ...
- Python爬虫:现学现用xpath爬取豆瓣音乐
爬虫的抓取方式有好几种,正则表达式,Lxml(xpath)与BeautifulSoup,我在网上查了一下资料,了解到三者之间的使用难度与性能 三种爬虫方式的对比. 这样一比较我我选择了Lxml(xpa ...
- python 爬取豆瓣某一主题书单_Python爬虫 || 使用requests和xpath爬取豆瓣Top250书单内容全解。...
昨天,我们了解了如何爬取豆瓣某一个电影固定的位置信息,包含电影名称.导演.演员及评分等,今天我们来了解一下如何爬取豆瓣Top250书单,并如何将爬取到的内容存放到本地. 废话不多说了,shou my ...
- python xpath爬取豆瓣图书Top 250存入csv文件并解决csv乱码问题
我上次分享过关于爬取豆瓣电影top250的实战:BeautifulSoup爬取豆瓣电影top250信息 和 python BeautifulSoup爬取豆瓣电影top250信息并写入Excel表格 , ...
- Python爬虫如何实用xpath爬取豆瓣音乐
前言 本文的文字及图片来源于网络,仅供学习.交流使用,不具有任何商业用途,如有问题请及时联系我们以作处理. PS:如有需要Python学习资料的小伙伴可以加点击下方链接自行获取 python免费学习资 ...
- python爬虫——使用代理和xpath爬取豆瓣读书
根据豆瓣读书的所有标签自动创建文件夹,使用代理防止被反爬.但是我的代理好像是假的,还是被反爬了-通过设置cookie爬取,但是爬取一定数量后需要在浏览器手动进行验证码输入-总的来说,代码写的很麻烦 i ...
- #私藏项目实操分享#Python爬虫实战,requests+xpath模块,Python实现爬取豆瓣影评
前言 利用利用requests+xpath爬取豆瓣影评,废话不多说. 让我们愉快地开始吧~ 开发工具 Python版本:3.6.4 相关模块: requests模块: jieba模块: pandas模 ...
最新文章
- 第二项目AIaisell(易销宝)
- Swift:在Safari中打开App
- 「日常训练」Common Subexpression Elimination(UVa-12219)
- 成功解决 ModuleNotFoundError: No module named ‘PyQt5.sip‘
- 2017 年热门编程语言排行榜,你的语言上榜没?
- THREE TRACKS AT UNIVERSITY
- 空格替换_O(n)方法
- python中的计算符号
- HTML的DOM和浏览器的BOM
- 搜索引擎设计实用教程(1)-以百度为例 之一:查询处理以及分词技术
- dell设置从ssd启动_工程师笔记︱趁降价采购了一批SSD,结果管理上遇到了问题?...
- deepin虚拟机安装教程
- halcon小例:ORC识别
- 史玉柱自述:我是如何做游戏策划
- Word无法打开该文件,因为文件格式与文件扩展名不匹配的解决方法
- Firefox的安装
- 第四篇 fluter中为应用添加事件和导航
- java简单从一个数据库获取数据,然后插入到另外一个数据库
- 【强迫症系列】【win】更改 Python 的 pip install 默认安装依赖路径
- 分享datax遇到的坑
热门文章
- 通过一个场景实例 了解前端处理大数据的无限可能
- GitHub+Hexo 搭建个人博客(一)
- 医学图像处理开源软件
- 计算机应用工程师vs平面设计,计算机专业和平面设计专业是一个专业不?
- 高德地图三维实景导航:立体实景指引更清晰,复杂路口不再犹豫
- 汽车潮流新能向,“大魔王”实力出道
- 五一培训 清北学堂 DAY2
- 线性代数(第六版)同济大学 习题一 (1-4题)个人解答
- 【尊享版】如何从零到一掌控习惯?
- java.lang.IllegalArgumentException: Invoked method public abstract