requests与PyQuery

requests

请求获取数据

PyQuery

PyQuery是一个类似于jQuery的解析网页工具，使用lxml操作xml和html文档，它的语法和jQuery很像。和XPATH，Beautiful Soup比起来，PyQuery更加灵活

方式一：通过网址初始化PyQyery对象

from pyquery import PyQuery as pq
s = '<html><title>PyQuery用法总结<title></html>'
doc = pq(s)
print(doc('title'))out:<title>PyQuery用法总结<title/></title><title/>

已字符串的形式传递给PyQuery.生成了一个PyQuery对象，通过该对象就可以访问字符串中的title节点。

print(doc('html'))out:<html><head><title>PyQuery用法总结</title></head></html>

初始化PyQuery对象之后，会把html文档补全，并且自动加上head节点。

方法二:URL网址初始化PyQyery对象

url = 'http://www.bigdata17.com'
doc = pq(url=url,encoding='utf-8')
print(doc('title'))out:<title>Home - Summer哥的自留地</title>

通过文件初始化PyQyery对象

很多时候我们会将网站爬取下来然后保存在本地磁盘

doc = pq(filename='test_pyquery.html',encoding='utf-8')
print(doc('title'))

访问节点属性

使用attr()方法访问节点的属性:返回的是第一个节点的属性值。

from pyquery import PyQuery as pq
li = pq('<li id="test1" class="test1"></li><li id="test2" class="test2"></li>')('li')
print(li.attr("id"))out:test1

items():获取取多个li节点的属性值

li = pq('<li id="test1" class="test1"></li><li id="test2" class="test2"></li>')('li')
print(li.items())
for item in li.items():print(item.attr("id"))

好累啊这个大哥写的不错,你们去看吧
https://blog.csdn.net/sinat_38682860/article/details/100165446

直接上项目

爬取的网址:https://pvp.qq.com/web201605/herolist.shtml
前端代码:

#导入库
import requests
from pyquery import PyQuery
#url
url='https://pvp.qq.com/web201605/herolist.shtml'
#获取
html=requests.get(url).content
#解析
doc=PyQuery(html)#pyquery的使用来展示css选择器的用法
#获取取多个li节点的属性值
items=doc(".herolist>li").items()
#循环
for item in items:a=1url=item.find('img').attr('src')#获取属性值#url存储英雄照片urls="http:"+urlprint(urls)#获取英雄的姓名name=item.find("a").text()print(name)#访问url获取照片url_content=requests.get(urls).content#存储格式为jpg格式可自行修改#with open('./picture/'+name+'.jpg',"wb")as file:#file.write(url_content)#print("正在下载:%s.....%s"%(name,urls))if a==1:break
print("x下载完毕")

out:
http://game.gtimg.cn/images/yxzj/img201606/heroimg/506/506.jpg
云中君
x下载完毕

零基础python爬虫基础之王者荣耀图片下载(超级简单)相关推荐

Python爬虫爬取王者荣耀英雄人物高清图片
Python爬虫爬取王者荣耀英雄人物高清图片实现效果: 网页分析从第一个网页中,获取每个英雄头像点击后进入的新网页地址,即a标签的 href 属性值: 划线部分的网址是需要拼接的在每个英雄的具体 ...
利用python从网络上爬取图片_一篇文章教会你利用Python网络爬虫抓取王者荣耀图片...
点击上方"IT共享之家",进行关注回复"资料"可获赠Python学习福利 [一.项目背景] 王者荣耀作为当下最火的游戏之一,里面的人物信息更是惟妙惟肖,但受到 ...
Python爬虫实战之王者荣耀全套皮肤采集~
导语: 哈喽吖!铁汁们.王者荣耀这款手游,想必大家都玩过或听过,虽已运营7年,但热度依然不减当年,各种英雄配上各式各样的皮肤,甚是精美, 今天就教大家如何利用几行Python代码爬取王者荣耀全套皮肤~ ...
python爬虫爬取王者荣耀官网全部英雄头像(源码分享)
这篇文章为源码分享,爬虫的分析过程请阅读文章 <用python爬取王者荣耀官网的英雄皮肤海报(含源码)> 源码 import requests import json from bs4 i ...
python爬虫爬取王者荣耀官网全部装备图片(源码分享)
这篇文章为源码分享,爬虫的分析过程请阅读文章 <用python爬取王者荣耀官网的英雄皮肤海报(含源码)> 源码 import requests from bs4 import Beauti ...
python爬虫——爬取王者荣耀全英雄皮肤
爬取王者荣耀全英雄皮肤 #爬取王者荣耀全英雄皮肤 import requests import re#1.分析目标网页,确定爬取的url路径,headers参数 base_url='https://p ...
python爬虫——爬取王者荣耀英雄出装建议（一）
爬取装备列表 #爬取王者荣耀装备,并写入MySQL数据库import requests import re import pymysqldb=pymysql.connect('localhost',' ...
Python爬虫之煎蛋网图片下载
受程序员群的影响(自己污的本性),他们总是带我开车,想想我也该收集一些资料了(美女图片) 代码 import requests from lxml import etreeurls = ['http: ...
用Python爬取《王者荣耀》英雄皮肤数据并可视化分析，用图说话
大家好,我是辰哥~ 今天辰哥带大家分析一波当前热门手游<王者荣耀>英雄皮肤,比如皮肤上线时间.皮肤类型(勇者:史诗:传说等).价格. 获取数据数据来源于<王者荣耀官方网站>, ...

零基础python爬虫基础之王者荣耀图片下载(超级简单)