Python requests 爬取汽车之家全部品牌logo,urllib下载到本地
首先是汽车之家品牌页面的HTML
我们定位到图片那个位置,这个img标签的src加上https就是图片完整的地址
那么品牌名称就是下面那个p标签的text
接下来我们的目的就是从中取出src和text了,下面是获取的全部代码
# coding:utf-8
# 引入相关模块
import requests
from bs4 import BeautifulSoup
url = "https://car.autohome.com.cn/zhaoche/pinpai/"
# 请求汽车之家的 URL,获取其 text 文本
wbdata = requests.get(url)
#编码格式,避免中文乱码的情况出现
wbdata.encoding = 'gb18030'
# print(wbdata)
# 对获取到的文本进行解析
soup = BeautifulSoup(wbdata.text,'lxml')
# print(soup)
# 从解析文件中通过 select 选择器定位指定的元素,返回一个列表
# icons = soup.select("a.pic > img")
# print(icons)
titles = soup.select("div.uibox-con >dl > dt > p > a")
#这里很关键,拿出来的数据其实包含了两个同级p标签,
#第一个是logo第二个是品牌文字,所以我这里的处理就是根据奇偶数判断是logo还是品牌文字
src = ''
totalDatas = []
for i in range(len(titles)):if i % 2 ==0 :src = titles[i].img.get("src") # print(src)else:title = titles[i].get_text();# print(title)#做一个写入datas = {"src": "https:" +src,"title":title}totalDatas.append(datas)
printf(totalDatas)
当然这里得到了全部的图片信息,那么我们应该把它下载到本地方便自己使用
import os,stat
import urllib.request
#必须使用ssl,否则会报证书验证的错误
import ssl
ssl._create_default_https_context = ssl._create_unverified_contextdef save_img(img_url,file_name,file_path='test\img'):#保存图片到磁盘文件夹 file_path中,默认为当前脚本运行目录下的 test\img文件夹try:if not os.path.exists(file_path):print ('文件夹',file_path,'不存在,重新建立')#os.mkdir(file_path)os.makedirs(file_path)#获得图片后缀file_suffix = os.path.splitext(img_url)[1]#拼接图片名(包含路径)filename = '{}{}{}{}'.format(file_path,os.sep,file_name,file_suffix)#下载图片,并保存到文件夹中urllib.request.urlretrieve(img_url,filename=filename)except IOError as e:print ('文件操作失败',e)except Exception as e:print ('错误 :',e)for data in totalDatas:img_url = data["src"]file_name = data["title"]save_img(img_url,file_name)
Python requests 爬取汽车之家全部品牌logo,urllib下载到本地相关推荐
- python爬取汽车之家图片,Python requests 爬取汽车之家全部品牌logo,urllib下载到本地...
首先是汽车之家品牌页面的HTML 我们定位到图片那个位置,这个img标签的src加上https就是图片完整的地址 那么品牌名称就是下面那个p标签的text 接下来我们的目的就是从中取出src和text ...
- python爬虫(二十四)爬取汽车之家某品牌图片
爬取汽车之家某品牌图片 需求 爬取汽车之家某品牌的汽车图片 目标url https://car.autohome.com.cn/photolist/series/52880/6957393.html# ...
- python+mitmdump爬取汽车之家汽车信息
一,准备工作 (一)安装mitmproxy 1,通过 pip install mitmproxy 安装 2,通过安装包安装 网址:https://github.com/mitmproxy/mitmpr ...
- python爬取汽车之家_python爬虫实战之爬取汽车之家网站上的图片
随着生活水平的提高和快节奏生活的发展.汽车开始慢慢成为人们的必需品,浏览各种汽车网站便成为购买合适.喜欢车辆的前提.例如汽车之家网站中就有最新的报价和图片以及汽车的相关内容,是提供信息最快最全的中国汽 ...
- PYTHON爬取汽车之家数据
PYTHON爬取汽车之家数据 使用知识 使用BeautifulSoup模块 使用正则表达式 使用到多线程爬取 使用说明 使用前请安装BeauifulSoup 起始页面: https://www.aut ...
- Python 爬虫实战入门——爬取汽车之家网站促销优惠与经销商信息
在4S店实习,市场部经理让我写一个小程序自动爬取汽车之家网站上自家品牌的促销文章,因为区域经理需要各店上报在网站上每一家经销商文章的露出频率,于是就自己尝试写一个爬虫,正好当入门了. 一.自动爬取并输 ...
- Python爬取汽车之家所有车型数据,以后买车就用这个参考了
欢迎点击右上角关注小编,除了分享技术文章之外还有很多福利,私信学习资料可以领取包括不限于Python实战演练.大航海计划.BAT内推.学习资料等. 前言 2018年马上就要过去了,经过一年的奋斗,我相 ...
- python爬虫利用Scrapy框架爬取汽车之家奔驰图片--实战
先看一下利用scrapy框架爬取汽车之家奔驰A级的效果图 1)进入cmd命令模式下,进入想要存取爬虫代码的文件,我这里是进入e盘下的python_spider文件夹内 C:\Users\15538&g ...
- 爬取汽车之家图片 - scrapy - crawlspider - python爬虫案例
爬取汽车之家图片 需求:爬取汽车之家某一个汽车的图片 一. 普通scrapy 第一步 页面分析 目标url: https://car.autohome.com.cn/photolist/serie ...
最新文章
- 剑指Offer_Python实现
- 3.2.2 请求分页管理方式
- RabbitMQ通配符模式以及与Routing模式的区别
- 与afreez一起学习DirectFB之:一个linux下的framebuffer例子的学问
- 一种新的图像清晰度评价函数,数字图像清晰度评价函数的研究与改进
- mysql zip 安装
- HDS业务定义永续IT架构
- android eclipse services,Eclipse中调试Android Framework本地代码模块部分过程记录
- xmlhttprequest 跨域_跨域资源共享(CORS)安全性
- java - 水仙花数
- php 生产环境 测试环境 同步,开发 RoR PHP Project,测试环境、生产环境部署相关问题...
- mysql慢日志分析工具_mysql慢查日志分析工具 percona-toolkit
- 双屏扩展桌面类软件,展示界面位置不正确,或相反,如何解决?
- h3c服务器怎么更换无线密码,如何更换无线网密码_怎么更换无线网密码?-192路由网...
- java 博饼 算法_java博饼游戏( 完善中。。。。。。。。。。。)
- Word2Vec模型配置参数
- word2007如何批量删除文本框
- 在OpenGL中创建一个球体动画,使球体在窗口内做自由落体运动,并在撞击地面后能够返回原来高度
- Unity3D 模型大小,面数,贴图大小,骨骼数量规范(一)
- 稀疏问题的解决——数据平滑 - yiyi_xuechen