py 爬取汽车之家新闻案例

import requests
from bs4 import BeautifulSoupresponse = requests.get("https://www.autohome.com.cn/news/")# 1. content /text  的区别
# print(response.content)  # content 拿到的字节
response.encoding = 'gbk'
# print(response.text)  # text 拿到的文本信息soup  = BeautifulSoup(response.text,'html.parser')# tag = soup.find(id='auto-channel-lazyload-article')  # 找唯一的值,缩小范围
# h3 = tag.find(name='h3',class_ ='')  # class是关键词所以要加下划线, 或者使用下面的方式
# h3 = tag.find(name='h3',attrs= {'class':''})  #
# print(h3)# 链式写法
li_list = soup.find(id='auto-channel-lazyload-article').find_all(name='li')for li in li_list:title = li.find('h3') #获取标题if not title:# 如果为null,跳出continuetitle = title.textsummary = li.find("p").texturl = li.find("a").get('href')img = li.find("img").get('src')print(img)# 保存图片res = requests.get(img)file_name = "%s.jpg"%(title,)with open(file_name,'wb') as f:f.write(res.content) #保存字节内容

更多精彩文章请关注王明昌博客

py 爬取汽车之家新闻案例相关推荐

爬虫【爬取汽车之家新闻】
代码示例 # coding:utf-8 import requests from bs4 import BeautifulSoup# http方式 response = requests.get('h ...
爬取汽车之家图片 - scrapy - crawlspider - python爬虫案例
爬取汽车之家图片需求:爬取汽车之家某一个汽车的图片一. 普通scrapy 第一步页面分析目标url: https://car.autohome.com.cn/photolist/serie ...
python爬虫（二十四）爬取汽车之家某品牌图片
爬取汽车之家某品牌图片需求爬取汽车之家某品牌的汽车图片目标url https://car.autohome.com.cn/photolist/series/52880/6957393.html# ...
python爬虫利用Scrapy框架爬取汽车之家奔驰图片--实战
先看一下利用scrapy框架爬取汽车之家奔驰A级的效果图 1)进入cmd命令模式下,进入想要存取爬虫代码的文件,我这里是进入e盘下的python_spider文件夹内 C:\Users\15538&g ...
使用scrapy框架爬取汽车之家的图片(高清)
使用scrapy框架爬取汽车之家的图片(高清) 不同于上一篇的地方是,这篇要爬取的是高清图片,而不仅仅是缩略图. 先来看一下要爬取的页面:https://car.autohome.com.cn/pic ...
PYTHON爬取汽车之家数据
PYTHON爬取汽车之家数据使用知识使用BeautifulSoup模块使用正则表达式使用到多线程爬取使用说明使用前请安装BeauifulSoup 起始页面: https://www.aut ...
python3 selenium webdriver.Chrome php 爬取汽车之家所有车型详情数据[开源版]
介绍本接口是车型库api的补充,用于爬取汽车之家所有车型详情数据开源地址:https://gitee.com/web/CarApi/tree/master/python 软件架构 python3 ...
python爬取汽车之家_python爬虫实战之爬取汽车之家网站上的图片
随着生活水平的提高和快节奏生活的发展.汽车开始慢慢成为人们的必需品,浏览各种汽车网站便成为购买合适.喜欢车辆的前提.例如汽车之家网站中就有最新的报价和图片以及汽车的相关内容,是提供信息最快最全的中国汽 ...
python3爬虫系列16之多线程爬取汽车之家批量下载图片
python3爬虫系列16之多线程爬取汽车之家批量下载图片 1.前言上一篇呢,python3爬虫系列14之爬虫增速多线程,线程池,队列的用法(通俗易懂),主要介绍了线程,多线程,和两个线程池的使用. ...

py 爬取汽车之家新闻案例

py 爬取汽车之家新闻案例相关推荐

最新文章

热门文章