老男孩爬虫实战密训课第一季，2018.6，初识爬虫训练-实战1-爬取汽车之家新闻数据...

1.爬虫介绍

　　编写程序，根据URL获取网站信息

2.用到的库

　　requests库

　　bs4库

3.内容及步骤

4.代码

import requests
import os
from bs4 import BeautifulSoup
# 1.下载页面
ret = requests.get(url='https://www.autohome.com.cn/news/')
ret.encoding = ret.apparent_encoding
# print(ret.text)  爬取的内容# 2.解析：获取想要的指定内容beautifulsoup
soup = BeautifulSoup(ret.text, 'html.parser')  # lxml
div = soup.find(name='div', id='auto-channel-lazyload-article')
li_list = div.find_all(name='li')
# 更改下载地址
os.mkdir("图片")
os.chdir("图片")
for li in li_list:# 获取新闻标题h3 = li.find(name='h3')if not h3:continue# 获取新闻内容p = li.find(name='p')# 获取链接地址a = li.find(name='a')# print(a.attrs)获取属性print(h3.text,a.get('href'),p.text)print('=' * 15)# 获取图片链接并下载img = li.find('img')src = img.get('src')# 根据__分割，得到列表file_nane = src.rsplit('__', maxsplit=1)[1]ret_img = requests.get(url='https:' + src)with open(file_nane, 'wb') as f:f.write(ret_img.content)

find的扩展：

　　可以用：

　　　　1.id，_class

　　　　2.attrs方式

转载于:https://www.cnblogs.com/yhstcxx/p/10946511.html

老男孩爬虫实战密训课第一季，2018.6，初识爬虫训练-实战1-爬取汽车之家新闻数据...相关推荐

爬虫【爬取汽车之家新闻】
代码示例 # coding:utf-8 import requests from bs4 import BeautifulSoup# http方式 response = requests.get('h ...
python爬取汽车之家_python爬虫实战之爬取汽车之家网站上的图片
随着生活水平的提高和快节奏生活的发展.汽车开始慢慢成为人们的必需品,浏览各种汽车网站便成为购买合适.喜欢车辆的前提.例如汽车之家网站中就有最新的报价和图片以及汽车的相关内容,是提供信息最快最全的中国汽 ...
Python 爬虫实战入门——爬取汽车之家网站促销优惠与经销商信息
在4S店实习,市场部经理让我写一个小程序自动爬取汽车之家网站上自家品牌的促销文章,因为区域经理需要各店上报在网站上每一家经销商文章的露出频率,于是就自己尝试写一个爬虫,正好当入门了. 一.自动爬取并输 ...
python爬虫利用Scrapy框架爬取汽车之家奔驰图片--实战
先看一下利用scrapy框架爬取汽车之家奔驰A级的效果图 1)进入cmd命令模式下,进入想要存取爬虫代码的文件,我这里是进入e盘下的python_spider文件夹内 C:\Users\15538&g ...
python3爬虫系列16之多线程爬取汽车之家批量下载图片
python3爬虫系列16之多线程爬取汽车之家批量下载图片 1.前言上一篇呢,python3爬虫系列14之爬虫增速多线程,线程池,队列的用法(通俗易懂),主要介绍了线程,多线程,和两个线程池的使用. ...
python爬虫（二十四）爬取汽车之家某品牌图片
爬取汽车之家某品牌图片需求爬取汽车之家某品牌的汽车图片目标url https://car.autohome.com.cn/photolist/series/52880/6957393.html# ...
爬取汽车之家图片 - scrapy - crawlspider - python爬虫案例
爬取汽车之家图片需求:爬取汽车之家某一个汽车的图片一. 普通scrapy 第一步页面分析目标url: https://car.autohome.com.cn/photolist/serie ...
Python爬虫系列之爬取微信公众号新闻数据
Python爬虫系列之爬取微信公众号新闻数据小程序爬虫接单.app爬虫接单.网页爬虫接单.接口定制.网站开发.小程序开发 > 点击这里联系我们 < 微信请扫描下方二维码代码仅供学习交流 ...
爬虫第四式：增量爬虫之爬取汽车之家数据
今天我们实现增量爬虫~,先来了解一下啥是增量爬虫?? 增量爬虫: 通过爬虫程序监测某网站数据更新的情况,以便可以爬取到该网站更新出的新数据通俗来讲:就是当你在爬取一个网站的数据的时候,反反复复在爬取 ...

老男孩爬虫实战密训课第一季，2018.6，初识爬虫训练-实战1-爬取汽车之家新闻数据...

老男孩爬虫实战密训课第一季，2018.6，初识爬虫训练-实战1-爬取汽车之家新闻数据...相关推荐

最新文章

热门文章