python爬表格数据_python爬虫,爬取表格数据

python爬虫,爬取表格数据

python爬虫，爬取全国空气质量指数

编程环境：Jupyter Notebook

所要爬取的网页数据内容如下图

python爬虫代码及含义详细说明

#全国城市

import time

import requests

from bs4 import BeautifulSoup

headers = {

'User-Agent':'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36'

}#爬虫[Requests设置请求头Headers],伪造浏览器

# 核心爬取代码

url= 'http://www.tianqihoubao.com/aqi/aqi_rank.html'

params = {"show_ram":1}

response = requests.get(url,params=params, headers=headers)#访问url

listData=[]#定义数组

soup = BeautifulSoup(response.text, 'html.parser')#获取网页源代码

tr = soup.find('table',class_='b').find_all('tr')#.find定位到所需数据位置 .find_all查找所有的tr(表格)

# 去除标签栏

for j in tr[1:]: #tr2[1:]遍历第1列到最后一列，表头为第0列

td = j.find_all('td')#td表格

Date = td[0].get_text().strip() #遍历排名

Quality_grade = td[1].get_text().strip() #遍历城市

AQI = td[2].get_text().strip() #遍历空气质量指数AQI

AQI_rank = td[3].get_text().strip() #遍历PM2.5浓度

PM = td[4].get_text() #遍历空气质量状况

Cities = td[5].get_text() #遍历省份

listData.append([Date,Quality_grade,AQI,AQI_rank,PM,Cities])

print (listData)#打印

运行结果如下

python爬虫,爬取表格数据相关教程

python爬表格数据_python爬虫,爬取表格数据相关推荐

python抓取数据库数据_Python爬虫抓取东方财富网股票数据并实现MySQL数据库存储...
Python爬虫可以说是好玩又好用了.现想利用Python爬取网页股票数据保存到本地csv数据文件中,同时想把股票数据保存到MySQL数据库中.需求有了,剩下的就是实现了. 在开始之前,保证已经安装好 ...
python解析网页数据_python爬虫——爬取网页数据和解析数据
1.网络爬虫的基本概念网络爬虫(又称网络蜘蛛,机器人),就是模拟客户端发送网络请求,接收请求响应,一种按照一定的规则,自动地抓取互联网信息的程序. 只要浏览器能够做的事情,原则上,爬虫都能够做到. ...
python爬取js加载的数据_Python爬虫:爬取JS加载数据的网页
比如简书: Paste_Image.png 我们来写个程序,爬取简书网站随便一个作者的所有文章,再对其所有文章进行分词统计程序运行统计的结果见文章: 我统计了彭小六简书360篇文章中使用的词语需要 ...
python爬虫爬取股票软件数据_Python爬虫抓取东方财富网股票数据并实现MySQL数据库存储（转载）...
完整代码实际上,整个事情完成了两个相对独立的过程:1.爬虫获取网页股票数据并保存到本地文件:2.将本地文件数据储存到MySQL数据库.并没有直接的考虑把从网页上抓取到的数据实时(或者通过一个临时文件 ...
python爬电影天堂_python爬虫爬取电影天堂电影
python爬虫爬取电影天堂电影?本项目实现一个简单的爬虫,通过requests和BeautifulSoup爬取电影天堂电影信息,包括片名.年代.产地.类别.语言.海报链接和视频链接等内容.pytho ...
python爬去新浪微博_Python爬虫爬取新浪微博内容示例【基于代理IP】
Python爬虫爬取新浪微博内容示例[基于代理IP] 发布时间:2020-09-07 10:08:14 来源:脚本之家阅读:120 本文实例讲述了Python爬虫爬取新浪微博内容.分享给大家供大家参 ...
python爬取分页数据_爬虫抓取分页数据的简单实现
昨天,我们已经利用Jsoup技术实现了一个简单的爬虫,原理很简单,主要是要先分析页面,拿到条件,然后就去匹配url,采用dome解析的方式循环抓取我们需要的数据,从而即可轻松实现一个简单的爬虫.那么, ...
python怎么爬网站视频教程_python爬虫爬取某网站视频的示例代码
把获取到的下载视频的url存放在数组中(也可写入文件中),通过调用迅雷接口,进行自动下载.(请先下载迅雷,并在其设置中心的下载管理中设置为一键下载) 实现代码如下: from bs4 import B ...
java怎么爬网易云_Python爬虫爬取网易云的音乐
Python爬虫爬取网易云的音乐(学习笔记) 在开始之前,做一点小小的说明哈: 我只是一个python爬虫爱好者,如果本文有侵权,请联系我删除! 本文需要有简单的python爬虫基础,主要用到两个爬虫 ...

python爬表格数据_python爬虫,爬取表格数据

python爬表格数据_python爬虫,爬取表格数据相关推荐

最新文章

热门文章