python爬取中国天气网中城市及其对应编号

文章目录

一、前言
二、思路
三、程序
四、注意事项

一、前言

为了实现爬取各地城市天气预报及其可视化的需要，爬取中国天气网中城市及其对应编号。

天气预报可视化文章如下：

《python爬虫，将天气预报可视化》

二、思路

首先，进入页面：

http://www.weather.com.cn/forecast/

紧接着，就对页面进行检查，寻找所要数据。通过寻找，可以发现，有很多包含城市及其编号的数据，我这里选的是这个：

https://img.weather.com.cn/newwebgis/fc/nation_fc24h_wea_2022010420.json

接下来，就是对json数据的爬取

三、程序

# -*- coding: UTF-8 -*-
"""
# @Time: 2022/1/4 17:18
# @Author: 远方的星
# @CSDN: https://blog.csdn.net/qq_44921056
"""
import requests
import pandas as pd
import json
import pprint
import chardet
from fake_useragent import UserAgent# 随机产生请求头
ua = UserAgent(verify_ssl=False, path='D:/Pycharm/fake_useragent.json')# 随机切换请求头
def random_ua():headers = {"user-agent": ua.random}return headersdef main():url = 'https://img.weather.com.cn/newwebgis/fc/nation_fc24h_wea_2022010420.json'res = requests.get(url=url, headers=random_ua())res.encoding = chardet.detect(res.content)['encoding']res = res.text# print(res)res = res.replace('webgisDot(', '').replace(')', '')  # 获取的数据不是标准的json格式，需要修改处理data = json.loads(res)# pprint.pprint(data)a = data["data"]# pprint.pprint(a)city_s, num_s = [], []for i in range(len(a)):city = a[i]['namecn']num = a[i]['n']city_s.append(city)num_s.append(num)excel = pd.DataFrame()excel['城市'] = city_sexcel['编号'] = num_s# print(excel)excel.to_csv('D:/中国天气城市编号.csv', encoding="utf_8_sig")  # 解决pandas输出乱码print("下载完成")if __name__ == '__main__':main()

四、注意事项

①、直接爬取的页面不是标准的json数据，需要进行简单的处理

②、使用pandas导出二维列表时，编码格式需要改变，否则会出现乱码

这篇文章如果对你有帮助，记得点个赞

python爬取中国天气网中城市及其对应编号相关推荐

python爬取中国天气网天气图标
python爬取中国天气网天气图标准备工作天气预报图例网址:http://www.weather.com.cn/static/html/legend.shtml 安装requests:pip in ...
python爬取中国天气网中国全部城市的天气链接
近期自己尝试用python写一个qqbot实现天气查询功能,现已基本实现已经基本完成爬取中国天气网的所有城市的天气情况链接下附中国天气网所有城市的名称及对应链接 {'朝阳': 'http://ww ...
使用Python爬取中国天气网天气数据
使用Python获取中国天气网中"广州"天气数据注意:原文章写于2016年12月广州天气页面:http://www.weather.com.cn/weather/1012801 ...
简单的爬取中国天气网某个城市七天的天气预报数据
首先需要了解需要爬取的数据的网页的结构,其结构如下图所示(只截取了部分): 从图中可以看出每一天的天气数据都被一个<li></li>包含,这七天的数据又都包含在一个<ul ...
R语言爬取中国天气网单个城市实时天气预报数据
在传统零售行业,雨天天气大概会影响晴天30%-40%的销售业绩,所以从网上获取天气数据来作分析,并根据天气数据作出预测,提前做好预防措施和提醒业务人员,把损失减少到最低就显得十分重要,用R语言的rve ...
R语言rvest包3步爬取中国天气网国内所有城市(县)7天实时天气预报数据
接上一篇用R语言爬取中国天气网单个城市的7天实时天气预报数据,这篇文章综合一下,使用R语言rvest包3步爬取中国天气网国内所有城市(县)7天实时天气预报数据,这里的步数跨度可能有点长,但思路确实是3 ...
python爬取本地天气信息_用Python写一个爬取中国天气网的终端版天气预报爬虫
导语前几篇文章介绍了爬取静态网站的主要方法.今天写一个小项目实践一下.本项目可以在终端窗口查询全国3400多个区县的当日天气信息和近七天天气信息. 实现效果 [Python爬虫]写一个爬取中国天气网 ...
Python爬取中国知网文献、参考文献、引证文献
转载自博客园文章作为学习资料,代码及相关介绍非常详细.原文链接见Python爬取中国知网文献.参考文献.引证文献
python爬虫爬取中国天气网_【实战】中国天气网爬虫之华北城市数据爬取
概述: 在人工智能来临的今天,数据显得格外重要.在互联网的浩瀚大海洋中,隐藏着无穷的数据和信息.因此学习网络爬虫是在今天立足的一项必备技能.本路线专门针对想要从事Python网络爬虫的同学而准备的,并 ...