利用python爬取天气预报_python实现天气爬虫——利用xpath爬取七天天气预报数据...

python实现天气爬虫——利用xpath爬取七天天气预报数据

import pandas as pd

import lxml

import requests

import csv

from lxml import html

weatherUrl='http://www.weather.com.cn/weather/101280101.shtml'

link2='//li[@class="sky skyid lv{} {}"]'

link1='//li[@class="sky skyid lv{}"]'

#获取目标网页

def getSource(url):

response=requests.get(url)

response.encoding='utf-8'

return response.content #返回网页源代码

selector=lxml.html.document_fromstring(getSource(weatherUrl))

Weather=[]

WeatherLink=[]

WeatherList=[]

for i in range(1,4):

weatherLink1=link1.format(i)

weatherLink2=link2.format(i,'on')

WeatherLink.append(weatherLink1)

WeatherLink.append(weatherLink2)

for j in range(len(WeatherLink)):

for s in range(len(selector.xpath(WeatherLink[j]))):

WeatherList.append(selector.xpath(WeatherLink[j])[s])

for each in WeatherList:

WeatherDict={}

date=each.xpath('h1/text()')[0]

weather=each.xpath('p/@title')[0]

temperature=each.xpath('p[@class="tem"]/i/text()')[0]

num=date[:2]

WeatherDict['date']=date

WeatherDict['weather']=weather

WeatherDict['temperature']=temperature

WeatherDict['num']=num

Weather.append(WeatherDict)

#写入csv

def writeData(Weather):

with open('D:/python/test/weather.csv','w',encoding='utf-8-sig',newline='') as f:

writer=csv.DictWriter(f,fieldnames=['date','weather','temperature','num'])

writer.writeheader()

for each in Weather:

writer.writerow(each)

writeData(Weather) #write in csv ducument

print(Weather) #查看结果

利用python爬取天气预报_python实现天气爬虫——利用xpath爬取七天天气预报数据...相关推荐

python爬取音乐_Python现学现用xpath爬取豆瓣音乐
昨天说了Requests库,今天来上手爬虫了. 爬虫的抓取方式有好几种,正则表达式,Lxml(xpath)与BeautifulSoup,我在网上查了一下资料,了解到三者之间的使用难度与性能三种爬虫方 ...
Python爬虫：Xpath爬取网页信息（附代码）
Python爬虫:Xpath爬取网页信息(附代码) 上一次分享了使用Python简单爬取网页信息的方法.但是仅仅对于单一网页的信息爬取一般无法满足我们的数据需求.对于一般的数据需求,我们通常需要从一个 ...
Python：利用python编程将上海十六区，2020年5月份房价实时地图(数据来源房天下)进行柱状图、热图可视化
Python:利用python编程将上海十六区,2020年5月份房价实时地图(数据来源房天下)进行柱状图.热图可视化目录上海十六区,2020年5月份房价实时地图(数据来源房天下)可视化雷达图.柱 ...
Python开发工具系列1------基于业务常见情况，利用Python实现短文本相似度模型并且利用PyQt5封装为工具
Python开发工具系列1------ 基于业务常见情况,利用Python实现短文本相似度模型并且利用PyQt5封装为工具业务场景介绍工具介绍关键功能实现界面实现主要业务功能实现代码与工具 ...
利用python分析电商_Python实现爬取并分析电商评论
现如今各种APP.微信订阅号.微博.购物网站等网站都允许用户发表一些个人看法.意见.态度.评价.立场等信息.针对这些数据,我们可以利用情感分析技术对其进行分析,总结出大量的有价值信息.例如对商品评论的 ...
python 定时自动爬取_python实现scrapy爬虫每天定时抓取数据的示例代码
1. 前言. 1.1. 需求背景. 每天抓取的是同一份商品的数据,用来做趋势分析. 要求每天都需要抓一份,也仅限抓取一份数据. 但是整个爬取数据的过程在时间上并不确定,受本地网络,代理速度,抓取数据量 ...
python定时爬取数据_python实现scrapy爬虫每天定时抓取数据的示例代码
1. 前言. 1.1. 需求背景. 每天抓取的是同一份商品的数据,用来做趋势分析. 要求每天都需要抓一份,也仅限抓取一份数据. 但是整个爬取数据的过程在时间上并不确定,受本地网络,代理速度,抓取数据量 ...
python scrapy框架抓取的图片路径打不开图片_Python使用Scrapy爬虫框架全站爬取图片并保存本地的实现代码...
大家可以在Github上clone全部源码. 基本上按照文档的流程走一遍就基本会用了. Step1: 在开始爬取之前,必须创建一个新的Scrapy项目. 进入打算存储代码的目录中,运行下列命令: sc ...
pythonttf字体反爬虫_利用Python采集起点中文网小说，并解决字体反爬的问题
个人比较喜欢看小说,于是乎想利用Python爬取小说网站--起点中文网,在Python编程爬取定位过程中遇到了Python反爬虫,咨询了我旁边的前端大神,说下方法当前页面接口返回的html源码当前 ...

利用python爬取天气预报_python实现天气爬虫——利用xpath爬取七天天气预报数据...

利用python爬取天气预报_python实现天气爬虫——利用xpath爬取七天天气预报数据...相关推荐

最新文章

热门文章