我们借鉴之前抓取台风路径数据的例子，试一试抓取降水量数据：

之前我们访问过这个网站，也试着抓取过数据，不过在谷歌浏览器中我们只能够找到两天的数据，但是通过台风路径数据抓取，我们猜想只要我们向服务器提出正确的查询参数，就能返回对应的结果，报这个想法，我们就来试一试。

网站分析

这个网站一点也不复杂，视乎只要提供年月日时作为查询参数就可以了，后面数据的乱码没有关系，在Power Query中能够识别出来。

试抓

如果不能自动识别出编码，就修改一下这个参数，65001对应的是utf8，我们国家的网站通常就两种编码，GB2312和utf8，GB2312对应的是936或者20936都可以。

不需要特别的验证，直接就能抓取下来。

定义函数

其实可以在上面试抓的基础上展开数据之后再定义函数：

这样我们的函数结果就是一张表，否则就是一条记录，还需要再整理。

s=Table.FromRows(t[data][data],t[data][header])

这一句就是把记录转换为表格，当然这个不是通用的，只是针对这个记录的格式。

我们调用一下这个函数：

上面这个2020032101是我们可以抓取的最早的数据，也就是说这个网站提供了从2020年3月21日1时起的24小时降雨量数据，当然也有1小时降雨量。那么我们要抓取24小时降雨量，就要列出一个日期列表，然后根据日期列表抓取数据。1小时，6小时，13小时降雨量的抓取方法，可以参照本文的方法来做。

抓取

准备工作：列出日期表

用List.Dates函数，列出日期表，再转换成文本格式：

用Date.ToText([date],"yyyyMMdd")，这里一定要注意月份用大写的M，不要小写，小写的m会返回分钟。

调用函数抓取数据：

展开数据：

加载数据：

各省市平均降雨量逐日

sql年月日24小时制_Power Query 抓取气象台24小时降水量数据相关推荐

网站手工添加一行数据_Power Query 抓取网贷问题平台数据
网贷平台频繁暴雷,截止2019年12月共有5800家网贷平台出现问题,其中半数以上失联,仅有5.84%的平台警方介入处理. 今天我们来做一个问题平台数据的抓取测试,有很多网站提供网贷数据查询服务: 这 ...
python 抓取解析接口数据_[干货]用python抓取摩拜单车API数据并做可视化分析(源码)...
原标题:[干货]用python抓取摩拜单车API数据并做可视化分析(源码) 在APP中能看到很多单车,但走到那里的时候,才发现车并不在那里.有些车不知道藏到了哪里:有些车或许是在高楼的后面,由于有GP ...
抓取摩拜单车API数据，并做可视化分析
抓取摩拜单车API数据,并做可视化分析纵聊天下百家号|04-19 15:16 关注警告:此篇文章仅作为学习研究参考用途,请不要用于非法目的. 摩拜是最早进入成都的共享单车,每天我从地铁站下来的时 ...
Python爬虫如何去抓取qq音乐的歌手数据？
自从学会爬虫之后是不是有一种我什么都想爬一下的冲动?今天小千就来教大家如何去抓取qq音乐的歌手数据,项目实操多练习能更快提升自己哦. 今天的项目目标就是获取 QQ 音乐指定歌手单曲排行指定页数的歌曲的 ...
python爬取大众点评评论_python爬虫抓取数据小试Python——爬虫抓取大众点评上的数据 - 电脑常识 - 服务器之家...
python爬虫抓取数据小试Python--爬虫抓取大众点评上的数据发布时间:2017-04-07
爬虫抓取糯米网上所有商家数据
前段时间写了爬取美团商家信息的博客爬虫抓取美团网上所有商家信息 ,这次说说爬取糯米网,由于某些原因无法提供源代码,但是,代码不是关键,最关键的是思想,懂了思想,代码是很容易写的. 爬虫最重要的是分 ...
python抓取数据包_利用python-pypcap抓取带VLAN标签的数据包方法
1.背景介绍在采用通常的socket抓包方式下,操作系统会自动将收到包的VLAN信息剥离,导致上层应用收到的包不会含有VLAN标签信息.而libpcap虽然是基于socket实现抓包,但在收到数据包 ...
socksDroid结合charles抓取绕过代理的apk数据包(快手/闲鱼等)
如果文章无法浏览或者图片失效,可前往原文浏览原文链接 socksDroid结合charles抓取绕过代理的apk数据包(快手/闲鱼等)直接点击即可前往访问. 前言如今很多软件做了安全防护,尤其是类 ...
小猪的Python学习之旅 —— 14.项目实战：抓取豆瓣音乐Top 250数据存到Excel中
小猪的Python学习之旅 -- 14.项目实战:抓取豆瓣音乐Top 250数据存到Excel中标签:Python 一句话概括本文: 利用Excel存储爬到的抓取豆瓣音乐Top 250数据信息,还有 ...

sql年月日24小时制_Power Query 抓取气象台24小时降水量数据

网站分析

试抓

定义函数

抓取

sql年月日24小时制_Power Query 抓取气象台24小时降水量数据相关推荐

最新文章

热门文章