191029_中国地震局爬取

由于是国家网，有好多限制，首先要加User-Agent，之后用正则表达式经行爬取，好久没有用正则了，还是让老师帮忙的

import requests
import pandas as pd
from lxml import etree
import re
import json
num_mag=[]
orig_time=[]
latitudes=[]
longitudes=[]
depth=[]
epicenter=[]
for i in range(47,49):start_url='https://www.cea.gov.cn/eportal/ui?pageId=366509&currentPage={}'.format(i)print('保存第{0}页'.format(i))header = {'User-Agent':'Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/52.0.2743.116 Safari/537.36'}response=requests.get(start_url,headers=header).content.decode()patten=re.compile('\[.*?\]',re.S)pic_list=re.findall(patten,response)diss_dict=json.loads(pic_list[0])for i in diss_dict:num_mag.append(i['num_mag'])#震级 orig_time.append(i['orig_time'])#发震时刻latitudes.append(i['latitudes'])#纬度longitudes.append(i['longitudes'])#经度try:if i['depth']:depth.append(i['depth'])except Exception as e:print(e)epicenter.append(i['epicenter'])#参考位置
data={'震级':num_mag,'发震时刻':orig_time,'纬度':latitudes,'深度':depth,'位置':epicenter,
}
df=pd.DataFrame(data)

代码还是有问题的，这样最后无法全部保存，还在修改中，如果有大佬看见这片文章，希望帮助下

191029_中国地震局爬取相关推荐

如何利用python的newspaper包快速爬取网页数据
文章目录前言一个爬取新闻网页数据的神器小试牛刀如何快速安装 windows安装 Debian / Ubuntu安装 OSX安装体验更多的功能前言随着越来的进行自然语言处理相关方面的研究, ...
python 爬取手机app的信息
我们在爬取手机APP上面的数据的时候,都会借助Fidder来爬取.今天就教大家如何爬取手机APP上面的数据. Python学习资料或者需要代码.视频加Python学习群:516107834 环境配置 ...
Python爬取4399好wan的小游戏！
#coding=utf-8 #爬取4399所有好玩的游戏 import re import os import requests# 基础url host_url = 'http://www.4399. ...
R 语言爬虫之 cnblog博文爬取
Cnbolg Crawl a). 加载用到的R包 ##library packages needed in this case library(proto) library(gsubfn) ## Wa ...
mysql 去重con_python 爬虫实现增量去重和定时爬取实例
前言: 在爬虫过程中,我们可能需要重复的爬取同一个网站,为了避免重复的数据存入我们的数据库中通过实现增量去重去解决这一问题本文还针对了那些需要实时更新的网站增加了一个定时爬取的功能: 本文作者 ...
java selenium_java+selenium，40行代码完成支付宝账单爬取
java+selenium,40行代码完成支付宝账单爬取需要jar selenium-server-4.0.0-alpha-5.jar 需要驱动 chromedriver.exe 驱动需要和浏览器版 ...
python爬虫抓取信息_python爬虫爬取网上药品信息并且存入数据库
我最近在学习python爬虫,然后正好碰上数据库课设,我就选了一个连锁药店的,所以就把网上的药品信息爬取了下来. 1,首先分析网页 2,我想要的是评论数比较多的,毕竟好东西大概是买的人多才好.然后你会 ...
加载多瓦片地图_手把手教 | 网络时空大数据爬取与分析DAS系统（瓦片地图获取）...
地理计算语言,为大众赋能地理智慧. --DAS Team 爬取分析DAS系统下载地址:https://pan.baidu.com/s/1NkoyFhzMtm13ivlOOzukow 提取码:6ky8 ...
python获取天气分析_Python爬取南京市往年天气预报，使用pyecharts进行分析
上一次分享了使用matplotlib对爬取的豆瓣书籍排行榜进行分析,但是发现python本身自带的这个绘图分析库还是有一些局限,绘图不够美观等,在网上搜索了一波,发现现在有很多的支持python的绘图 ...
python获取登录按钮_python爬虫24 | 搞事情了，用 Appium 爬取你的微信朋友圈。
昨天小帅b看到一些事情不顺眼有人偷换概念忍不住就写了一篇反讽 996 的看不下去了,我支持996,年轻人就该996! 没想到有些人看不懂这就算了还来骂我早些时候关注我的小伙伴应该知道我第一 ...

191029_中国地震局爬取

191029_中国地震局爬取相关推荐

最新文章

热门文章