批量抓取东方财富EastMoney的宏观经济数据

最近再找宏观数据，找了Tushare的宏观数据但是里面的数据不全，只有CPI和PPI的数据，其他的如存款准备金，PMI等数据都没有。所以决定自己找数据。

现在看来东方财富的宏观数据还是在更新的，只是只有最近3年的，但总比没有强就开干。

先网上看看有没有现成的代码可以复制。但是发现都是使用selenium模拟页面的方式。这样对于页面效率不高。

在分析其页面发现其有数据接口。

有数据接口就easy了。付代码

# -*- coding: utf-8 -*-
"""
Created on Fri Mar 15 15:20:33 2021@author: LUMIN
"""import json
import requests
import pandas as pd
from sqlalchemy import create_engine
import pymysqlem_base = [{'name': 'cpi_em', 'mkt': '19','col': ['date', 'nt_val', 'nt_yoy', 'nt_mom', 'nt_accu', 'town_val', 'town_yoy', 'town_mom', 'town_accu','cnt_val', 'cnt_yoy', 'cnt_mom', 'cnt_accu']},{'name': 'pmi_em', 'mkt': '21', 'c

批量抓取东方财富EastMoney的宏观经济数据相关推荐

scrapy 搜索关键字_详解如何用爬虫批量抓取百度搜索多个关键字数据
本文介绍如何使用软件的流程图模式,免费采集百度搜索多个关键字的信息数据. 软件下载网址:www.houyicaiji.com 采集结果预览: 下面我们来详细介绍一下如何使用流程图模式,采集在百度输入多 ...
详解如何用爬虫批量抓取百度搜索多个关键字数据
2019独角兽企业重金招聘Python工程师标准>>> 本文介绍如何使用软件的流程图模式,免费采集百度搜索多个关键字的信息数据. 软件下载网址:www.houyicaiji.com ...
python中plguba_Python量化交易进阶讲堂-爬虫抓取东方财富网股吧帖子
欢迎大家订阅<Python实战-构建基于股票的量化交易系统>小册子,小册子会陆续推出与小册内容相关的专栏文章,对涉及到的知识点进行更全面的扩展介绍.本篇专栏为小册子内容的加推篇!!! 前言 ...
Hibernate框架--学习笔记（下）：hibernate的查询方式、多表查询、检索策略、批量抓取
一.hibernate的查询方式: 主要有五种:对象导航查询:OID查询:hql查询:QBC查询:本地sql查询. 1.对象导航查询:根据id查询某个客户,再查询这个客户里面所有的联系人. 2.OID ...
python 爬取作品集_Python批量抓取站酷ZCOOL作品图片并归档
前言前几天,由于个人有需求,所以就要对站酷网一些类别下的作品的图片进行批量抓取,首先是采用的是NodeJs来写的,但是在运行的途中遇到很多的问题,所以后来就换成了Python,同时使用了多线程,使得 ...
php curl 批量,关于用php的curl批量抓取内容
先上个单个采集的curl访问案例<?php $curl = curl_init(); curl_setopt($curl, CURLOPT_URL, 'www.baidu.com'); curl ...
笨笨图片批量抓取下载 V0.2 beta[C# | WinForm | 正则表达式 | HttpWebRequest | Async异步编程]...
一. 先贴一张图,这个界面就是程序的主界面了: 二. 部分代码说明(主要讲解异步分析和下载): 异步分析下载采取的策略是同时分析同时下载,即未等待数据全部分析完毕就开始把已经分析出来的 ...
Python利用bs4批量抓取网页图片并下载保存至本地
Python利用bs4批量抓取网页图片并下载保存至本地使用bs4抓取网页图片,bs4解析比较简单,需要预先了解一些html知识,bs4的逻辑简单,编写难度较低.本例以抓取某壁纸网站中的壁纸为例.(b ...
批量抓取图虫作者页作品图片的方法
图虫相册中很多图片都精美绝伦,让人抑制不住想要"据为己有".今天小编给大家分享一款采集工具--下图高手,下面就一采集图虫作者页图片为例,一起来操作. 作品分类效果: 图片展示效果: ...

批量抓取东方财富EastMoney的宏观经济数据

批量抓取东方财富EastMoney的宏观经济数据相关推荐

最新文章

热门文章