python爬虫爬取深交所数据

话不多说，直接上代码：

import requests
from bs4 import BeautifulSoup
import xlwtheaders = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/88.0.4324.150 Safari/537.36 Edg/88.0.705.63'}def Get_data(url):jsondata = requests.get(url,headers=headers).json()data1 = jsondata[0]list_col = data1['metadata']cols = list_col['cols']data2 = data1['data']COLS = []ROW1 = []ROW2 = []ROW3 = []ROW4 = []col1 = cols['lbmc']col2 = cols['zqsl']col3 = cols['zgb']col4 = cols['sjzz']col5 = cols['cjje']COLS.append(col1)COLS.append(col2.replace('<br>','/'))COLS.append(col3.replace('<br>','/'))COLS.append(col4.replace('<br>','/'))COLS.append(col5.replace('<br>','/'))row1 = data2[0]row11 = row1['lbmc']row12 = row1['zqsl']row13 = row1['zgb']row14 = row1['sjzz']row15 = row1['cjje']ROW1.append(row11)ROW1.append(row12)ROW1.append(row13)ROW1.append(row14)ROW1.append(row15)row2 = data2[1]row21 = row2['lbmc']row22 = row2['zqsl']row23 = row2['zgb']row24 = row2['sjzz']row25 = row2['cjje']ROW2.append(row21[-3:])ROW2.append(row22)ROW2.append(row23)ROW2.append(row24)ROW2.append(row25)row3 = data2[2]row31 = row3['lbmc']row32 = row3['zqsl']row33 = row3['zgb']row34 = row3['sjzz']row35 = row3['cjje']ROW3.append(row31[-3:])ROW3.append(row32)ROW3.append(row33)ROW3.append(row34)ROW3.append(row35)row4 = data2[3]row41 = row4['lbmc']row42 = row4['zqsl']row43 = row4['zgb']row44 = row4['sjzz']row45 = row4['cjje']ROW4.append(row41[-5:])ROW4.append(row42)ROW4.append(row43)ROW4.append(row44)ROW4.append(row45)print('*'*101)print('{0}      {1}       {2}       {3}        {4}'.format(col1,col2.replace('<br>','/'),col3.replace('<br>','/'),col4.replace('<br>','/'),col5.replace('<br>','/')))print('{0}          {1}                   {2}           {3}             {4}'.format(row11,row12,row13,row14,row15))print('{0}           {1}                   {2}           {3}             {4}'.format(row21[-3:],row22,row23,row24,row25))print('{0}           {1}                   {2}            {3}              {4}'.format(row31[-3:],row32,row33,row34,row35))print('{0}      {1}                       {2}               {3}                  {4}'.format(row41[-5:],row42,row43,row44,row45))print('*'*101)book = xlwt.Workbook(encoding='utf-8',style_compression=0)sheet = book.add_sheet('深交所基金市场概况',cell_overwrite_ok=True)for Col in range(len(COLS)):sheet.write(0,Col,COLS[Col])for Row1 in range(len(ROW1)):sheet.write(1,Row1,ROW1[Row1])for Row2 in range(len(ROW2)):sheet.write(2,Row2,ROW2[Row2])for Row3 in range(len(ROW3)):sheet.write(3,Row3,ROW3[Row3])for Row4 in range(len(ROW4)):sheet.write(4,Row4,ROW4[Row4])book.save("C:/Users/DELL/Desktop/深交所基金市场概况.xls")if __name__ == '__main__':url = 'http://fund.szse.cn/api/report/ShowReport/data?SHOWTYPE=JSON&CATALOGID=lf_fund_scgk&loading=first&random=0.9140249439976937'Get_data(url)

运行结果：

python爬虫爬取深交所数据相关推荐

python爬虫数据分析可以做什么-python爬虫爬取的数据可以做什么
在Python中连接到多播服务器问题,怎么解决你把redirect关闭就可以了.在send时,加上参数allow_redirects=False 通常每个浏览器都会设置redirect的次数.如果re ...
Python爬虫爬取疫情数据并可视化展示
这篇文章主要介绍了Python利用爬虫爬取疫情数据并进行可视化的展示,文中的示例代码讲解清晰,对工作或学习有一定的价值,需要的朋友可以参考一下.编程资料点击领取目录知识点开发环境爬虫完整代码 ...
python 爬虫爬取疫情数据，爬虫思路和技术你全都有哈（一）
python 爬虫爬取疫情数据,爬虫思路和技术你全都有哈(二.数据清洗及存储) 爬起疫情数据,有两个网址: 1.百度:链接 2.丁香园疫情:链接在这两个中,丁香园的爬虫相对简单一点,所以今天就展示一 ...
Python爬虫爬取网页数据并存储（一）
Python爬虫爬取网页数据并存储(一) 环境搭建爬虫基本原理 urllib库使用 requests库使用正则表达式一个示例环境搭建 1.需要事先安装anaconda(或Python3.7)和 ...
python 爬虫爬取疫情数据，爬虫思路和技术你全都有哈（二）
上一章: python 爬虫爬取疫情数据,爬虫思路和技术你全都有哈(一.爬虫思路及代码) 第三步:数据清洗清洗数据很简单,就是数据太乱的话,就得花些时间,所以一定要有一个好的方法,才能避免在清洗数据 ...
java爬虫抓取nba_利用Python爬虫爬取NBA数据功能实例分享
Python实现爬虫爬取NBA数据功能示例本文实例讲述了Python实现爬虫爬取NBA数据功能.分享给大家供大家参考,具体如下: 爬取的网站为:stat-nba.com,这里爬取的是NBA2016- ...
python爬网站数据实例-利用Python爬虫爬取NBA数据功能实例分享
Python实现爬虫爬取NBA数据功能示例本文实例讲述了Python实现爬虫爬取NBA数据功能.分享给大家供大家参考,具体如下: 爬取的网站为:stat-nba.com,这里爬取的是NBA2016- ...
python如何爬虫网页数据-python爬虫——爬取网页数据和解析数据
1.网络爬虫的基本概念网络爬虫(又称网络蜘蛛,机器人),就是模拟客户端发送网络请求,接收请求响应,一种按照一定的规则,自动地抓取互联网信息的程序. 只要浏览器能够做的事情,原则上,爬虫都能够做到. ...
python爬虫爬取的数据与浏览器获取的数据不一样爬虫爬取到的数据一直不变
具体问题在爬取某个网站时遇到了一个奇怪的问题,就是只要是python爬取的数据得到的基本就是那么几种数据,无论我输入的是什么,返回的数据与浏览器得到返回的数据都不一样,这让我很郁闷,百度也找不到想要 ...
python爬虫爬取天气数据并图形化显示
前言使用python进行网页数据的爬取现在已经很常见了,而对天气数据的爬取更是入门级的新手操作,很多人学习爬虫都从天气开始,本文便是介绍了从中国天气网爬取天气数据,能够实现输入想要查询的城市,返回该 ...

python爬虫爬取深交所数据

python爬虫爬取深交所数据

python爬虫爬取深交所数据相关推荐

最新文章

热门文章