用Python爬取最新股票数据含完整源代码

用Python爬取最新股票数据含完整源代码
抓取目标:
url:http://webapi.cninfo.com.cn/#/marketDataDate
数据目标: 获取证券代码证券简称交易日期开盘价最高价最低价收盘价成交数量
难点: 请求头参数mcode 加密生成
使用第三方库:

requests
execjs
js2py
math
time
pandas

工具:

谷歌浏览器
pycharm
python3.7
爬取到的股票数据存入到code.xlsx，可设定需要爬取的时间范围

完整代码

import requests
import execjs
import js2py
import math
import time
import pandas as pdcode_list = []def MCODE():jscode = '''function missjson(input) {  var keyStr = "ABCDEFGHIJKLMNOP" + "QRSTUVWXYZabcdef" + "ghijklmnopqrstuv"   + "wxyz0123456789+/" + "=";  var output = "";  var chr1, chr2, chr3 = "";  var enc1, enc2, enc3, enc4 = "";  var i = 0;  do {  chr1 = input.charCodeAt(i++);  chr2 = input.charCodeAt(i++);  chr3 = input.charCodeAt(i++);  enc1 = chr1 >> 2;  enc2 = ((chr1 & 3) << 4) | (chr2 >> 4);  enc3 = ((chr2 & 15) << 2) | (chr3 >> 6);  enc4 = chr3 & 63;  if (isNaN(chr2)) {  enc3 = enc4 = 64;  } else if (isNaN(chr3)) {  enc4 = 64;  }  output = output + keyStr.charAt(enc1) + keyStr.charAt(enc2)  + keyStr.charAt(enc3) + keyStr.charAt(enc4);  chr1 = chr2 = chr3 = "";  enc1 = enc2 = enc3 = enc4 = "";  } while (i < input.length);  return output;  } '''time1 = js2py.eval_js('Math.floor(new Date().getTime()/1000)')# py方式a = math.floor(time.time() / 1000)mcode = execjs.compile(jscode).call('missjson', '{a}'.format(a=time1))return mcodedef PageRquest(datetime, mcode):# 接口可以换url = 'http://webapi.cninfo.com.cn/api/sysapi/p_sysapi1015'data = {'tdate': datetime,  # 获取数据时间'scode': '399001'  # 股票代码 以及交易所简称}headers = {'mcode': str(mcode),'Referer': 'http://webapi.cninfo.com.cn/','Cookie': 'Hm_lvt_489bd07e99fbfc5f12cbb4145adb0a9b=1634795282; Hm_lpvt_489bd07e99fbfc5f12cbb4145adb0a9b=1634799860','User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/95.0.4638.54 Safari/537.36'}response = requests.post(url, headers=headers, data=data).json()code = response['records']for i in code:code_list.append(i)def main(date):mcode = MCODE()PageRquest(date, mcode)if __name__ == '__main__':# main()# 数据分析 pandas 自动化办公的datetime = pd.period_range('2021/5/26', '2021/10/27', freq='B')for date in datetime:main(date)df = pd.DataFrame(code_list)print(df)df.to_excel('code.xlsx')

更多Python源代码，请微信关注：Python代码大全，

用Python爬取最新股票数据含完整源代码相关推荐

Python应用实战-Python爬取4000+股票数据，并用plotly绘制了树状热力图(treemap)
目录: 1. 准备工作 2. 开始绘图 2.1. 简单的例子 2.2. px.treemap常用参数介绍 2.3. color_continuous_scale参数介绍 2.4. 大A股市树状热力图来 ...
Python爬取所有股票数据并进行数据分析
一.背景:作为一个程序员,总喜欢在股市里面晃荡,无奈总是当成韭菜收割了.每一次都是卖涨买跌,处处碰壁.但是作为一个有一定阅历的程序员本能告诉自己,只要掌握了大量的股票数据,就可以在信息渠道落后的情况下 ...
Python爬取热搜数据之炫酷可视化
可视化展示看完记得点个赞哟炫酷可视化音乐组合版来了! 项目介绍背景现阶段.抖音.快手.哗哩哗哩.微信公众号已经成为不少年轻人必备的"生活神器".在21世纪的今天,你又是如何 ...
利用python爬取2019-nCoV确诊数据并制作pyecharts可视化地图
1.本章利用python爬取2019-nCoV确诊数据并制作pyecharts可视化地图: 2.主要内容为绘制出中国各省疫情数据,疫情数据从四个维度进行可视化展示:累积确诊人数.现存确诊人数.治愈人数 ...
python爬去朋友圈_利用Python爬取朋友圈数据，爬到你开始怀疑人生
人生最难的事是自我认知,用Python爬取朋友圈数据,让我们重新审视自己,审视我们周围的圈子. 文:朱元禄(@数据分析-jacky) 哲学的两大问题:1.我是谁?2.我们从哪里来? 本文 jacky试 ...
python 爬取拉钩数据
Python通过Request库爬取拉钩数据爬取方法数据页面建表存储职位信息解析页面核心代码完整代码结果展示爬取方法采用python爬取拉钩数据,有很多方法可以爬取,我采用的是通过Re ...
python 爬取拉钩网数据
python 爬取拉钩网数据完整代码下载:https://github.com/tanjunchen/SpiderProject/blob/master/lagou/LaGouSpider.py # ...
利用Python爬取国家水稻数据中心的品种数据
利用Python爬取国家水稻数据中心的品种数据一.页面获取 python可以进行对网页的访问,主要用到requests,beautifulsoup4包. 首先新建一个page的py文件,用来获取页面 ...
利用Python爬取朋友圈数据，爬到你开始怀疑人生
人生最难的事是自我认知,用Python爬取朋友圈数据,让我们重新审视自己,审视我们周围的圈子. 文:朱元禄(@数据分析-jacky) 哲学的两大问题:1.我是谁?2.我们从哪里来? 本文 jacky试 ...

用Python爬取最新股票数据含完整源代码

用Python爬取最新股票数据含完整源代码相关推荐

最新文章

热门文章