python爬虫东方财富网的股票资金流（以平安银行为例）

网址：平安银行(000001)资金流向 _ 数据中心 _ 东方财富网、

爬取内容：

工具：jupyter notebook

所需要的包：

import requests ##获取网页
from bs4 import BeautifulSoup
import pprint
import json
import pandas as pd
from lxml import etree ##解析文档
import re

首先在原网页上进入开发者模式，点击网络后ctrl+r重新载入，会发现，该网站的数据采用的jQuery编码，因此我们可以找到一个含有所有表格数据的url：

所以获取源代码：

url=f'http://push2his.eastmoney.com/api/qt/stock/fflow/daykline/get?cb=jQuery112309173939785847636_1634476786717&lmt=0&klt=101&fields1=f1%2Cf2%2Cf3%2Cf7&fields2=f51%2Cf52%2Cf53%2Cf54%2Cf55%2Cf56%2Cf57%2Cf58%2Cf59%2Cf60%2Cf61%2Cf62%2Cf63%2Cf64%2Cf65&ut=b2884a393a59ad64002292a3e90d46a5&secid=0.000001&_=1634476786718'
data=requests.get(url)#获取网页源代码
data.encoding='utf-8'
str1=str(data.text)

再将内容转化为字典，提取字典中的'klines'，将数据转换为list

dict1=eval(str1[42:-2])#转化为字典
dict2=dict1['data']['klines']list1=list(dict1['data']['klines'])#提取字典中的'klines'，将数据转换为list
print(dict2[1])
split=re.split('[,]',dict2[1])
print(split)

将数据切片，将例如2021-05-19,-5004505.0,-37477279.0,42481776.0,67939072.0,-72943577.0,-0.49,-3.67,4.15,6.64,-7.13,23.60,-1.26的数据按逗号分开，从而直接转为列表

i=0
list1=[]
for i in range(len(dict2)):i=1+isplit=re.split('[,]',dict2[i])list1.append(split)print(list1) #数据切片，将例如2021-05-19,-5004505.0,-37477279.0,42481776.0,67939072.0,-72943577.0,-0.49,-3.67,4.15,6.64,-7.13,23.60,-1.26的数据按逗号分开，从而直接转为列表

输出为excel：

df1=pd.DataFrame(list1)
df1.columns=['日期','主力净流入-净额','小单净流入-净额','中单净流入-净额','大单净流入-净额','超大单净流入-净额','主力净流入-净占比','小单净流入-净占比','中单净流入-净占比','大单净流入-净占比','超大单净流入-净占比','收盘价','涨跌幅','0','0']
print(df1)
df1.to_excel('C:\\Users\\hanyun\\Desktop\\d.xlsx')

若将数据导入到mysql中，则需要create_engine

import pymysql
from sqlalchemy import create_engine
name='root'
password='root'
d = pymysql.connect(host='localhost',user='root',password='root',database='爬虫1',port=3306,charset='utf8')#建立本地数据库连接
yconnect = create_engine('mysql+pymysql://root:root@localhost:3306/爬虫1?charset=utf8')
pd.io.sql.to_sql(df1,'ecnomic', yconnect, schema='爬虫1', if_exists='append')

python爬虫东方财富网的股票资金流（以平安银行为例）相关推荐

python爬虫东方财富网_Python爬虫入门：以东方财富网为例
网络爬虫(Web Spider),根据网页地址爬取网页内容,从而获取各类数据,实现多种多样的功能.下面就以爬取东方财富网的数据为例,谈谈最简单的爬虫的实现.爬虫的核心有三个:请求.解析.存储. 环境配 ...
学习Python爬虫东方财富网
分为3个步骤:1,爬取网页 2,逐一解析数据 3,保存网页 1,爬取网页打开网站找到需要的数据行情中心:国内快捷全面的股票.基金.期货.美股.港股.外汇.黄金.债券行情系统_东方财富网 (eastmo ...
python 东方财富网百度股票数据定向爬虫实例
功能: 1. 获取上交所深交所的股票信息 2. 输出保存到文件中技术路线: requests -beatiful soup - re 候选:数据网站选择 1.静态网站,信息静态存在HTML页面 ...
Python爬取东方财富网任意股票任意时间段的Ajax动态加载股票数据
导言最近由于需求想爬取以下东方财富网的股票数据,但是发现没有想象那么简单,接下来我会讲述一下我遇到的问题以及是如何解决,最后成功的爬出了想要的数据. 查看网页源码首先我们F12打开东方财富网网页源 ...
［网络爬虫｜smtp协议｜python］东方财富网爬虫，python smtp协议发送爬取数据至QQ邮箱
本文改自［网络爬虫|smtp协议|python］东方财富网爬虫,python smtp协议发送爬取数据至QQ邮箱之前写的爬虫单子,代码已经跑了快3个月了,后续又增加了一些需求,修改了一些小bug ...
现在还有人说Python 爬虫没用吗？股票数据定向爬虫让你轻松了解股势
说明网站选择原则: 股票信息静态存在于html页面中,非js代码生成,没有Robbts协议限制. 选取方法: 打开网页,查看源代码,搜索网页的股票价格数据是否存在于源代码中. 需要相关python爬 ...
Python爬虫知网
听说Python爬虫知网很火,我今天就做一个. 上代码: import requests import re import time import xlrd from xlrd import open ...
Python爬虫实践-网易云音乐
1.前言最近,网易的音乐很多听不到了,刚好也看到很多教程,跟进学习了一下,也集大全了吧,本来想优化一下的,但是发现问题还是有点复杂,最后另辟捷径,提供了简单的方法啊! 本文主要参考 python编写 ...
Python爬虫获取基金持仓股票数据
Python爬虫小实战 . 通过Python爬虫获取基金持仓股票数据,按照基金持仓金额对股票进行排行,并储存在本地数据库. from urllib import request from bs4 im ...
手把手教你利用 python 爬虫分析基金、股票
手把手教你利用 python 爬虫分析基金.股票文章目录手把手教你利用 python 爬虫分析基金.股票第一步:基金数据爬取第二步:股票增持计算第三步:好股基金选取桌面程序 exe 从前大 ...

python爬虫东方财富网的股票资金流（以平安银行为例）

python爬虫东方财富网的股票资金流（以平安银行为例）相关推荐

最新文章

热门文章