Python爬虫小实战

.
通过Python爬虫获取基金持仓股票数据，按照基金持仓金额对股票进行排行，并储存在本地数据库。

from urllib import request
from bs4 import BeautifulSoup
import re
import pymysqlfundSharesList = []db =pymysql.connect(host = '127.0.0.1',  port =3306,user = 'root',password = '109036',db = 'fund',charset = 'utf8'
)head={"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/87.0.4280.141 Safari/537.36"
}find = {1:re.compile(r'html">(.*?)</a></td>'),2:re.compile(r'html">(.*?)</a></td>'),6:re.compile(r'">(.*?)</td>'),7:re.compile(r'">(.*?)</td>'),8:re.compile(r'">(.*?)</td>')
}def handle (a):flag = Falsefor i in range(0,len(fundSharesList)):if a[0] == fundSharesList[i][0]:fundSharesList[i][2] = round(float(fundSharesList[i][2]) + float(a[4]),2)flag =Truebreakif not flag:new = [a[0],a[1],a[4]]fundSharesList.append(new)if __name__=="__main__":  funds = []fundNum = 0errorNum = 0send = request.Request("http://fund.eastmoney.com/js/fundcode_search.js",headers = head)response = request.urlopen(send)js = response.read().decode('utf-8')js = js[11:len(js)-3].split("],[")for i in range(0,len(js)):fund = str(js[i]).replace('"','')fund = fund.split(",")funds.append(fund)while fundNum < len(funds):fund_id = funds[fundNum][0]print(fund_id + " " + funds[fundNum][2])try:url = "http://fundf10.eastmoney.com/FundArchivesDatas.aspx?type=jjcc&code=" + str(fund_id) + "&topline=10&year=2020&month=&rt=0.21822537857648627"send = request.Request(url,headers = head)response = request.urlopen(send, timeout=10)html = response.read().decode('utf-8')bs =BeautifulSoup(html,"html.parser")find_list = bs.find_all("tbody")tr = find_list[0].find_all("tr")for i in tr:td = i.find_all("td")fundShares = []for j in range(0,len(td)):if j in [1,2,6,7,8]:a = re.findall(find[j],str(td[j]))[0]if j ==8 :a = str(a).replace(",","")if(len(a)>8):time.sleep(6)fundShares.append(a)handle(fundShares)print()errorNum = 0except Exception as e:print(fund_id + " 获取失败")print(e)if str(e) =="timed out" and errorNum <= 3:print("第" + str(errorNum) + "次超时，重试")errorNum = errorNum + 1fundNum = fundNum - 1print()fundNum = fundNum + 1# if fundNum == 1000:#     break # 使用 cursor() 方法创建一个游标对象 cursorcursor = db.cursor() try:for insert in fundSharesList:sql = "INSERT INTO fundShares VALUES ('"+ str(insert[0]) +"', '" + str(insert[1]) +"', " + str(insert[2]) + ");"print(sql)# 执行sql语句cursor.execute(sql)# 提交到数据库执行db.commit()except Exception as e:# 回滚db.rollback()raise Exception("插入数据库错误！", e)# 关闭数据库连接db.close()

结果分析：

建表语句

CREATE TABLE `fundshares`  (`fundSharesId` varchar(6) CHARACTER SET utf8mb4 COLLATE utf8mb4_bin NOT NULL COMMENT '股票代码',`fundSharesName` varchar(255) CHARACTER SET utf8mb4 COLLATE utf8mb4_bin NULL DEFAULT NULL COMMENT '股票名称',`fundSharesMoney` double(255, 2) NULL DEFAULT NULL COMMENT '金额（万元）',UNIQUE INDEX `unique`(`fundSharesId`) USING BTREE
) ENGINE = InnoDB CHARACTER SET = utf8mb4 COLLATE = utf8mb4_bin ROW_FORMAT = Dynamic;

Python爬虫获取基金持仓股票数据相关推荐

python爬虫获取基金数据2
用sklearn分析基金数据<1> python爬虫获取基金数据<2> 数据预处理:数据清洗.生成样本数据<3> 用sklearn训练样本数据<4> 用 ...
手把手教你利用 python 爬虫分析基金、股票
手把手教你利用 python 爬虫分析基金.股票文章目录手把手教你利用 python 爬虫分析基金.股票第一步:基金数据爬取第二步:股票增持计算第三步:好股基金选取桌面程序 exe 从前大 ...
用 Python 快速获取基金持仓增减情况 | 更新版
来源:Python数据之道 (ID:PyDataLab) 作者:阳哥 01写在前面大家好,我是阳哥. 大家知道,在财经领域,Python是有着广泛的用途的.2021年,量化基金开始成为弄潮儿.有不少 ...
用 Python 快速获取基金持仓增值与减持情况
来源:Python数据之道 (ID:PyDataLab) 作者:阳哥大家好,我是阳哥. 大家知道,在财经领域,Python是有着广泛的用途的,这不,最近A股成交量明显扩大,有不少消息说是量化类的基金 ...
星球年度汇总-爬虫获取基金持仓明细(附GUI可拿来就用}
量化交易是一个多技术综合的项目,学习完书籍<Python股票量化交易从入门到实践>我们提供了升级的学习内容--知识星球<玩转股票量化交易> 在星球中我们深入分享包括Python ...
现在还有人说Python 爬虫没用吗？股票数据定向爬虫让你轻松了解股势
说明网站选择原则: 股票信息静态存在于html页面中,非js代码生成,没有Robbts协议限制. 选取方法: 打开网页,查看源代码,搜索网页的股票价格数据是否存在于源代码中. 需要相关python爬 ...
【转】Python之获取每日涨停板股票数据并绘制K线图!
利用tushare财经数据接口获取股市进行数据分析.并可视化的案例 1.导入所需要的库 import os import pandas as pd import tushare as ts impor ...
Python之获取每日涨停板股票数据并绘制K线图!
利用tushare财经数据接口获取股市进行数据分析.并可视化的案例 1.导入所需要的库 import os import pandas as pd import tushare as ts impor ...
python 爬虫获取bilibili search搜索数据，返回json格式
话不多说直接上代码测试用例 : 搜索java为关键词的时长在60分钟以上的视频 import requests import json import osheaders = {"user ...

Python爬虫获取基金持仓股票数据

Python爬虫小实战

Python爬虫获取基金持仓股票数据相关推荐

最新文章

热门文章