【Python爬虫】股票数据定向爬虫
爬取网站:
http://quote.eastmoney.com/center/gridlist.html
https://stockapp.finance.qq.com/mstats/
import requests from bs4 import BeautifulSoup import traceback import redef getHTMLText(url, code="utf-8"):try:r = requests.get(url)r.raise_for_status()r.encoding = codereturn r.textexcept:return ""def getStockList(lst, stockURL):html = getHTMLText(stockURL, "GB2312")soup = BeautifulSoup(html, 'html.parser') a = soup.find_all('a')for i in a:try:href = i.attrs['href']lst.append(re.findall(r"[s][hz]\d{6}", href)[0])except:continuedef getStockInfo(lst, stockURL, fpath):count = 0for stock in lst:url = stockURL + stock + ".html"html = getHTMLText(url)try:if html=="":continueinfoDict = {}soup = BeautifulSoup(html, 'html.parser')stockInfo = soup.find('div',attrs={'class':'stock-bets'})name = stockInfo.find_all(attrs={'class':'bets-name'})[0]infoDict.update({'股票名称': name.text.split()[0]})keyList = stockInfo.find_all('dt')valueList = stockInfo.find_all('dd')for i in range(len(keyList)):key = keyList[i].textval = valueList[i].textinfoDict[key] = valwith open(fpath, 'a', encoding='utf-8') as f:f.write( str(infoDict) + '\n' )count = count + 1print("\r当前进度: {:.2f}%".format(count*100/len(lst)),end="")except:count = count + 1print("\r当前进度: {:.2f}%".format(count*100/len(lst)),end="")continuedef main():stock_list_url = 'https://quote.eastmoney.com/stocklist.html'stock_info_url = 'https://gupiao.baidu.com/stock/'output_file = 'D:/BaiduStockInfo.txt'slist=[]getStockList(slist, stock_list_url)getStockInfo(slist, stock_info_url, output_file)main()
【Python爬虫】股票数据定向爬虫相关推荐
- Python爬虫-股票数据定向爬虫(东方财富网)
实例:股票数据定向爬虫 功能描述 目标:获取上交所和深交所所有股票的名称和交易信息 输出:保存到文件中 技术路线:requests bs4 re 候选数据网站的选择 选取原则:股票信息静态存在于H ...
- Python 网络爬虫笔记8 -- 股票数据定向爬虫
Python 网络爬虫笔记8 – 股票数据定向爬虫 Python 网络爬虫系列笔记是笔者在学习嵩天老师的<Python网络爬虫与信息提取>课程及笔者实践网络爬虫的笔记. 课程链接:Pyth ...
- Python网络爬虫实例1:股票数据定向爬虫
Python网络爬虫实例:股票数据定向爬虫 一.功能描述 目标:获取上交所和深交所所有股票的名称和交易信息 输出:保存到文件中 技术路线:requests-bs4-re 二.候选数据网站选择 候选网站 ...
- python如何爬虫股票数据_python爬虫实例,股票数据定向爬虫
前言 我服了,这几天,怎么涨两天还不够跌一次,害.希望这个可以帮到自己! "股票数据定向爬虫"实例介绍 功能描述 目标:获取上交所和深交所所有股票的名称和交易信息 输出:保存到文件 ...
- 【Python爬虫学习】八、股票数据定向爬虫(2020年1月31日成功爬取中财网,百度股市通web版404了)
功能描述: 目标:获取股票的名称和交易信息 输出:保存到文件中 程序结构设计: 步骤1:从中财网http://quote.cfi.cn/stockList.aspx获取股票列表 步骤2:根据股票列表获 ...
- 凤凰网股票数据定向爬虫——改编自北京理工大学嵩天老师的课程实例
本文导航 前言 功能描述 技术路线 数据网站 程序结构设计 实现过程 实现结果 代码展示 可能遇到的问题 写在后面 前言 最近看到嵩天老师**<python网络爬虫与信息提取>的股票数据定 ...
- 基于Request+bs4-re技术路线实现股票数据定向爬虫
基于Request+bs4-re技术路线实现股票数据定向爬虫 一.功能描述 1. 目标 2. 可行性分析 3. 技术路线选择 4. 项目的技术难点 二.程序结构设计 三.程序整体框架 四.程序功能的实 ...
- python实战——股票数据Scrapy爬虫(成功爬取)
股票数据scrapy爬虫 功能描述 技术路线:scrapy 目标:获取上交所和深交所所有股票的名称和交易信息 输出:保存到文件中 数据网站的确定 获取股票列表: 东方财富网:http://quot ...
- 如何用python爬股票数据_python爬虫股票数据,如何用python 爬虫抓取金融数据
Q1:如何用python 爬虫抓取金融数据 获取数据是数据分析中必不可少的一部分,而网络爬虫是是获取数据的一个重要渠道之一.鉴于此,我拾起了Python这把利器,开启了网络爬虫之路. 本篇使用的版本为 ...
- 爬虫03_股票数据定向爬虫
1.准备工作 功能描述: 目标:获取上交所和深交所所有股票的名称和交易信息 输出:保存到文件中 所用技术:requests.bs4.re.csv 数据网站选择: 新浪股票:http://finance ...
最新文章
- linux shell数据重定向(输入重定向与输出重定向)详细分析
- 张旭豪:外卖概念的三点进化
- MaxCompute Spark 资源使用优化详解
- 利用 Sunbird 处置你的日程表
- java continue goto_Java中goto和break、continue实现区别
- 岳阳学计算机软件,岳阳学java专业学校排名
- js中函数参数arguments、callee、caller,值传递、重载
- linux下高可用性群集和负载均衡群集的实现
- 仿乐享微信源码分享,微信公众平台源码
- 寻路算法 --- A星寻路算法
- ABB机器人伺服电机维修故障
- 微信8.0表情没有特效怎么回事
- 《连线》评出2008年十大最值得关注创业公司
- 28.【分解质因数】
- 非安装版 Python 安装 PIP
- el-descriptions文本水平垂直居中
- 聚焦 | 山东省大数据的发展现状与规划
- 信息系统项目管理师(2022年)—— 重点内容:知识产权与标准规范(22)
- 【MTK 6737】Modem编译
- 使用hicanu组装hifi基因组的方法介绍