爬取沪深股票并找出最近1个月创出新高的股票

import requests
from lxml import etree
import re
import pandas as pdresult = set()
# 获取沪市股票代码（6开头）
web = requests.get('http://quote.eastmoney.com/stock_list.html#sz')
html = etree.HTML(web.text)
html_data = html.xpath('//*[@id="quotesearch"]/ul[1]/li/a')
p1 = re.compile(r'[(](\d+)[)]', re.S)
for i in html_data:a = re.findall(p1,i.text)[0]if a.startswith('6'):result.add(a)# 获取深市股票代码（3开头或者0开头）
html_data = html.xpath('//*[@id="quotesearch"]/ul[2]/li/a')
p1 = re.compile(r'[(](\d+)[)]', re.S)
for i in html_data:a = re.findall(p1,i.text)[0]if a.startswith('3') or a.startswith('0'):result.add(a)def get_yahoo_crumb_cookie():"""Get Yahoo crumb cookie value."""res = requests.get('https://finance.yahoo.com/quote/SPY/history')yahoo_cookie = res.cookies['B']yahoo_crumb = Nonepattern = re.compile('.*"CrumbStore":\{"crumb":"(?P<crumb>[^"]+)"\}')for line in res.text.splitlines():m = pattern.match(line)if m is not None:yahoo_crumb = m.groupdict()['crumb']return yahoo_cookie, yahoo_crumb
create_newhigh_stock_code =[]
cookie, crumb = get_yahoo_crumb_cookie()for i in result:try:if i.startswith('6'):symbol = i+'.ss'else:symbol = i+'.sz' print('正在查询股票代码：',symbol)params = {'symbol': symbol,'period1': 0,'period2': int(time.time()),'interval': '1d','crumb': crumb,}url_price = 'https://query1.finance.yahoo.com/v7/finance/download/{symbol}'response = requests.get(url_price, params=params, cookies={'B': cookie})# 去除首行的标题string = response.textp1 = re.compile(r'^[a-zA-Z, \n]+')string = re.sub(p1,'',string)# 转化 为DataFramelst = []for j in string.split('\n'):lst.append(j.split(','))df = pd.DataFrame(lst,columns=['Date','open','high','low','close','adj close','volume'])df.drop(df[df['high']=='null'].index,inplace=True)  #删除空值df['high']  = df['high'].astype('float')            #转化为数字if df.iloc[df['high'].idxmax(axis=0)].Date>'2019-09-01':#是否近一个月创新高create_newhigh_stock_code.append(i)print('加入某支股票：',i)except:continue#写入文件
with open(r'F:\google\Application\stock.txt', 'w') as f:f.write('\n'.join(create_newhigh_stock_code))

爬取沪深股票并找出最近1个月创出新高的股票相关推荐

python爬取沪深所有股票数据并生成Excel文件
爬取沪深所有股票数据并生成Excel文件一.分析需求 1.对于沪深两市的各只股票,获取其:'股票代码', '股票名称', '最高', '最低', '涨停', '跌停', '换手率', '振幅', ' ...
python中飞机票购买程序_「最低折扣机票查询」Python 爬取携程所有机票找出最低折扣机票，让你无忧回家过年 - seo实验室...
最低折扣机票查询前言对于平时出行大多数人都是选择坐高铁,当然了如果这是对于距离比较近的行程是最划算的,如果对于路途长远的人言,提前购买飞机票价格可能比高铁票更加的便宜,如果我们可以爬取机票数据并分 ...
Python爬虫入门：爬虫抓取沪深300指数列表
使用Python3爬取沪深300指数列表 1. 思路分析用chrome打开维基百科沪深300的页面,网址为:https://en.wikipedia.org/wiki/CSI_300_Index . ...
Crawl：利用bs4和requests爬取了国内顶级某房源平台(2020年7月2日上海二手房)将近30*100多条数据并进行房价分析以及预测
Crawl:利用bs4和requests爬取了国内顶级某房源平台(2020年7月2日上海二手房)将近30*100多条数据并进行房价分析以及预测目录利用bs4和requests爬取了国内顶级某房源平 ...
php爬新浪股票,GitHub - asa1525/SinaFinance-Crawler: 爬取了深沪股票的资讯，包含标题、时间、来源、内容、关键词、链接和股票ID...
第二十一天有回想起来记录了原先预定的爬虫工作终于引来了终点,尽管最后的去重工作还没有做到真正的完善,但从现在开始我会写下我所做到的内容. 我的任务就是爬取新浪财经每只股票资讯页面下所有的新闻,将日期 ...
从爬取的文章 HTML 中提取出中文关键字
分2步. 1.从 HTML 中提取出纯文本(去掉标签) import org.htmlparser.NodeFilter; import org.htmlparser.Parser; import o ...
爬取沪江网考研词汇并按要求存为txt
存储数据的要求:每遍历一个单词,保存单词汉语翻译到txt文档,并以单词命名,保存到一个文件夹里,便于GUI设计使用. 点击此查看要爬取的网页思路:大循环找herf进行url拼接,小循环进入数据网页提 ...
Scrapy之Crawlspider实例：爬取沪江网校所有课程信息
点击此处查看要爬取的网页如图,利用Crawlspider将所有的课程信息爬取下来,并存入MongoDB数据库整体思路清晰,简单,不过有一个要注意的点,在插入到数据库的时候 items.py imp ...
python 通达信板块_[python]沪深龙虎榜数据导入通达信的自选板块，并标注于K线图上...
将沪深龙虎榜数据导入通达信的自选板块,并标注于K线图上原理:python读取前一次处理完的计算5日后涨跌幅输出的csv文件文件名前加"[paint]" 安照通达信的画图文件和板 ...

爬取沪深股票并找出最近1个月创出新高的股票

爬取沪深股票并找出最近1个月创出新高的股票相关推荐

最新文章

热门文章