Python爬虫教程-Python爬取股票数据过程详解

这篇文章主要介绍了基于Python爬取股票数据过程详解,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下

基本环境配置

python 3.6
pycharm
requests
csv
time

目标网页

分析网页

一切的一切都在图里

找到数据了，直接请求网页，解析数据，保存数据

请求网页

import requestsurl = 'https://xueqiu.com/service/v5/stock/screener/quote/list'response = requests.get(url=url, params=params, headers=headers, cookies=cookies)html_data = response.json()

解析数据

data_list = html_data['data']['list']for i in data_list:dit = {}dit['股票代码'] = i['symbol']dit['股票名字'] = i['name']dit['当前价'] = i['current']dit['涨跌额'] = i['chg']dit['涨跌幅/%'] = i['percent']dit['年初至今/%'] = i['current_year_percent']dit['成交量'] = i['volume']dit['成交额'] = i['amount']dit['换手率/%'] = i['turnover_rate']dit['市盈率TTM'] = i['pe_ttm']dit['股息率/%'] = i['dividend_yield']dit['市值'] = i['market_capital']print(dit)

保存数据

import csvf = open('股票数据.csv', mode='a', encoding='utf-8-sig', newline='')csv_writer = csv.DictWriter(f, fieldnames=['股票代码', '股票名字', '当前价', '涨跌额', '涨跌幅/%', '年初至今/%', '成交量', '成交额', '换手率/%', '市盈率TTM', '股息率/%', '市值'])csv_writer.writeheader()csv_writer.writerow(dit)f.close()

我建立了一个Python学习圈子：1156465813。在彼此的沟通可以我们可以得到很多学习经验，积累知识，群内有2020最新的python学习资料，大家可以一起讨论问题，共同进步。

Python爬虫教程-Python爬取股票数据过程详解相关推荐

Python爬虫应用实战-爬取股票数据做分析
01 本文涉及到的知识点 1.python字符串:分割.拼接.中文字符判断: 2.python正则表达式: 3.爬虫requests请求库.xpath获取数据.代理服务器: 4.selenium用法: ...
python 爬虫实例电影-Python爬虫教程-17-ajax爬取实例（豆瓣电影）
Python爬虫教程-17-ajax爬取实例(豆瓣电影) ajax: 简单的说,就是一段js代码,通过这段代码,可以让页面发送异步的请求,或者向服务器发送一个东西,即和服务器进行交互对于ajax: ...
python爬虫——使用selenium爬取微博数据（一）
python爬虫--使用selenium爬取微博数据(二) 写在前面之前因为在组里做和nlp相关的项目,需要自己构建数据集,采用selenium爬取了几十万条微博数据,学习了很多,想在这里分享一下如 ...
一个月入门Python爬虫，轻松爬取大规模数据
如果你仔细观察,就不难发现,懂爬虫.学习爬虫的人越来越多,一方面,互联网可以获取的数据越来越多,另一方面,像 Python这样一个月入门Python爬虫,轻松爬的编程语言提供越来越多的优秀工具,让爬虫 ...
python爬虫教程：爬取酷狗音乐，零基础小白也能爬取哦
本文的文字及图片来源于网络,仅供学习.交流使用,不具有任何商业用途,版权归原作者所有,如有问题请及时联系我们以作处理以下文章来源于腾讯云作者:python学习教程 ( 想要学习Python?Pyt ...
python爬虫scrapy框架爬取网页数据_Scrapy-Python
scrapy Scrapy:Python的爬虫框架实例Demo 抓取:汽车之家.瓜子.链家等数据信息版本+环境库 Python2.7 + Scrapy1.12 初窥Scrapy Scrapy是一 ...
Python爬虫进阶之爬取篮球赛数据
相信很多人都喜欢打篮球, 并且对自己喜欢的球星的比赛数据都很关注,于是我就想着去爬取篮球网站的数据.但是相对来说爬取一个数据也没啥挑战性,于是我又赶着学习了xlsxwriter模块,将爬取的的数据放入 ...
Python爬虫项目：爬取JSON数据存储Excel表格与存储图片
随着网络的迅速发展,万维网成为大量信息的载体,如何有效地提取并利用这些信息成为一个巨大的挑战.搜索引擎(Search Engine),例如传统的通用搜索引擎AltaVista,Yahoo!和Googl ...
python爬虫教程：爬取酷狗音乐
本篇针对爬虫零基础的小白,所以每一步骤我都截图并详细解释了,其实我自己看着都啰嗦,归根到底就是两个步骤的请求,还请大佬绕路勿喷. 1.打开酷狗官网,可以看到搜索框,我们要爬取的数据就是搜索歌曲后,酷狗 ...