（爬虫入门）爬取东方财富网上的股票信息

爬取东方财富网上面的股票的数据，将不同页的股票信息爬取输出

随着时间推移，网站可能出现变更，并不能保证代码的有效性

代码如下

import re
import requests
import json
import pandas as pdpd.set_option('display.max_columns', None)
pd.set_option('display.max_rows', None)
pd.set_option('display.unicode.ambiguous_as_wide', True)
pd.set_option('display.unicode.east_asian_width', True)
pd.set_option('display.width', 5000)def HTML(url):gupiao_list = []headers = {"user-agent" : "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.149 Safari/537.36"}try:r = requests.get(url, headers = headers, timeout = 30)r.raise_for_status()r.encoding = r.apparent_encodinghtml = r.textexcept Exception as e:print("wrong:" + e)pat = re.compile("\[\{.*?\}\]")data = pat.findall(html)js = json.loads(data[0])gupiao_list.append(("代码","名称","最新价","涨跌幅","涨跌额","成交量","成交额","振幅","最高","最低","今开","昨收","量比"))for i in range(len(js)):diezhangfu = str(js[i]["f3"]) + "%"zhenfu = str(js[i]["f7"]) + "%"gupiao_list.append((js[i]["f12"],js[i]["f14"],js[i]["f2"],zhenfu,js[i]["f4"],js[i]["f5"],js[i]["f6"],zhenfu,js[i]["f15"],js[i]["f16"],js[i]["f17"],js[i]["f18"],js[i]["f10"]))df = pd.DataFrame(gupiao_list)return dfdef main():for i in range(1,21):url = "https://30.push2.eastmoney.com/api/qt/clist/get?cb=jQuery1124004229850317009731_1585637567592&pn="+str(i)+"&pz=20&po=1&np=1&ut=bd1d9ddb04089700cf9c27f6f7426281&fltt=2&invt=2&fid=f3&fs=m:0+t:5&fields=f1,f2,f3,f4,f5,f6,f7,f8,f9,f10,f12,f13,f14,f15,f16,f17,f18,f20,f21,f23,f24,f25,f26,f22,f33,f11,f62,f128,f136,f115,f152&_=1585637567593"print(HTML(url))main()

（爬虫入门）爬取东方财富网上的股票信息相关推荐

Python爬虫爬取东方财富网的股票信息
简单的Python爬虫应用目标:爬取东方财富网的股票信息 1.先找到要爬取的网页 2.第二步开始爬取信息 2.1 通过requests获取网页信息 2.2再通过BeautifulSoup解析: 2. ...
爬虫入门--爬取就业网站上的岗位信息构造数据集
爬虫入门--爬取就业网站上的岗位信息.解析爬取的数据构造数据集爬虫入门实践爬虫的基本概念爬虫的技术实现爬虫入门实践大家好!随着大数据分析逐渐火热的今天,爬虫技能也成了数据分析师一项不可或缺的 ...
Python爬虫，A股上市公司爬虫，爬取A股上市公司股票信息、公司信息、公司高管信息、相关股票信息
A股上市公司爬虫项目介绍主要爬取A股上市公司股票信息.公司信息.公司高管信息.相关股票信息, 环境: python 2.7.16 Scrapy 1.7.2 mysql 5.7.25 数据来源新浪 ...
Python简单爬虫入门-爬取链家租房网上的租房信息
.又到了毕业季,租房成为广大毕业生关注的话题,考虑到只用到广州的租房信息,所以只爬取广州各个地区的租房信息,下面是用Python3.4.4编写简单爬虫爬取租房网信息的代码: #coding:utf-8 ...
爬虫实战 | 爬取东方财富网股票数据
本文转载来自:公众号志斌的python笔记今天有个朋友说,他想做个关于股票的可视化网页,但是缺乏股票的数据,想让志斌帮他做个爬虫来每天获取数据.所以我将它写成一个实战案例,供大家一起参考学习! 1 ...
python爬取豆瓣电影信息_Python爬虫入门 | 爬取豆瓣电影信息
这是一个适用于小白的Python爬虫免费教学课程,只有7节,让零基础的你初步了解爬虫,跟着课程内容能自己爬取资源.看着文章,打开电脑动手实践,平均45分钟就能学完一节,如果你愿意,今天内你就可以迈入爬 ...
python爬虫电影信息_Python爬虫入门 | 爬取豆瓣电影信息
这是一个适用于小白的Python爬虫免费教学课程,只有7节,让零基础的你初步了解爬虫,跟着课程内容能自己爬取资源.看着文章,打开电脑动手实践,平均45分钟就能学完一节,如果你愿意,今天内你就可以迈入爬 ...
爬虫入门——爬取QQ音乐某一歌手前五首歌曲信息及相关评论
文章目录前言一.查看信息二.代码实现总结前言 python课作业请使用爬虫Selenium模拟浏览器获取爬取QQ音乐中你喜欢的某位歌手(可以是任意歌手)最受欢迎的前5首歌曲的歌词.流派.歌 ...
Python爬虫入门——爬取贴吧图片
最近忽然想听一首老歌,"I believe" 于是到网上去搜,把几乎所有的版本的MV都看了一遍(也是够无聊的),最喜欢的还是最初版的<我的野蛮女友>电影主题曲的哪个版本 ...

（爬虫入门）爬取东方财富网上的股票信息

爬取东方财富网上面的股票的数据，将不同页的股票信息爬取输出

代码如下

（爬虫入门）爬取东方财富网上的股票信息相关推荐

最新文章

热门文章