005 利用fidder抓取app的api，获得股票数据

一、下载安装fidder

百度搜索fidder直接下载，按提示安装即可。

二、配置fidder

1. 打开fidder，选择tools——options。

2. 选择HTTPS选项卡，勾选前三项，然后点击右侧【actions】，选择【trust root certificate】，安装许可证书。

3. 选择connections选项卡，勾选【allow remote...】，并将代理端口设为8888，

4. 点击确定，重启fidder。

三、配置手机。

1. 打开手机【wlan】选项，将其中的【代理】选项设为【手动】，其中主机名设为电脑的ip，端口设为fidder刚才设的【8888】。其他的wifi密码正常设。

2. 在手机浏览器中，输入电脑ip+端口。比如：192.168.1.107:8888。拉到页面底部，点击【fidderroot certificate 】下载安全证书。下载完后点击下载的文件进行安装。

3. 打开同花顺app，行情——龙虎榜。此时在fidder可以看到同花顺和服务器的通信包。选择fidder右侧的inspector——raw，复制其中get对应的url。

4. 在浏览器中输入url，点击F12打开浏览器的代码，可得到龙虎榜数据。通过改变url中的日期，可获得其他日期的数据。

三、用python抓取解析数据。

1. 读取网页html表格数据。

import requests
import json
import simplejson
import xmltodict# header需要根据实际情况自己调整。
headers = {'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.7','Accept-Encoding': 'gzip, deflate, br','Accept-Language': 'en-US,en;q=0.9','Cache-Control': 'max-age=0','Connection': 'keep-alive','Cookie': 'v=Axee6EvROJqMkLwWYjreUUQHr4BkXOu-xTBvMmlEM-ZNmDn-cSx7DtUA_4N6','Host': 'data.hexin.cn','Referer': 'https://data.hexin.cn/interface/lhStocks/cate/yxyz/field/jmre/sort/desc/ajax/1/date/2023-02-17/%20HHTTP/1.1','sec-ch-ua': '"Chromium";v="110", "Not A(Brand";v="24", "Google Chrome";v="110"','sec-ch-ua-mobile': '?0','sec-ch-ua-platform': '"Linux"','Sec-Fetch-Dest': 'document','Sec-Fetch-Mode': 'navigate','Sec-Fetch-Site': 'same-origin','Sec-Fetch-User': '?1','Upgrade-Insecure-Requests': '1','User-Agent': 'Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/110.0.0.0 Safari/537.36',
}
url = 'https://data.hexin.cn/interface/lhStocks/cate/yxyz/field/jmre/sort/desc/ajax/1/date/2023-02-17/%20HHTTP/1.1'r = requests.get(url, headers=headers)
print(r.status_code)

运行结果如下：

2. 用beautifulsoup解析html数据。

from bs4 import BeautifulSoup
soup= BeautifulSoup(r.text,"html.parser")
print(soup)

运行结果如下：

3. 提起html中的文本内容。

a = soup.text.split()
print(a)

运行结果如下：

4. 将数据整理到字典并保存。

from collections import defaultdict
stock_dict = defaultdict()
stock_dict['名称'] = a[4::5]
stock_dict['代码'] = a[5::5]
stock_dict['收盘价'] = a[6::5]
stock_dict['净买入'] = a[7::5]
stock_dict['涨跌幅'] = a[8::5]import pandas as pd
res = pd.DataFrame(stock_dict)
print(res)
res.to_csv('test.csv')

运行结果如下：

005 利用fidder抓取app的api，获得股票数据相关推荐

利用Fiddler抓取APP数据
利用Fiddler抓取APP数据简杨君关注 2016.11.03 18:51* 字数 368 阅读 762评论 0喜欢 2 软件:Fiddler 系统:Windows10 手机:MX4 PRO F ...
pythonallowpos_利用Python抓取并分析京东商品评论数据
2.1 内容简介本章主要介绍如何利用Python抓取京东商城商品评论信息,并对这些评论信息进行分析和可视化.下面是要抓取的商品信息,一款女士文胸.这个商品共有红色,黑色和肤色等颜色, 70B到90D ...
js动态渲染html页面,利用Scrapy-Splash抓取JS动态渲染的网页数据
随着越来越多的网站开始用JS在客户端浏览器动态渲染网站,导致很多我们需要的数据并不能由原始的html中获取,再加上Scrapy本身并不提供JS渲染解析的功能,通常对这类网站数据的爬取我们一般采用两种方 ...
burp suite抓取app包
前言:使用burpsuite抓取app包.手机浏览器数据,可以实现吗?答案是可以的此文章使用夜神模拟器+burpsuite作演示:下载夜神模拟器(官网下载即可),打开进入夜神模拟器(如下图) 回到电 ...
MAC系统利用charles抓取微信小程序和手机APP数据包(http和https数据包)
本文中使用的是mac上的抓包工具charles进行抓包,手机是华为荣耀8 下载并安装Charles for Mac Charles for Mac(HTTP信息抓包工具) V4.2.5 苹果电脑版要 ...
玩转【斗鱼直播APP】系列之利用青花瓷抓取数据
利用青花瓷抓取数据青花瓷是什么? 当然这里可不是周董的歌曲, 而是我们用于抓取接口的工具. 安装一下这个软件百度搜索该工具会找到很多绿色版(破解版的文艺说法). 安装即可, 不再累述. 手机端配置 ...
小码哥-玩转【斗鱼直播APP】系列之利用青花瓷抓取数据
利用青花瓷抓取数据青花瓷是什么? 当然这里可不是周董的歌曲, 而是我们用于抓取接口的工具. 安装一下这个软件百度搜索该工具会找到很多绿色版(破解版的文艺说法). 安装即可, 不再累述. 手机端配置 ...
python获取app信息的库_Python学习教程：另辟蹊径，appium抓取app应用数据了解一下...
作为爬虫工程师,没有价格不知道selenium的. 什么是selenium? Selenium原本是一个用于Web应用程序自动化测试工具.Selenium测试直接运行在浏览器中,就像真正的用户在操作一 ...
appium python 抓包_Python学习教程：另辟蹊径，appium抓取app应用数据了解一下
原标题:Python学习教程:另辟蹊径,appium抓取app应用数据了解一下作为爬虫工程师,没有价格不知道selenium的. 什么是selenium? Selenium原本是一个用于Web应用程 ...

005 利用fidder抓取app的api，获得股票数据

005 利用fidder抓取app的api，获得股票数据相关推荐

最新文章

热门文章