python处理实时获取的数据

1、实时语音识别、实时监控状态。许多新手在处理离线数据时得心应手，在面对实时的数据进行数据处理时会不知所措，而时序在智能制造领域是个非常重要的指标，在线实时检测是优势与趋势。今天分享下python如何处理在线数据。简单说下（实际情况要比这复杂的多的多），利用queue、threading多线程处理。拿到数据如何进行处理要根据实际情况。

2、代码。

import time
import sqlite3
import queue
import threading
import pandas as pd# 连接数据库操作
conn = sqlite3.connect("datebase.db", check_same_thread=False)
cn = conn.cursor()class GetDataThread(threading.Thread):def __init__(self):super(GetDataThread, self).__init__()# 用csv数据模拟实时获取到的数据，实际情况是根据通讯或者其他方式获取到数据。self.df = pd.read_csv("test.csv",encoding="gbk",header=None)self.data = self.df[0]  # 第一列数据# 调用两个类的线程self.thread_one = WriteThread()self.thread_two = DataOperationThread()self.queue_one = self.thread_one.queueself.queue_two = self.thread_two.queuedef run(self):# 开启线程self.thread_one.start()self.thread_two.start()# 把我们数据分别put到两个线程的队列里for rows in self.data:self.thread_two.queue.put(rows)# 保存的数据进入当前时间data = [time.time(), rows]self.thread_one.queue.put(data)# 把获取到的数据存进数据库,写入数据线程类WriteThread。
class WriteThread(threading.Thread):def __init__(self):super(WriteThread, self).__init__()self.queue = queue.Queue()  # 定义一个队列def run(self):while True:list_data = self.queue.get()    # 实时获取数据print(list_data[0], list_data[1])# 插入数据库cn.execute("insert into tableone(time,data) values('{}', '{}')".format(list_data[0],list_data[1]))conn.commit()class DataOperationThread(threading.Thread):def __init__(self):super(DataOperationThread, self).__init__()self.queue = queue.Queue()self.data_list = []# self.list_index = []# 对实时获取到的数据进行处理def run(self):while True:data = self.queue.get()self.data_list.append(data)# 后面就根据实际数据，实际情况进行处理。if __name__ == '__main__':GetDataThread().start()

python处理实时获取的数据相关推荐

Python实现实时获取steam数据，不用担心错过打折
相信大部分的游戏爱好者,都知道steam这个平台吧 Steam是由美国电子游戏商Valve于2003年9月12日推出的数字发行平台,被认为是计算机游戏界最大的数码发行平台之一,Steam平台是全球最大 ...
4行Python代码实时获取股市数据
最近股市特别火,正在学/学会Python的读者想尝试一下股市交易或者练练项目,获取数据便必不可少.这不,小猴紫给大家介绍一个专门获取股市数据的方法,有了数据之后数据分析.机器学习还不赶紧跑起来?毕竟这 ...
入门级Python代码实时获取股市数据
Tushare介绍 Tushare是一个免费.开源的python财经数据接口包.主要实现对股票等金融数据从数据采集.清洗加工到数据存储的过程,能够为金融分析人员提供快速.整洁.和多样的便于分析的数 ...
构建股票量化数据库一.实时获取股票数据
实时获取股票数据 (1)实现步骤 1.通过网络爬虫–>爬取所需要的数据->股票实时价,最高价,最低价等等 2.通过python的->pandas库->进行数据整理清洗 (2)实 ...
用python做生物信息数据分析_基于Python的自动获取生物信息数据的软件设计
基于 Python 的自动获取生物信息数据的软件设计 * 周斯涵,刘月兰 ** [摘要] [摘要] 从国际生物信息学数据库中采集数据来进行相关领域的分析, 但随着数据库规模不断扩大 , 数据来源种 ...
雅虎财经数据python 网络爬虫stock股票用 Python 通过雅虎财经获取股票数据
yfinance Python Tutorial (2022) - Analyzing Alpha https://www.youtube.com/watch?v=SxIwqdedomg 讲的很详 ...
python 获取金融数据_class类在python中如何获取金融数据
class类在python中如何获取金融数据发布时间:2020-12-11 11:12:06 来源:亿速云阅读:101 作者:小新这篇文章主要介绍了class类在python中如何获取金融数据, ...
opencv-python 实时获取摄像头数据并实时显示。
opencv-python 实时获取摄像头数据并实时显示. 目录 opencv-python 实时获取摄像头数据并实时显示. 代码: 一.关于 cv2.VideoCapture(source) 函数 ...
实时获取股票数据的android app应用程序源码分享
From:http://www.jb51.net/article/72449.htm 本文我们分享一个实时获取股票数据的android app应用程序源码分享,可以作为学习使用,本文贴出部分重要代码, ...
一个实时获取股票数据的安卓应用程序
关键字:Stock,股票,安卓,Android Studio. OS:Windows 10. 最近学习Android应用开发,不知道写一个什么样的程序来练练手,正好最近股票很火,就一个App来实时获取 ...

python处理实时获取的数据

python处理实时获取的数据相关推荐

最新文章

热门文章