实时股票分析系统的架构与算法
如果能在一台服务器上应用人工智能和机器学习算法处理每天的股票交易，而自己则在夏威夷的海滩上享受生活，那将是多么惬意呀。虽然股票价格的变化受多种因素的影响，世上也没有免费的午餐，但是有些公司依然能够借助于开源的机器学习算法和数据分析平台得到“更好、更健康、更便宜的午餐”。本文搜集并整理了一些如何实现实时股票分析系统的资料，从架构和算法两个层面给出了一种可行的方案。
虽然股票交易市场一直在持续地变化，经济力量、新产品、竞争、全球性的事件、法规、甚至是Tweet都有可能引起市场的变动，但是在这个市场上，使用不同的模型通过股票的历史价格来预测未来的价格依然是一种常见的实践。一个实时的股票分析系统不仅需要将影响股票价格的各种数据集合起来进行分析，还需要具有响应低延迟的特性，因而架构必须是高可伸缩、高扩展的，一方面随着时间的流逝，系统将存储越来越多的数据；另一方面数据处理应用程序必须能够通过添加更多的节点进行水平扩展以保持实时地响应速度。
来自于Pivotal公司的企业应用解决方案架构师William Markito最近在公司的博客上发表了题为《实时股票预测系统开源参考架构》的文章，介绍了一个通过开源技术实现实时股票分析系统的参考架构。虽然该架构关注于金融交易，但是也适用于其他行业的实时用例场景。William Markito首先从最顶层的视角，给出了一个高层架构图：
从最顶层的视角看，由预测模型驱动的最优化实时股票预测架构包含数据存储、模型训练、实时评估和采取行动四部分：首先，进入系统的实时交易数据必须被捕获并存储，作为历史数据。第二，系统必须能从数据的历史趋势中学习，识别出影响决定的模式和概率。第三，系统需要能够实时地将新传入的交易数据与从历史数据中学到的模式和概率进行比较。最后，系统还需要预测出输出并决定所要采取的行动。
之后，William Markito又使用Spring XD （现在称为Spring Cloud Data Flow，是一个统一并且可扩展的分布式系统，可用于数据抽取、实时分析、批量处理和数据导出场景）、Apache Geode （一个针对高可扩展应用程序的开源分布式内存数据库，目前正在孵化中）、Spark MLlib 、Apache HAWQ （一个Hadoop原生的大规模并行SQL分析引擎）以及Apache Hadoop™等开源组件对架构中的每一部分进行了细化：
如图所示，整个数据流包含6步，每一部分都是松耦合并且可以水平扩展的：
- 使用Spring XD读取并处理通过Yahoo! 金融Web服务API获取到的实时数据，然后通过Apache Geode 将数据存储在内存中。
- 使用 Apache Geode中的实时热数据，通过Spark MLib应用创建并训练模型，将新数据与历史模式进行比较。当然，也可以使用其他工具集创建模型，例如Apache MADlib或者R。
- 将训练出的机器学习模型推送到部署好的应用程序上，同时更新 Apache Geode以便于进行实时预测和决策。
- 随着时间的推移，有一部分数据将变成冷数据，将这一部分数据从 Apache Geode移动到Apache HAWQ上并最终存储到Apache Hadoop™中。
- 周期性地基于整个历史数据集重新训练并更新机器学习模型。这一步让系统形成了一个闭环，当历史模式发生变化或者新的模式出现的时候，它会持续地更新和提升模型。
为了让读者能够在自己的笔记本上运行这一架构，William Markito还给出了一个更为简化的实现，该版本移除了长期的数据存储组件Apache HAWQ和Apache Hadoop™。
该解决方案中的每一个组件都责任明确，支持扩展并且能够在云环境中运行。那么除了架构之外，针对影响股票价格的不同因素，应该选择哪些算法来训练模型并预测股票价格趋势呢？
在SlideShare上LargitData的CEO David Chiu介绍了如何通过隐马尔科夫模型（HMM）来预测股票价格，David Chiu认为股票的历史行为与当前行为具有一定的相似性，明天的股票价格可能会遵循过去的某种模式：
另外，在Vatsal H. Shah 的网站上还有一个文档介绍了Decision Stump 算法、线性回归、支持向量机、Boosting 算法和基于文本分析的方法在股票预测领域的应用，并对这些算法的预测结果进行了比较。
除此之外，与上市公司相关的新闻动态也会对股票价格造成影响，例如并购定增事项、公司领导人的离开等等，对于这一问题，新加坡的数据科学家Lim Zhi Yuan在SlideShare上分享了一些自己的经验。Lim Zhi Yuan在该分享中研究了外部事件对于股票价格的影响，在分析时他分别通过线性模型和非线性模型两种方法进行了实验，线性模型采用了支持向量机（SVM）算法，非线性模型采用了深度神经网络模型。
实时股票分析系统的架构与算法相关推荐
- 面向ad-hoc查询的实时SQL分析系统
Impala/Hive现状分析与前景展望 Impala和Hive野史 提到Impala就不得不提Google的Dremel,处理PB级数据规模的基于SQL的交互式.实时数据分析系统.Dremel是Go ...
- 基于Flink的实时日志分析系统实践
前言 目前业界基于 Hadoop 技术栈的底层计算平台越发稳定成熟,计算能力不再成为主要瓶颈. 多样化的数据.复杂的业务分析需求.系统稳定性.数据可靠性, 这些软性要求, 逐渐成为日志分析系统面对的主 ...
- 上海鸥新：基于大数据的商场实时客流分析系统
公司介绍 上海鸥新软件有限公司专注于室内定位技术和客流统计与分析的研发,如室内定位引擎.客流统计与分析系统.在用户导入客流系统的同时,为商业零售实体店提供了网络覆盖.微信上网,定时定地点向客户进行精准 ...
- python股票分析系统代码_Python 代码学习，用于股票分析
最近,一位常年研究股票系统的开发者 pythonstock 用 Python 写了一个股票分析系统,发布数天就获得了不少关注. 于是我们就推荐给大家,既能学习 python 又能练习炒股.但正如项目作 ...
- pb graph鼠标移上显示数据_数据分析手把手入门：打造自己的股票分析系统
作者:琥珀里有波罗的海来源:数据如琥珀打造自己的股票分析系统1.前言数据分析很重要的一步是结果展示与汇报,无论是给客户还是上级.你可以选择PPT展示,也可以给出word文档展示,但是如果有一个交互式的 ...
- 数据分析手把手入门：打造自己的股票分析系统
作者:琥珀里有波罗的海 来源:数据如琥珀 打造自己的股票分析系统 1.前言 数据分析很重要的一步是结果展示与汇报,无论是给客户还是上级.你可以选择PPT展示,也可以给出word文档展示,但是如果有一个 ...
- 独立研发股票分析系统
自己开发的股票分析系统:http://www.lk1024.com/StockWin 开发架构基于:C# Winform + WebApi + Mysql + Cefsharp 介绍功能应该属于第一个 ...
- linux流式访问日志,流式实时日志分析系统的实现原理
我们知道网站用户访问流量是不间断的,基于网站的访问日志,即 Web log 分析是典型的流式实时计算应用场景.比如百度统计,它可以做流量分析.来源分析.网站分析.转化分析.另外还有特定场景分析,比如安 ...
- java 源码 股票_java+实时股票报价系统源代码+NeatBeans java的股票系统 - 下载 - 搜珍网...
实时股票报价系统\.classpath 实时股票报价系统\.project 实时股票报价系统\bin\lab_06\MyUtil.class 实时股票报价系统\bin\lab_06\Stock.cla ...
最新文章
- Android之从Camera捕获图像讲解
- jpa hibernate mysql_008Spring JPA Hibernate MySQL
- 自动化运维工具Saltstack详细介绍
- from advanced computing to machine learning
- 三十三、自从我会了Python中的PIL，发现了其实超级简单
- java和python的语法有什么区别？
- Linux中常用的操作指令（随时更新）
- Azure 上的网站如何识别不同国家和地区的用户
- AUTOSAR从入门到精通100讲（二十八）-AutoSar之CAN网络管理
- 列表相关元素及其属性
- 小编带着小白看springboot源码2
- 我的世界java版地牢种子_我的世界手机版地牢种子代码汇总
- 利用HTML5开发Android笔记（中篇）
- 递归实现回旋数组的小程序
- 求助大神！ROST EA情感分析软件情感词典如何更新
- Foobar2000的配置及优化
- msvcp140.dll丢失的解决方法_msvcp140.dll丢失怎样修复win10
- 毛笔书法艺术作品，能不能写简化字？
- 荣耀热键驱动无法安装
- 请问matlab里面exp函数怎么用啊,Matlab基本函数-exp函数