1.8 实时机器学习模型的生存期

进行实时机器学习开发必须考虑生存期。生存期是指一个系统从提出、设计、开发、 测试到部署运用、维护、更新升级或退役的整个过程。若在生存期设计上出现了数据,那么在后面的使用中就会出现各种各样的瓶颈阻碍应用产生价值。
从软件工程的角度上讲,开发实时机器学习也遵从构思、分析、设计、实现和维护五个步骤,这五个步骤可能会循环往复,随着业务的发展进行多次迭代。实时机器学习模型的应用由于其技术的特殊性,也具有自己的小型生存期,其中包括数据收集、数据分析、离线手工建模评测、上线自动化建模评测这四个方面。如图1-1所示,离线手工建模评测、上线自动化建模评测这两个部分主要是靠监督式机器学习。而数据分析主要是依靠非监督式机器学习和统计数据分析。

值得一提的是,进行上面这四个步骤的前提是机器学习模型能够给组织和用户带来价值。但是,众多开发人员甚至是领导层都不愿意面对的一个问题是:我的模型真的有用吗?
对于一些非机器学习大数据类的初创公司来说,在用户数量并不太多的情况下,用非监督式机器学习进行少量数据分析,然后用人力进行反馈,反而有可能会取得更优良的投资回报率。笔者道听途说得知国内一些门户视频网站,就算在公司都已经上市之后,仍然还在使用人工选择的方式进行视频推介,甚至还取得了尚可的效果。
如果机器学习不能给组织带来直接效果,就算有高层支持,对于机器学习从业人员来说也不是很好的职业选择。在机器学习能为组织带来效益的情况下,让数据说话,从业人员才能够不断进行深挖,并得到更多的锻炼和领域洞见;与此相反,如果所建立的系统听起来很好,但是却没能带来相对应的效益,那么这样岗位上从业人员的工作重心就会像浮萍一样随波逐流,被公司政治利益驱动,长期来说这样很不利于从业人员的个人发展。
机器学习实战的最高境界,就是知行合一,在创造科技前沿作品的同时,能够为个人、组织和社会带来效益,这也是本书写作的指导思想。
在下面的章节里,我们将会从更实际的角度出发来探索实时机器学习的应用。其中,第2章到第4章,我们将会介绍监督式机器学习模型,并且学习建模的工具Pandas和Scikit-learn;第6章到第9章,我们将会介绍实时机器学习的架构,并且学习使用Docker、 RabbitMQ、Elasticsearch及数据库等重要组成部分。

《构建实时机器学习系统》一1.8 实时机器学习模型的生存期相关推荐

  1. 基于EasyDL搭建音频在线实时分类系统

    文章目录 搭建音频在线实时分类系统 1. easydl 训练音频分类模型 1.1 上传数据并训练音频分类模型 1.2 发布训练好的模型 2. 前端部署 搭建音频在线实时分类系统 本人基于自我学习目的搭 ...

  2. 机器学习风险评估_5种常见的机器学习安全风险以及如何克服它们

    机器学习风险评估 I still remember the days when the software development industry was in its infancy. Many p ...

  3. 使用 Kafka 和 Spark Streaming 构建实时数据处理系统

    使用 Kafka 和 Spark Streaming 构建实时数据处理系统  来源:https://www.ibm.com/developerworks,这篇文章转载自微信里文章,正好解决了我项目中的 ...

  4. 从零构建FLINK整合Drools动态规则实时运营系统(项目案例)第2篇(业务介绍篇)

    项目简介 本案例是一个专注于flink动态规则计算的项目,核心技术组件涉及flink.hbase.clickhouse.drools等 项目可根据各类个性化需求进行二次开发后,直接用于实时运营,实时风 ...

  5. 财付通构建网络支付反欺诈实时监控系统

    本文讲的是财付通构建网络支付反欺诈实时监控系统,2014年9月17日-19日,2014 中国系统架构师大会(SACC 2014)在北京五洲皇冠国际酒店盛大开幕.作为中国规模最大的架构师豪门盛会,本届中 ...

  6. 基于Flink的高可靠实时ETL系统

    GIAC(GLOBAL INTERNET ARCHITECTURE CONFERENCE)是长期关注互联网技术与架构的高可用架构技术社区和msup推出的,面向架构师.技术负责人及高端技术从业人员的年度 ...

  7. MLOps:构建生产机器学习系统的最佳实践

    你可能已经听过很多次了,但只有一小部分机器学习模型投入生产.部署和运行机器学习模型对于大多数已经开始将ML应用于用例的行业来说都是一个挑战.在这篇文章中,我将分享一些MLOps的最佳实践和技巧,它们将 ...

  8. 看大众点评如何通过实时监控系统CAT打造7*24服务

    为什么80%的码农都做不了架构师?>>>    看大众点评如何通过实时监控系统CAT打造7*24服务 2015-06-08  尤勇  高可用架构 https://github.com ...

  9. 基于大数据的Uber数据实时监控(Part 1:Spark机器学习)

    导言 据Gartner称:到2020年,25亿辆联网汽车将成为物联网的主要对象.联网车辆预计每小时可以生成25GB的数据,对这些数据进行分析实现实时监控.大数据目前是10个主要领域之一,利用它可以使城 ...

最新文章

  1. 清华大学计算机博士,带你搞定大厂面试题
  2. C#Arcengine通过坐标点生成面(环形)
  3. SQLHelper类
  4. 山西省职高计算机分数线,2020年山西五年制高职和普通中专录取分数线
  5. JavaScript实现跳跃游戏的贪婪方法的算法(附完整源码)
  6. 认识计算机网络教案小学,初识计算机网络教案
  7. React Hooks 梳理
  8. 解决:void value not ignored as it ought to be
  9. 关于foreven与node.js的使用
  10. CrossOver for Mac(Mac安装Windows应用)
  11. 对MySQL数据库日志文件进行维护
  12. Struts2基础总结
  13. 软件测试面试题(面试前准备篇)
  14. 恩格玛密码机的工作原理
  15. MYS-6ULX-IOT 开发板测评——使用 Yocto 添加软件包
  16. 【数据挖掘】遗传算法原理浅析:什么是遗传算法?遗传算法的工作原理是什么?
  17. 领英封号怎么办,如何避免封号?
  18. memcache数据组织
  19. Java生成PDF文件(Itext篇)
  20. 基于Axure的火车售票系统——高保真原型图

热门文章

  1. Android 编译系统分析(三)
  2. 记一次CPU飙升的问题分析解决思路(转)
  3. pandans导出Excel并将数据保存到不同的Sheet表中
  4. 课时21:函数:lambda表达式
  5. 第二次冲刺阶段每日任务10
  6. python----字符串方法
  7. 重新想象 Windows 8 Store Apps (52) - 绑定: 与 Element Model Indexer Style RelativeSource 绑定, 以及绑定中的数据转换...
  8. 评论表聚集索引引起的评论超时问题
  9. checkbox全选 js
  10. Nacos深入浅出(三)