AI产品开发指南:5大核心环节搞定机器学习工作流
王小新 编译自 Quora
量子位 出品 | 公众号 QbitAI
Python写得像英语一样6,神经网络、决策树烂熟于心,但如果不能动手将这些算法部署到实际系统中,这一切还有什么意义?
于是,国外的问答网站Quora上就有了这个问题:
怎样开发出一个AI系统或者产品?
量子位觉得,有一个来自Sean McClure的回答很不错。Sean是美国一家医疗公司的数据科学家,他从机器学习工作流的五个核心环节讲起,系统地回答了这个问题。
以下内容译自他的回答。
要构建一个AI系统或产品,你要处理好5个核心环节,我们通常称之为“机器学习工作流”。这些步骤分别是:
1. 数据收集与分析
2. 数据准备
3. 模型构建
4. 模型验证与测试
5. 模型部署
这是一个反复迭代的过程,每次循环都能改进我们构建的模型。
你要创造的是一个产品,所以,应该把这些步骤视为一个将原始数据转换成预测输出的数据工作流。
构建一个有用的产品,就意味着你不仅要写代码做出工作流的各个部分,还需要定义整个问题,并将专业知识融入到这个机器学习工作流的每个步骤中。
也就是说,在产品开发中,上述每个步骤不仅要符合产品设计的关注点,还要符合符合我们在开发中通常要关注的统计数据和最佳范例。
通过与用户的有效对话,你可以实现这一目标。举个例子:
用户:我需要知道,在工作场所发生事故的主要原因有哪些。
工程师:为什么?
用户:因为影响赚钱啊,我们到现在也没能解决。
工程师:为什么不看一下所有的安全报告,然后算一下总和呢?
用户:因为实际上,我们有成千上万的报告,都是手动输入的,描述一样的事,用什么词的都有。我不能指望相关员工把所有报告通读一遍,来搞清楚到底是怎么回事,更不用说找到主要原因,或者预测何时何地会再发生这种事故了。
工程师:如果你能总结出主要事故,甚至发现可能的原因或是预测出危险位置,你会用这种新能力来干什么?
用户:我们里可以集中财力做专项训练,也可以将为高危情况设置提醒。
在上面对话中,我们工程师想要的就是最后一句,也就是用户想用这个产品来干什么。
当然,如果你只是想快速做个小产品,可能并不需要真的找个“用户”进行对话,上网查资料,并了解到更多在特定领域中的普遍挑战就可以了。关键是,当你深入理解问题和用户行为时,你就能确定这个产品需要支持哪些交互。
你可以试着先做个原型,里面包含前端和数据工作流。要做前端,你得会JavaScript,如果没有JavaScript,那机器学习就像是一个带刺的玫瑰,只能看,不能摸,很不实用。
你可以花几个小时,学学前端,然后自己用HTML+CSS+JavaScript凑合写个网站,也可以用一个你已经熟练掌握的编程框架,做一个可以和用户交互的应用。
为什么从前端开始呢?我希望你能这么做,因为这样能迫使你在你一步一步地完成数据工作流的过程中,牢记用户的需求。
接下来就要用到Python了,我们看看具体怎么做:
1. 数据收集与分析
在获得正确的数据后,生成一些图表,能启发我们该在下一步中如何准备数据。
可以查找一些与你当前所遇到问题相关的公开数据集。没找到相关的也很正常,这时你就需要改变方法,换个角度去思考你的问题。这样做,通常能找到比你原始计划更合适的方法。
精选公开数据集:https://github.com/caesar0301/awesome-public-datasets
分析你的数据,提前回答一些策略性的问题。以下是一些常用方法:
检查异常值;
寻找数值关系和点相关性;
评估缺失值的数量。
2. 数据准备
如果原始数据存在干扰,不能用来训练学习算法。这时,你就需要进行数据清理和数据准备,常用方法包括:
合并表格;
提取新特征;
处理上步中确定的缺失值和异常值等;
清洁数据,并根据情况进行标准化。
3. 模型构建
这是最快完成的一部分,你可以多尝试一些算法,谁也不知道哪个算法的效果最好。
大多数机器学习模型只需要几行代码就能实现。你可以:
根据当前的数据特性来选择一系列算法;
尝试不同超参数的效果或是运行自动参数调优。
4. 模型验证与测试
这包括两部分。
首先,你显然需要验证当前模型的输出是否满足实际要求。该如何验证模型取决于当前使用的机器学习方法,是有监督、无监督还是强化学习。在这个过程中,你要平衡好灵敏度和特异度,精确度和召回率,或是某种聚类有效性等指标间的关系。
其次,现有的统计数据不足以验证这个模型是否满足要求,你就要去验证下用户输出,比如说用你自己做个实验,看看你作为用户里能否靠产品的输出来进行操作,会不会想进行操作?
5. 模型部署
这是让整个工作流运行起来并提供前端服务的最后一步。
在按下“运行”后,就能有新数据输入、准备、建模和验证,并重新部署到前端界面,这样子说明模型部署成功。
以上这些看上去工作量很大,但从这个流程中,你可学习到如何快速构建AI系统。
构建产品时,你要学会精益(Lean)和敏捷(Agile)。你不能只专注于提高某个环节,而忽视产品的其他方面。
你要全面思考问题,并在几天内拿出一个完整(不是最终版)的产品,这是你能把它交付给用户的可行产品。
然后,你要作为用户来检查该产品,目的是获得反馈,而不是创建一个标准的产品。你要不断地推翻它,分析其效果不好的原因。
经过多次产品尝试后,要学习管理好你的产品版本,并将你的应用程序公开到网上平台,与他人分享交流,把它们托管在便宜的共享公开服务器上就可以。如果你觉得自己的产品很有优势,可以把你的repo链接到CodeShip等此类平台上,这样就可以实现持续集成和交付。
祝玩得开心~
原文:https://www.quora.com/Recently-I-learned-python-I-find-artificial-intelligence-very-interesting-since-I-love-coding-very-much-What-do-you-suggest-I-should-do-next-to-develop-an-AI-system-Assume-I-know-basics-such-as-neural-networks-and-decision-tree/answer/Sean-McClure-3?srid=Yatm
— 完 —
加入社群
量子位AI社群11群开始招募啦,欢迎对AI感兴趣的同学,加小助手微信qbitbot4入群;
此外,量子位专业细分群(自动驾驶、CV、NLP、机器学习等)正在招募,面向正在从事相关领域的工程师及研究人员。
进群请加小助手微信号qbitbot4,并务必备注相应群的关键词~通过审核后我们将邀请进群。(专业群审核较严,敬请谅解)
诚挚招聘
量子位正在招募编辑/记者,工作地点在北京中关村。期待有才气、有热情的同学加入我们!相关细节,请在量子位公众号(QbitAI)对话界面,回复“招聘”两个字。
量子位 QbitAI · 头条号签约作者
վ'ᴗ' ի 追踪AI技术和产品新动态
AI产品开发指南:5大核心环节搞定机器学习工作流相关推荐
- 迅雷创始人程浩:AI 创业必知 6 大核心问题:如何选择赛道、搭配团队和应对巨头挑战
[新智元导读] 迅雷创始人程浩现在是专注科技领域的投资人,他在这篇文章中,聊到了人工智能领域的创业和创新,包括如何选择赛道.团队的搭配.以及如何应对巨头的挑战.他总结了人工智能创业的 6 大核心问题, ...
- 像背单词一样搞定机器学习关键概念:300张小抄表满足你的所有AI好奇
入坑数据科学和人工智能的同学都知道,机器学习是一个集合了计算机.统计学和数学知识的交叉领域,除了日常练习,也需要很多枯燥的记忆和理解.单纯读书不容易串联概念,又容易忘记. 可能你和文摘菌一样,读了无数 ...
- 基于 abp vNext 和 .NET Core 开发博客项目 - 用AutoMapper搞定对象映射
基于 abp vNext 和 .NET Core 开发博客项目 - 用AutoMapper搞定对象映射 转载于:https://github.com/Meowv/Blog 本篇紧接着来玩一下AutoM ...
- AI产品开发的核心原则:以研究为核心驱动
作为核心驱动的研究:研究环境 不管你的组织规模如何,只要你正在开发机器学习或人工智能产品,那么你的核心资产就是研究专业人员.数据科学家或人工智能科学家,无论他们的学术背景如何.盲目地使用软件库开发模型 ...
- [视野] AI创业必知6大核心问题:如何选择赛道、搭配团队和应对巨头挑战
第一个问题:互联网 VS 人工智能 首先如果今天大家选择创业,我建议更应该关注人工智能,而非互联网.为什么这么讲? 1. 互联网的流量红利已经消失: 以PC来说,全球PC出货量连续5年下滑.大家知道 ...
- 大前端时代搞定PC/Mac端开发,我有绝招
如果你是一位前端开发工程师,对"跨平台"一词应该不会感到陌生.像常见的前端框架:比如React.Vue.Angular,它们可以做网页端,也可以做移动端,但很少能做到跨PC.Mac ...
- 年轻就AI秀:美颜美齿,一键搞定
随着气温的逐渐升高,人们对于手机的消费需求也在不断高涨.而如果要说起近期智能手机市场最炙手可热的卖点,那么无疑就是全面屏和AI人工智能了. 在发布AI全面屏旗舰机型X21之后,为了满足年轻人市场的旺盛 ...
- 祛斑用什么产品比较好?简单一步轻松搞定
祛斑用什么产品比较好?(黛芙壹薇尔祛斑效果好)在爱美时代的召唤下,越来越多的女人开始加入祛斑的大潮中,想要摆脱肌肤长斑的困扰,做白净女人.然而在祛斑的同时,人们除了会考虑祛斑用什么产品比较好以外女 ...
- Android开发小技巧 | 一句命令搞定截屏
-- 简书作者 谢恩铭 转载请注明出处 一句命令搞定截屏 在安卓开发中, 我们很多时候都要用到截屏这个功能. 有时是为了演示, 有时是为了报告问题(比如在Bugzilla, Jira, Redmine ...
最新文章
- python处理xml中非法字符的一种思路
- pyinstaller python3.7_解决python3.7安装好pyinstaller却不能使用的问题
- HDU4367(线段相交与斐波那契数列)
- nosql的数据服务_使用NoSQL实现实体服务–第2部分:合同优先
- 软件测试nodejs面试题,nodejs单元测试和性能测试
- Qt文档阅读笔记-Timer QML Type 官方解析与实例
- php下载 微信头像图片_php 下载微信头像
- 惠普用的是微软服务器吗,惠普抛弃MediaSmart服务器 微软表示淡定
- 教你使用 IDEA 配置和运行vue项目
- 带有.NET Core 3和Electron.NET的多平台桌面HTML编辑器
- 不招聘数据科学家的 7 个理由!
- mysql新增字段位置_图解MySQL | [原理解析] MySQL 为表添加列 是怎么quot;立刻quot;完成的...
- Python + selenium之组织unittest单元测试用例
- OA系统四级模块编写测试用例(角色模块)
- VPC Peering 具有特定路由的配置
- 数学建模之层次分析法及其应用
- 解析 embedded.mobileprovision 获取信息
- R新建空矩阵循环放数据
- 爬取图片到mysql数据库_爬取微博图片数据存到Mysql中遇到的各种坑\mysql存储图片\爬取微博图片...
- 读书档案-心流:最优体验心理学
热门文章
- 苹果为 macOS 重大漏洞道歉;迅雷内讧股价暴跌;小米百度在一起 | 一周业界事
- 揭秘世界首位机器人公民:按照赫本形象设计、曾扬言毁灭人类
- c语言高级工程师试题,2020年.Net中高级开发工程师笔试题带答案(3)
- Java高级进阶学习资料!Java虚拟机的垃圾回收机制
- Typora 快捷键设置
- oracle统计信息导出与导入目的,Oracle统计信息的导出与导入
- 宏程序自动生成软件_【软件】宏程序自动生成器V3.0下载
- android列表项点击事件,Android 开发 tips(2):监听 Listview 列表项点击事件
- redis 公网ip访问_怎样从公网访问内网Redis数据库
- 出现红字是电脑问题吗_苹果12还会出现信号不好的问题吗?