《机器学习在线 解析阿里云机器学习平台》读书笔记
原文
最近读了阿里的《大数据之路-阿里巴巴大数据实践》，对于其机器学习平台也蛮感兴趣，正好阿里出了本新书《解析阿里云机器学习平台》，顺便读了下，感触也不少，结合最近团队机器学习的一些思考，特别在此分享于你。
一、机器学习的门槛降得更低了
这本书的第一章是这么描述阿里云机器学习平台的，“阿里云机器学习平台是构建在阿里云MaxCompute计算平台之上，集数据处理、建模、离网预测、在线预测为一体的机器学习算法平台，用户通过拖曳可视化的操作组件来进行试验，使得没有机器学习背景的工程师也可以轻易上手玩转数据挖掘。”
这说得对也不对，对的是机器学习平台的易用性的确很重要，不对的是机器学习平台只解决功能性问题，数据挖掘其实大多时候是在做业务分析、处理数据和分析数据，而不是选择算法和跑通流程，再便捷的可视化平台对于降低机器学习的成本还是非常有限的，否则，要那么多数据建模师干嘛？
相对于SASS，SPSS等，阿里云机器学习平台在易用性、算法完整性及数据处理上是有其特点的，甚至是有一些优势的，因为它有MaxCompute平台的背书，笔者相信任何企业的业务人员只要懂点基本的数据概念，上手这个平台是非常容易的，体现了阿里云机器学习平台在企业级市场的雄心。
怎么个使用简便法呢？看下面一张示意图，任何的机器学习都采用简单的流程就可以描述出来，步骤清晰而简洁，大多非常雷同。
（1）离散值特征分析：就是分析离散变量与标签的关系，阿里云提供了很多变量分析方法，诸如直方图啥的
（2）拆分：就是将数据集拆分为训练和测试集
（3）随机森林：就是选择的算法，我看了下，包括逻辑回归、朴素贝叶斯、逻辑回归、GBDT、文本分析（比如LDA）,协同过滤等大多算法，还支持TensorFlow，但只是打个包
（4）预测：就是用测试集数据进行验证
（5）评估：就是ROC，AUC诸如此类的传统评估方法
所有操作基本都是拖曳和配置，比较方便，对于不懂机器学习的人来讲，可以通过这个平台理解机器学习整体的流程，入门是相当的好，即使对于懂机器学习的人，也有助于开阔视野，加速自己的模型验证过程。
二、业务人员迎来新的机会
笔者以前提过，要做好数据挖掘，首先要有一定的业务积淀，这样做成的数据模型才可能有效, 数据挖掘中业务理解和数据准备占据70%以上的时间，外来和尚无法念好经往往不是算法不行，而是业务和数据理解力不行，因此，精通业务的人员其实至少已经是半个专业数据挖掘师了。
业务人员缺的倒是一些IT技能，以往这剩下的30%并不容易掌握，比如业务人员搞个逻辑回归可能还要学习一下语言，这个挑战还是比较大的，现在在这类易用的机器学习工具帮助下，他有可能基于丰富的业务经验让数据分析达到一个新的阶段。
当前在一些企业内部分业务人员已经开始自行进行取数，分析及挖掘了，但大多数企业仍然走的是取数流程或项目的方式，这个争议还是比较大的，但笔者相信，随着大数据应用的深入，由于其天生的创新性、迭代性的要求可能会引导业务人员逐步转型，或者组织上进行大的调整，比如数据挖掘师直接归属到业务部门。
IT人员则要专注于研发和改进诸如机器学习平台等中台类的工作，提升平台的体验，千方百计让业务人员用好这些平台，这也许是未来IT正确的姿势，也是双赢的局面。
现在很多企业的IT人员在从事数据挖掘、取数等工作，其处于IT，数据和业务的中间地带，从效率的角度讲，划到业务部门也未尝不可。
三、数据仓库建模师的机会
笔者相信未来这种易用型的机器学习平台将越来越多，意味着通用算法这部分技能行业门槛变得很低，仅仅懂几个算法的工程师在企业内的价值会贬值。
机器学习算法门槛的降低变相的提升了数据仓库建模师的价值，随着机器学习需求的增加，机器学习前期的数据理解、数据清洗和数据准备变得更为重要，谁能深入的理解业务，设计出好用的数据挖掘中台数据模型（这里的数据模型类似数据仓库建模），将极大降低数据挖掘的成本。
以前搞数据挖掘的数据中台其实笔者并不赞成，现在还是觉得有一定必要性了，一个当然是机器学习需求增长，数据中台的共享价值体现出来了，另一个则是当前的数据仓库模型并不能很好的支撑很多数据挖掘场景，团队的数据挖掘师各自为战，好的变量设计无法沉淀。
以下是阿里的关于电商购买预测中数据准备的一个案例，我觉得是需要有业务和数据经验的人体系化的去设计的，靠个人临时去准备一方面代价太大，另一方面也想不全面。
影响某个用户对某个品牌是否购买的特征有哪些呢？
首先是用户对品牌的关注，譬如：点击、发生过购买行为，收藏和假如过购物车，而在这些因素中，关注的行为离现在越近，即将购买的可能性就越大，所以我们会关注最近3天、最近一周、最近1个月、最近2个月、最近3个月和有记录的所有时间的情况，于是有了如下一些特征。
最近3天点击数、购买数、收藏数和加入购物车次数
最近1周点击数、购买数、收藏数和加入购物车次数
最近1个月点击数、购买数、收藏数和加入购物车次数
最近2个月点击数、购买数、收藏数和加入购物车次数
最近3个月点击数、购买数、收藏数和加入购物车次数
全部点击数、购买数、收藏数和加入购物车次数
有了关注时间段细分的关注次数还不够，还希望知道该数值的变化率，来刻画该关注的持续程度，我们还可以构造如下特征：
最近3天点击数变化率（最近3天点击数/最近4-6天点击数）、购买数变化率、收藏数变化率、加入购物车次数变化率
最近1周点击数变化率（最近1周点击数/上周点击数）、购买数变化率、收藏数变化率、加入购物车次数变化率
最近1月点击数变化率（最近1月点击数/上月点击数）、购买数变化率、收藏数变化率、加入购物车次数变化率
如果用户对该品牌曾有过购买行为，我们希望了解，通过多少次点击产生了一次购买，多少次收藏转化为一次购买，即购买转化率，构造特征如下：
最近3天点击转化率、收藏转化、加入购物车转化率
最近1周点击转化率、收藏转化、加入购物车转化率
最近1月点击转化率、收藏转化、加入购物车转化率
整体点击转化率、收藏转化、加入购物车转化率
其次，我们将注意力放在用户上，需要构造特征将用户的特点表现出来，重点是该用户对其关注的所有品牌的总体行为，用户最近对所有品牌的关注度，有如下特征：
最近3天点击数、购买数、收藏数和加入购物车次数
最近1周点击数、购买数、收藏数和加入购物车次数
最近1个月点击数、购买数、收藏数和加入购物车次数
最近2个月点击数、购买数、收藏数和加入购物车次数
最近3个月点击数、购买数、收藏数和加入购物车次数
全部点击数、购买数、收藏数和加入购物车次数
最近3天点击转化率、收藏转化、加入购物车转化率
最近1周点击转化率、收藏转化、加入购物车转化率
最近1月点击转化率、收藏转化、加入购物车转化率
整体点击转化率、收藏转化、加入购物车转化率
最后，单独看品牌这个因素的影响，有的热门品牌，关注度很高，而我们更关心其近期的情况，有如下特征。
最近3天被点击数、被购买数、被收藏数和被加入购物车次数
最近1周被点击数、被购买数、被收藏数和被加入购物车次数
最近1月被点击数、被购买数、被收藏数和被加入购物车次数
最近3月被点击数、被购买数、被收藏数和被加入购物车次数
全部被点击数、被购买数、被收藏数和被加入购物车次数
最近3天点击转化率、收藏转化、加入购物车转化率
最近1周点击转化率、收藏转化、加入购物车转化率
最近1月点击转化率、收藏转化、加入购物车转化率
整体点击转化率、收藏转化、加入购物车转化率
综上，某个用户对某个品牌是否购买的特征由刻画该用户对该品牌关注的各种特征，描述该用户的特征，以及描述该品牌的特征共同构成。
这么复杂的特征变量设计不应该每次做机器学习的时候去生成，而应该沉淀下来，其实每个企业都有类似的场景，但我们在做特征设计的时候，往往难以考虑的这么周全，想到哪做到哪，这体现出了数据挖掘数据中台的价值。
四、机器学习工程师价值的思考
读完阿里这本书，虽然更像是在看一本机器学习平台的说明书，也许专业人士会觉得LOW，但笔者是能体会到其在平台易用性上花的功夫的，团队也在做类似的一些事情，但还是有很大差距的，做了就知道了。
这本书引发的数据挖掘中台思考，也是不经意看案例时体会到的，企业实践的东西有这个好处，它在说一个事情，但过程却透露了很多实践的秘密，类似的东西还要很多，比如逻辑回归变量重要性的判断，我以前一直理解有误，比如特征哑元化的使用场景，比如KNN和随机森林在一些场景的表现，又如LDA的解释，由于案例放在那里，你很容易感性的得到理解，还有GBDT，笔者以前没听说过，团队说要用这个算法的时候，当时是一脸懵逼。
这周在与成员回顾某个数据挖掘的过程中，成员提到将矩阵算法换成GBDT时候付出了很大的代价，持续了很长时间，但效果提升了一点点，笔者也只能惭愧的笑笑了，要为自己的无知付出代价。
很多时候数据挖掘师很努力，但成果寥寥，我觉得最大问题是不理解客户的最终诉求，视野窄了，把算法当成了结果，数据挖掘师经常说案头苦干了1个月，XX算法提升了XX个点，非常不错，我说，到底带来了多少收入和用户？
其实不同企业的情况不同，在腾讯将推荐算法提升平均1个点当然是牛逼，但在我这个企业内，也许毫无价值，大家的起点完全不同。
其实作为客户，也根本不关注手段，要的就是效果，手段能简化就简化，用一个新数据往往好过新算法，以最低的代价获得最大的收益就是要做的事情，阿里云机器学习平台就是希望降低那个30%的成本时间，但也仅此而已。
未来是人工智能的时代，人工智能也在逐步平台化，今天你说掌握个深度学习好像还很先进，但被集成后就大幅贬值了，只有差异化才有价值，现在TensorFlow技术文章其实还不多，我们在试用TensorFlow On Spark的时候进度偏慢，这个时候你懂就有价值。
未来也许只有三类机器学习工程师有前途，一类是能改进和创造新的算法的，这是算法大师，二是做机器学习平台的，含功能，算法和数据，这是产品大师，三是能够深刻理解客户需求的，在某个行业有足够业务和数据底蕴，因此能够利用高效的平台工具创造价值的，这是应用大师。
有机会，你也可以去读读这本书。
《机器学习在线 解析阿里云机器学习平台》读书笔记相关推荐
- 读书笔记 | 墨菲定律
1. 有些事,你现在不做,永远也不会去做. 2. 能轻易实现的梦想都不叫梦想. 3.所有的事都会比你预计的时间长.(做事要有耐心,要经得起前期的枯燥.) 4. 当我们的才华还撑不起梦想时,更要耐下心来 ...
- 读书笔记 | 墨菲定律（一）
1. 有些事,你现在不做,永远也不会去做. 2. 能轻易实现的梦想都不叫梦想. 3.所有的事都会比你预计的时间长.(做事要有耐心,要经得起前期的枯燥.) 4. 当我们的才华还撑不起梦想时,更要耐下心来 ...
- 洛克菲勒的38封信pdf下载_《洛克菲勒写给孩子的38封信》读书笔记
<洛克菲勒写给孩子的38封信>读书笔记 洛克菲勒写给孩子的38封信 第1封信:起点不决定终点 人人生而平等,但这种平等是权利与法律意义上的平等,与经济和文化优势无关 第2封信:运气靠策划 ...
- 股神大家了解多少？深度剖析股神巴菲特
股神巴菲特是金融界里的传奇,大家是否都对股神巴菲特感兴趣呢?大家对股神了解多少?小编最近在QR社区发现了<阿尔法狗与巴菲特>,里面记载了许多股神巴菲特的人生经历,今天小编简单说一说关于股神 ...
- 2014巴菲特股东大会及巴菲特创业分享
沃伦·巴菲特,这位传奇人物.在美国,巴菲特被称为"先知".在中国,他更多的被喻为"股神",巴菲特在11岁时第一次购买股票以来,白手起家缔造了一个千亿规模的 ...
- 《成为沃伦·巴菲特》笔记与感想
本文首发于微信公众帐号: 一界码农(The_hard_the_luckier) 无需授权即可转载: 甚至无需保留以上版权声明-- 沃伦·巴菲特传记的纪录片 http://www.bilibili.co ...
- 读书笔记002：托尼.巴赞之快速阅读
读书笔记002:托尼.巴赞之快速阅读 托尼.巴赞是放射性思维与思维导图的提倡者.读完他的<快速阅读>之后,我们就可以可以快速提高阅读速度,保持并改善理解嗯嗯管理,通过增进了解眼睛和大脑功能 ...
- 读书笔记001：托尼.巴赞之开动大脑
读书笔记001:托尼.巴赞之开动大脑 托尼.巴赞是放射性思维与思维导图的提倡者.读完他的<开动大脑>之后,我们就可以对我们的大脑有更多的了解:大脑可以进行比我们预期多得多的工作:我们可以最 ...
- 读书笔记003：托尼.巴赞之思维导图
读书笔记003:托尼.巴赞之思维导图 托尼.巴赞的<思维导图>一书,详细的介绍了思维发展的新概念--放射性思维:如何利用思维导图实施你的放射性思维,实现你的创造性思维,从而给出一种深刻的智 ...
- 产品读书《滚雪球：巴菲特和他的财富人生》
作者简介 艾丽斯.施罗德,曾经担任世界知名投行摩根士丹利的董事总经理,因为撰写研究报告与巴菲特相识.业务上的往来使得施罗德有更多的机会与巴菲特亲密接触,她不仅是巴菲特别的忘年交,她也是第一个向巴菲特建 ...
最新文章
- 某些列满足某些条件就被改是什么值，不满足就被改为另外的一些值（python pandas）
- 元素隐式具有 “any” 类型，因为类型“Shared”没有索引签名问题解决思路
- Idea Marketplace 加载很慢 加载不出来
- PHP向服务器错误记录、文件或远程目标发送一个错误
- HTML5之美(转)
- 广东省零售连锁协会执行会长：技术更新太快，消费者才是零售企业最大的对手...
- 不同VLAN中的计算机可以ping通吗,不同vlan间互相能ping通配置.ppt
- Docker基础（二）
- windows10怎么显示文件后缀（扩展名）？
- overleaf 中相关的问题
- 计算机术语中的channel,English 中关于道路方面用词之（4）—Channel, Tunnel
- 阿里80亿贷款细节曝光 并购背后图谋大数据
- 计算机毕业生毕业论文写作及选题方向
- 强化学习入门项目 Spinning up OpenAI (2) 基本使用
- 【每日一题】字符串转换成整数
- 【爬虫学习】Cookie-淘宝登录
- 医学影像处理相关软件及python包
- 远程协助——帮助你解决电脑问题
- java面对对象教学_Java面向对象程序设计教与学
- 为什么需要功能需求设计说明书