Spark视频王家林大神第1课： 30分钟彻底理解Spark核心API发展史：RDD、DataFrame、DataSet

本节通过Spark核心API的发展史，带领大家学习和理解Spark的内幕，在Spark的发展史上，经历了三代API：第一代是RDD、第二代是DataFrame、第三代是DataSet。RDD是Spark中绝对的核心和基础性的抽象，DataFrame是Spark 1.3.x推出的，为了处理交互型的关系数据库的数据，数据可以来源于Oracle、Mysql或者JSON，可以支撑各种格式，也可来自于RDD，或者HDFS的分布式文件系统；Spark 1.6.x的时候推出了第三代关键性的DataSet。之所以在机器学习的第一节以RDD第一代的核心API、DataFrame第二代的核心API、以及Spark1.6.x推出的实验性API并在Spark 2.x成熟的DataSet，以此为一条线贯通Spark前前后后的内容，有几个方面的原因：

1）第一点：作为开发者，无论是做机器学习的开发还是做其他方面的开发，Spark

这三代API都是绕不过去的，开发者必须首先理解这三代API。

2）第二点：我们编写代码的时候，不同的Spark版本，例如：Spark 1.3.x之前的

版本，Spark 1.3.x到Spark 1.6.x之间的版本，以及已经推出的Spark 2.0.x的版本，这三代API的编程风格虽然有一定的相似性，但是有所差异的。从第二个方面的角度考虑，我们写代码绕不开这三代API，而每一代API都带来了性能的极大提升。如果有机器学习的开发经验，体验应是非常的深刻，分布式系统性能一定是第一位的࿰

Spark视频王家林大神第1课： 30分钟彻底理解Spark核心API发展史：RDD、DataFrame、DataSet相关推荐

2018年又传喜报！热烈祝贺王家林大师大数据经典著作《Spark SQL大数据实例开发教程》畅销书籍出版上市!
2018年又传喜报!热烈祝贺王家林大师大数据经典著作<Spark SQL大数据实例开发教程> 畅销书籍出版上市! 作者: 王家林段智华条码书号:9787111591979 出版日期 ...
王家林大咖新书预发布：清华大学出版社即将出版《Spark大数据商业实战三部曲：内核解密|商业案例|性能调优》第二版及《企业级AI技术内幕讲解》
王家林大咖新书预发布:清华大学出版社即将出版<Spark大数据商业实战三部曲:内核解密|商业案例|性能调优>第二版,新书在第一版的基础上以Spark 2.4.3版本全面更新源码,并以Ten ...
2018年新春报喜！热烈祝贺王家林大咖大数据经典传奇著作《SPARK大数据商业实战三部曲》畅销书籍清华大学出版社发行上市!
2018年新春报喜!热烈祝贺王家林大咖大数据经典传奇著作<SPARK大数据商业实战三部曲>畅销书籍清华大学出版社发行上市! 本书基于Spark 2.2.0新版本,以Spark商业案例实战 ...
王家林人工智能AI第14课：通过K-Nearest Neighbors改进在Social Network上销售汽车推荐系统的精准性老师微信13928463918
王家林人工智能AI第14课:通过K-Nearest Neighbors改进在Social Network上销售汽车推荐系统的精准性老师微信13928463918
王家林人工智能AI第19课：使用决策树在Social Network上构建汽车销售推荐系统老师微信13928463918
王家林人工智能AI第19课:使用决策树在Social Network上构建汽车销售推荐系统老师微信13928463918
评价最高影片JAVAlibrary_视频 | 手游大神，动画导演，机圈新贵，极客怎么评价《愤怒的小鸟2》？...
谁能想到,迄今为止口碑最好的「游戏改编电影」竟然来自一个手机游戏IP?! <愤怒的小鸟2>是有史以来评价最好的游戏改编电影.-- http://Screencrush.com <愤怒 ...
评价最高影片JAVAlibrary_视频 | 手游大神，动画导演，机圈新贵，极客怎么评价愤怒的小鸟2？...
谁能想到,迄今为止口碑最好的「游戏改编电影」竟然来自一个手机游戏IP?!<愤怒的小鸟2>是有史以来评价最好的游戏改编电影.-- Screencrush.com <愤怒的小鸟2> ...
大神级教程！300分钟撸一个基于Redis 6.0 版本的高并发架构
刚好原先公司搞职位调整,我不太满意,赶上这波金三银四的面试浪潮,干了也有5年的后端开发了,不是大神也是有实战经验的,我就自信满满地去面了几家大厂,结果就遇到... 面试官这夺命连环12问,谁顶得住? ...
人物丨深度学习大神Hinton推翻自己30年的学术成果另造新世界
作者:胡永波 Hinton,这个以"深度学习之父"和"神经网络先驱"响彻AI领域的名字,他的一举一动,都是热点导向. 当我们远望一位顶级人物时,除了他的学术,也 ...
深度学习大神Hinton推翻自己30年的学术成果另造新世界
作者|胡永波 Hinton,这个以"深度学习之父"和"神经网络先驱"响彻AI领域的名字,他的一举一动,都是热点导向. 当我们远望一位顶级人物时,除了他的学术,也 ...

Spark视频王家林大神第1课： 30分钟彻底理解Spark核心API发展史：RDD、DataFrame、DataSet

Spark视频王家林大神第1课： 30分钟彻底理解Spark核心API发展史：RDD、DataFrame、DataSet相关推荐

最新文章

热门文章