【初识大数据】4、大数据学习路线

文章目录

大数据学习路线
- 1.1 基础
- 1.2 Hadoop
- 1.3实时计算
- 1.4 Spark

大数据学习路线

1.1 基础

1、基础JAVA语言（Java SE）

变量类型循环 if

面向对象：类、封装、集成、多态

I/O：输入流、输出流——>HDFS会用到

反射、泛型——>MapReduce程序

JDBC: 操作关系型数据库（RDBMS）——>Hive

2、Linux基础： Linux基本操作/常用命令（见初识大数据二/三）
3、SQL基础： select（重点）insert、update、delete
----> Hive、Spark、SQL都会用到
----> 大数据的终极目标：使用SQL分析大数据

1.2 Hadoop

（1）数据储存：HDFS（Hadoop Distributed File System）
（2）数据计算：MapReduce（Java程序）:在Hadoop 2.x以后，在Yarn容器---> 实现离线计算
（3）Hive：基于HDFS智商的数据仓库，支持SQL语句
（4）HBase：基于HDFS智商的NoSQL数据库
（5）ZooKeeper：实现HA（High Availability高可用性）的功能
（3）其他组件（生态圈）：Pig、Flume、Sqoop

1.3实时计算

（1）Redis内存NoSQL数据库Redis Cluster：分布式解决方案
（2）Apache Storm：进行实时计算（流式计算）

以上都是用JAVA实现开发，以下是Scala语言开发

1.4 Spark

只有数据计算，没有数据的存储（依赖HDFS）

（1）Scala编程语言：多范式的编程语言（支持多种方法编程：1、面向对象  2、函数式编程）
（2）SPark Core：内核，相当于MapReduce最重要的概念：RDD（弹性分布式数据集）
（3）Spark SQL：类似Hive，支持SQL语句
（4）Spark Streaming：处理流式计算的模块，类似Storm

【初识大数据】4、大数据学习路线相关推荐

写给初学大数据的你，从零开始学习大数据开发的完整学习路线
最近很多人都想学习大数据开发,但是却不知道如何开始学习,今天专门整理了一份针对大数据初学者的大数据开发学习路线. 下面分十个章节来说明大数据开发要学习的内容: 互联网科技发展蓬勃兴起,人工智能时代来临 ...
零基础学习大数据：零基础学习大数据最完整的学习路线
最近很多人都想学习大数据开发,但是却不知道如何开始学习,今天软妹子专门整理了一份针对大数据初学者的大数据开发学习路线.大数据学习资料分析群119599574 下面分十个章节来说明大数据开发要学习的内容 ...
什么是大数据？零基础如何学习大数据？（附学习路线）
其实简单的来说,大数据就是通过分析和挖掘全量的非抽样的数据辅助决策. 大数据可以实现的应用可以概括为两个方向,一个是精准化定制,第二个是预测.比如像通过搜索引擎搜索同样的内容,每个人的结果却是大不相同 ...
做为一名大数据新手，如何成为大数据工程师？附上学习路线
这几年来大数据非常的热门,到处都有大数据分析的演讲. 演讲内容通常是宣传各种大数据分析成功的案例. 但实际上大数据该怎么做呢? 大部份的讨论似乎都仅止于怎么搜集大量的数据, 然后用个工具(hadoop ...
大数据专业-Python的学习路线总结第一部分
大数据学习有关python的自我总结第一部分本人大三,这篇文章包含了我自己大概两年的Python学习总结.包括Python基础语法,数据分析,可视化,爬虫,Opencv,深度学习.关于Opencv和 ...
web开发课程培训，10大前端常用算法，学习路线+知识点梳理
标签语义化: 语义和默认样式的区别: 默认样式是浏览器设定的一些常用tag的表现形式: 语义化的主要目的就是让大家直观的认识标签和属性的用途和作用: 标签语义化作用: 当只有HTML页面时,没有CSS ...
新手如何学习云计算大数据，云计算的学习路线
如今云计算火的一塌糊涂,不管你是男生还是女生就业前景摆在那里,只要你有技术有能力,前景不可限量,所以,不要担心就业前景的问题,要担心就担心你自己的能力问题.只有你真正的掌握了技术,才能有更好的就业发展 ...
Python 数据分析师必备的入门学习路线和技能
最近几年,做的这些项目,大多与数据分析与算法应用相关.岗位虽然是算法工程师,但是与数据分析打得交道也很多,双管齐下,最后才能确保算法的落地.在几年前,我还想当然地认为做算法的就应该偏重算法研究与应用, ...
超详细的3D视觉学习路线汇总
微信公众号推荐 [3D视觉工坊简介] 公众号[3D视觉工坊],致力于3D视觉算法.SLAM算法.三维重建.点云处理.深度学习.目标检测.语义分割.自动驾驶感知算法等领域的技术传播,注重内容的原创分享和 ...
3D视觉学习路线汇总
微信公众号推荐 [3D视觉工坊简介] 公众号[3D视觉工坊],致力于3D视觉算法.SLAM算法.三维重建.点云处理.深度学习.目标检测.语义分割.自动驾驶感知算法等领域的技术传播,注重内容的原创分享和 ...

【初识大数据】4、大数据学习路线

文章目录

大数据学习路线

1.1 基础

1.2 Hadoop

1.3实时计算

1.4 Spark

【初识大数据】4、大数据学习路线相关推荐

最新文章

热门文章