1、大数据处理技术-基于Hadoop/Yarn的实战(含Spark、Storm和Docker应用介绍)

本课程从大数据技术以及Hadoop/Yarn实战的角度,结合理论和实践,全方位地介绍Hadoop/Yarn这一高性能处理大数据工具的开发技巧。本课程涉及的主题包括:Hadoop/Yarn分布式文件系统DFS;MapReduce的的工作机制、类型和格式;如何构建和管理Hadoop/Yarn集群;PigLatin语言的使用技巧;Hive数据仓库工具介绍;HBase和Zookeeper工具的使用和管理;开源数据采集工具sqoop。

本课程教学过程中还提供了案例分析来帮助学员了解如何用Hadoop/Yarn系列工具来解决具体的问题,并介绍了从大数据中挖掘出有价值的信息的关键。

第一节云计算及大数据处理技术介绍

第二节Google的关键技术

第三节Hadoop系统及HDFS

第四节MapReduce计算模型设计

第五节Pig数据流处理工具

第六节云数据仓库Hive

第七节HBase和NoSQL

第八节数据抽取工具Sqoop

第九节Hadoop与其他云数据处理技术的融合

2、大数据实时处理–基于Spark的大数据实时处理及应用技术

课程中结合实例,介绍图工具GraphX如何发现社交网络中的人际关系,大数据挖掘工具MLlib如何进行商品聚类和电影推荐,以及Streaming流挖掘工具,并探讨了Spark与Docker等云环境下新技术的结合,分析了其应用前景。

本课程教学过程中还提供了案例分析来帮助学员了解如何用Spark实时大数据工具来解决业界的问题,并介绍了Spark生产环境搭建的相关知识。

第一节Spark大数据实时处理技术

第二节Spark安装配置及监控

第三节Scala编程语言使用概述

第四节Spark分布式计算框架

第五节Spark内部工作机制详解

第六节Spark数据读取与存储

第七节Spark通信模块和容错机制

第八节SQLOnSpark

第九节Spark流数据处理工具Streaming

第十节Spark中的大数据挖掘工具MLlib

第十一节Spark大规模图处理工具GraphX

第十二节Spark与其他大数据技术的融合与应用

3、Storm大数据流式处理技术

本课程从大数据流式处理技术以及Storm实战的角度,理论和实践相结合,全方位地介绍Storm大数据流式处理工具的原理和内核。以案例分析的方式来帮助学员了解如何用BDAS系列工具来解决具体的问题,并介绍了从大数据中挖掘出有价值的信息的关键。

第一节Storm大数据处理介绍

第二节Storm配置和容错机制

第三节Storm可靠性及消息传输

第四节Storm拓扑及流分组

第五节Spout和Bolt详解

第六节分布式DPRC

第七节Storm事务拓扑

第八节Storm中的Trident

第九节Trident的状态

第十节Storm企业应用

4、大数据分布式存储系统

在大数据时代,很多企业的数据都是逐步积累的,这就要求存储系统有很好的横向扩展能力;而要对传统存储设备进行横向扩展,会带来很高的成本,但是分布式存储却能够比较好的解决这样的问题。

第一节分布式存储系统概述

第二节大数据集(超大文件)存储

第三节海量小文件存储

第四节分布式存储技术发展新动向和趋势

5、大数据前沿技术分析与应用

大数据相关技术最近几年出现了井喷的趋势,众多技术纷纷出现,典型的系统包括Hadoop、Spark、Flume、Scribe、Kafka、Storm、Mahout、MLlib、Docker等,涵盖网络数据爬取、日志采集、分布式消息订阅、大数据分析挖掘等方面,涉及离线批处理、实时处理、流式处理等多种处理方式。这些技术解决不同的应用需求,涉及面广,技术要求高,交叉知识范围广,知识内容更新频繁,要理清其中的关系,从中发现最适合本机构的技术,成为了目前各机构技术专家的一个难点。

第一节大数据技术基础

第二节批处理大数据平台Hadoop

第三节实时大数据平台Spark

第四节流式大数据平台Storm

第五节Python网络爬虫

第六节大数据日志采集工具Flume

第七节分布式消息订阅工具Kafka

第八节NoSQL云数据处理工具

第九节大数据中的SQL工具

第十节大数据分析挖掘工具

第十一节资源虚拟化工具Docker

第十二节大数据技术展望

6、数据仓库与数据挖掘(结合SPSS和WEKA)

本课程重在突出数据仓库与数据挖掘决策支持的本质,介绍数据挖掘的各种方法、技术实现手段,通过对实例的深入剖析解释它们的原理。

第一节数据仓库原理及联机分析技术介绍

第二节数据仓库设计与开发

第三节基于数据仓库的决策支持系统

第四节数据仓库案例剖析

第五节数据挖掘与知识发现

第六节关联分析算法及其案例

第七节聚类分析算法及其案例

第八节其它数据挖掘算法介绍

7、Python和R数据挖掘技术-基于Python和R语言的数据挖掘和统计分析技术

本课程将对基于Python和R语言进行数据处理、数据探索的基本方法,利用R语言实现模型选择、Logistic回归及决策树算法,以及贝叶斯算法及支持向量机、神经网络等算法原理及实现进行讲解。

第一节数据挖掘,Python和R简介

第二节数据的导入与导出

第三节数据可视化展现

第四节决策树与随机森林

第五节回归分析

第六节聚类分析

第七节离群点检测

第八节时间序列分析

第九节关联规则

第十节社交网络分析

8、大数据分析挖掘-基于Hadoop/Mahout/MLlib的大数据挖掘(含Spark、Storm和Docker应用介绍)

本课程从大数据挖掘分析技术实战的角度,结合理论和实践,全方位地介绍Mahout和MLlib等大数据挖掘工具的开发技巧。本课程涉及的主题包括:大数据挖掘及其背景,Mahout和MLlib大数据挖掘工具,推荐系统及电影推荐案例,分类技术及聚类分析,以及与流挖掘和Docker技术的结合,分析了大数据挖掘前景分析。

本课程教学过程中还提供了案例分析来帮助学员了解如何用Mahout和MLlib挖掘工具来解决具体的问题,并介绍了从大数据中挖掘出有价值的信息的关键。

第一节大数据挖掘及其背景

第二节MapReduce/DAG计算模式

第三节云挖掘工具Mahout/MLib

第四节推荐系统及其应用开发

第五节分类技术及其应用

第六节聚类技术及其应用

第七节关联规则和相似项发现

第八节流数据挖掘相关技术

第九节云环境下大数据挖掘应用

9、Spark大数据挖掘工具MLlib实战(机器学习)

本课程主要讲解SparkMLlib,SparkMLlib是一种高效、快速、可扩展的分布式计算框架,实现了常用的机器学习,如:聚类、分类、回归等算法。讲解各个算法的理论、详细展示Spark源码实现,最后均会通过实例进行解析实战,帮助大家真正从理论到实践全面掌握SparkMLlib分布式机器学习和大数据挖掘方法。

第一节Spark大数据实时处理技术

第二节Spark安装配置及监控

第三节Scala编程语言和分布式计算模型

第四节SparkMLlib线性回归和逻辑回归算法

第五节SparkMLlib贝叶斯分类算法

第六节SparkMLlib决策树算法

第七节SparkMLlib聚类算法

第八节SparkMLlib关联规则算法

第九节SparkMLlib个性化推荐算法

第十节SparkMLlib神经网络算法

10、Python语言基础及数据分析技术

Python语法简洁清晰,Python具有丰富和强大的库。能够把用其他语言制作的各种模块(尤其是C/C++)很轻松地联结在一起。Python包括一套完整的数据处理、计算和制图软件系统;简便而强大的编程语言:可操纵数据的输入和输入,可实现分支、循环,用户可自定义功能。

本课程将对基于Python语言进行数据处理、数据探索的基本方法,并对Python语言算法原理及实现进行讲解。

第一节基础知识

第二节Python数据结构

第三节选择与循环

第四节字符串与正则表达式

第五节函数设计与使用

第六节面向对象程序设计

第七节文件操作

第八节GUI编程

第九节数据库编程

第十节科学计算与可视化

第十一节大数据处理

11、大数据可视化技术与应用

本课程立足于可视化的本质问题,从设计的角度讲述数据可视化技术,而非可视化实现算法。

课程通过演绎可视化设计的基本流程、常用工具和方法,加上针对典型数据类型可视化方法的案例分析,以启发学员思考,达到以更加丰富的可视化方法,运用各种交互设计手段进行可视化分析与探索,深入挖掘自身现有业务数据价值的目的。

第一节数据可视化概述

第二节可视化设计基础

第三节可视化编码基础

第四节地理空间数据可视化方法

第五节时变数据可视化方法

第六节关系数据可视化方法

第七节高维数据可视化方法

第八节文本数据可视化方法

第九节可视化交互设计方法

12、云计算与大数据处理技术

本课程分别从多个角度分析在面对海量数据处理的困难时,不同的应用体系是如何解决问题并获得成功的。研究这些已有的体系不是目的,而是希望学员能够通过学习这些解决问题的方法和思路,通过归纳整理深入理解,再根据自己所面对的领域特征,形成解决具体实际问题的方案。通过本课程学习,希望推动国内云计算项目开发上升到一个新水平。

第一节云计算的概念与现状

第二节从Google云计算体系,理解海量数据处理的方法

第三节从Hadoop云计算项目,进一步研究云数据处理方法

第四节从WindowsAzure,理解平台即服务的本质

第五节从Amazon云计算,讨论如何提供云服务

第六节实施云计算的关键点:安全策略

第七节当前数据中心如何向云计算环境转变?

第八节基础设施即服务(IaaS)关键实现技术

第九讲软件即服务(SaaS)关键实现技术
人工智能、大数据、云计算和物联网的未来发展值得重视,均为前沿产业,多智时代专注于人工智能和大数据的入门和科谱,在此为你推荐几篇优质好文:
大数据人才定义和分类
http://www.duozhishidai.com/article-405-1.html
在学习大数据之前,需要具备什么基础
http://www.duozhishidai.com/article-12916-1.html
大数据工程师培训,需要学习的有哪些课程?
http://www.duozhishidai.com/article-15081-1.html
大数据的特点是什么,大数据与Hadoop有什么关系?
http://www.duozhishidai.com/article-13276-1.html


多智时代-人工智能和大数据学习入门网站|人工智能、大数据、物联网、云计算的学习交流网站

大数据培训机构,主要都学习哪些课程?相关推荐

  1. python大数据培训机构_学大数据开发需要学习python吗

    大数据现在互联网火热的一个名词,而和大数据关键词最紧密的相信就是Java和python了,在一年以前,Java大数据可能是很多培训机构的宣传标语.而到了2018年,python大数据则成为了潮流,无论 ...

  2. 大数据培训机构靠谱吗

    说到大数据许多人喜欢以hadoop作为代名词,的确学习大数据hadoop很重要,而除了该软件之外还有许多其他系统软件也属于必学范畴.想要系统学习大数据课程?找个机构报班会更好哦,在大数据培训机构内有了 ...

  3. 关于参加大数据培训机构有没有用的一些想法

    在选择学习大数据课程的学员中,有不少人还存在疑惑,大数据是自学,去企业还是选择大数据培训机构呢?大数据培训机构有用吗?其实,不管是你通过什么方式学习,只要学有所成,都是有用的呀! 大数据时代,各行各业 ...

  4. 如何选择大数据培训机构

    大数据行业前景光明,不少已经在工作或者大数据毕业的朋友都想投身到大数据行业.但是有的朋友却还在犹豫,不是没有坚定学习大数据的信心,而是对大数据培训机构的选择有不少疑问. 个人觉得或许每个大数据培训机构 ...

  5. 大数据培训怎么样,怎么选择合适大数据培训机构?

    数据培训在当下是个非常热门的话题,大数据在深刻的影响着这个世界,大数据正引发新一轮革命.应运时代的变化需求,国内涌现出不少大数据培训机构.不少人问大数据培训靠谱吗?该如何选择培训机构呢? 1.看高薪就 ...

  6. 零基础的人可以去大数据培训机构学习大数据开发吗?

    随着互联网行业的快速发展,一方面是大企业对大数据相关技术人才的高薪招聘,另一方面是国家政策的大力支持,使得大数据行业备受人们的关注. 面对这么一个热门的行业不少人对大数据产生了浓厚的兴趣,其中不少人是 ...

  7. 大数据培训机构水有多深?

    IT培训行业发展到现在,可以说已经是一个发展成熟的行业了,各个细分的板块都有相应的机构,每一个环节也都有完整的流程,整个行业也有自己默认的规则,尤其是进入17年之后,行业膨胀速度放缓,越来越多的机构从 ...

  8. 好的大数据培训机构,体现在哪几个方面?

    随着社会的发展,大数据应用已经成为这个时代的趋势,互联网发展也正在从移动互联网时代进入大数据时代.因此有很多人都想踏入大数据领域,体验一把大数据的高端技术,但对于大数据培训学校半信用半疑,不知道大数据 ...

  9. 大数据培训靠不靠谱?如何选择培训机构?

    很多想加入大数据行业的人都是通过参加大数据培训这种方式,可是大数据培训真的靠谱吗?作为一个在培训行业摸爬滚打很多年的人,目前供职于科多大数据公司,一心致力于将职业培训惠及更多人而努力工作,今天给到大家 ...

最新文章

  1. 【爬坑】远程连接 MySQL 失败
  2. repeated call of attachBrowserEvent
  3. thymeleaf There was an unexpected error (type=Internal Server Error, status=500).
  4. 太原理工微型计算机控制试卷,太原理工大学微机原理考试(13届葬仪落整理).docx...
  5. Mybatis+Oracle批处理
  6. Window入侵排查
  7. python tfidf特征变换_2 python 文本特征提取 CountVectorizer, TfidfVectorizer
  8. 线性代数 第六版 答案
  9. C#中MessageBox用法大全(附效果图)
  10. Lifelong learning with dynamically expandable networks - 使用动态可扩展网络的终身学习-不完全记录
  11. 输入两个正整数m和n,求其最大公约数和最小公倍数。
  12. mariadb镜像使用教程(一)
  13. 软件构造心得(5)spec、RI、AF、A的概念辨析之spec
  14. linux 有线链接树莓派,linux-通过公共互联网连接到树莓派
  15. SpringMVC中的文件上传与下载,json转换,及三大框架的整合
  16. Apache虚拟主机相关配置
  17. 解决hive 中 beeline无法连接问题
  18. TexturePacker 自定义模板
  19. 搭建mpi测试环境,使用intell的mpi库
  20. ajax里数组添加数据,小笔记(一):ajax传递数组及将ajax返回数据赋值

热门文章

  1. 缓存着色 Page color测试
  2. Oracle 电子期刊下载
  3. php 生成订单号跳号,用条码标签打印软件生成跳号的流水号
  4. react-native热更新之code-push
  5. 曲终人散!再见AD!
  6. R语言使用ifelse函数进行变量编码(recode):把dataframe中连续变量基于条件表达式转化为两个类别的离散变量(分类变量)
  7. 股票、指数、快照、逐笔... 不同行情数据源的实时关联分析应用
  8. java 下载图片流_java下载图片(通用)httpClient,io流
  9. python opencv 保存图片_【python-opencv 】一、图像的加载与保存
  10. php能弹出u盘吗,拔掉U盘为什么要先弹出?知道真相的我眼泪掉下来