hadoop+Spark实战基于大数据技术之电视收视率企业项目实战
课程简介
本课程将通过一个电视收视率项目实战驱动讲解，项目案例是国内的一家广电企业作为非洲国家的一个运营商，以用户收视行为数据作为基础数据，通过对频道和节目的分析，采用多维度统计分析的方法挖掘用户的收视行为特征。
课程收获
1.通过此案例可以学习大数据整体开发流程，课程是围绕一个大数据整理流程而做的教学课程
2.让大家明白大数据不同技术的相互协调，从收集数据，过滤数据，数据分析，数据展示，调度的使用而开发的课程
3.从hadoop，hive应用快速的过度到spark上面而做的整套流程
4.学完此课程可以企业流程做一个整体的认识
课程目录
第1节项目的简介 00:05:45分钟 |
第2节项目的背景 00:07:38分钟 |
第3节项目流程演示 00:11:57分钟 |
第4节讲课的内容和对应的知识点 00:11:53分钟 |
第5节php展示统计分析之后的数据 00:02:28分钟 |
第6节大数据架构介绍并且企业使用的测试集群环境和人员配置 00:07:15分钟 |
第7节VM的安装 00:05:56分钟 |
第8节centos的安装和网络配置00:24:10分钟 |
第9节通过第三方连接centos的方法00:06:48分钟 |
第10节CentOS的yum源更新已经关闭防火墙00:15:37分钟 |
第11节JAVA的安装和hadoop安装00:12:18分钟 |
第12节完全分布式搭建(上)00:26:30分钟 |
第13节完全分布式搭建(下)00:08:00分钟 |
第14节通过hadoop自带的demo运行单词统计00:09:03分钟 |
第15节写一个sh脚本，可以通过一台机器控制多台机器00:16:15分钟 |
第16节hadoop常用的命令简单介绍00:05:55分钟 |
第17节maven的安装00:13:26分钟 |
第18节maven的使用时出现的问题以及解决问题方法00:02:04分钟 |
第19节MAPREDUCE 示例编写及编程规范00:15:22分钟 |
第20节安装时间同步工具，让所有电脑进行同步00:09:55分钟 |
第21节Hive简介和工作流程00:09:42分钟 |
第22节Mysql的安装，centos7安装mysql注意点00:12:45分钟 |
第23节安装Hive,并且使用Hive做一个小案例00:31:15分钟 |
第24节把txt文件的数据导入到Hive表中00:07:20分钟 |
第25节Flume采集系统结构图00:07:40分钟 |
第26节Flume的安装部署和实战00:35:15分钟 |
第27节sqoop数据迁移和安装00:08:22分钟 |
第28节sqoop数据从hadoop里面导入到mysql里面00:07:35分钟 |
第29节sqoop数据从mysql里面导入到hadoop里面00:14:39分钟 |
第30节Azkaban介绍和安装00:14:03分钟 |
第31节Azkaban创建SSL配置和配置文件00:15:57分钟 |
第32节Azkaban实战通过5个不同场景介绍原理00:34:21分钟 |
第33节电视采集项目流程篇之通过linux日志收集数据到hdfs上面00:38:42分钟 |
第34节电视采集项目流程篇之通过MAPREDUCE 把收集数据进行清洗00:19:01分钟 |
第35节电视采集项目流程篇之清洗数据绑定到hive表中（上）00:03:27分钟 |
第36节电视采集项目流程篇之清洗数据绑定到hive表中（下）00:17:03分钟 |
第37节电视采集项目流程篇之根据hive绑定数据统计计算保存到hive表中00:04:46分钟 |
第38节电视采集项目流程篇之把hive表中数据导入到mysql中00:13:13分钟 |
第39节电视采集项目流程篇之安装php环境并且快速熟悉php语法00:09:48分钟 |
第40节电视采集项目流程篇之安装php和echarts进行结合展示图表00:18:23分钟 |
第41节电视采集项目流程篇之Azkaban调度脚本的编写00:32:04分钟 |
第42节电视采集项目流程篇之Azkaban流程调度演示，最终在php页面展示00:05:35分钟 |
第43节hadoop和hive项目怎么平滑的转到spark上面介绍00:05:40分钟 |
第44节Spark介绍和整体架构00:08:04分钟 |
第45节Spark历史和特点00:05:01分钟 |
第46节Spark下载源码和安装和使用00:34:04分钟 |
第47节Spark创建RDD集合00:46:16分钟 |
第48节Spark中transformation的介绍00:25:15分钟 |
第49节Spark中action的介绍00:07:30分钟 |
第50节Spark SQL发展史00:05:26分钟 |
第51节HiveContext00:08:01分钟 |
第52节Spark SQL和DataFrame00:14:56分钟 |
第53节电视采集项目流程如何把hadoop项目平滑过渡到spark项目上00:03:59分钟 |
第54节电视采集项目流程spark篇通过sparksql处理业务逻辑上00:09:21分钟 |
第55节电视采集项目流程spark篇通过sparksql处理业务逻辑下00:13:31分钟 |
第56节电视采集项目流程spark篇通过Azkaban调度spark00:20:22分钟 |
第57节项目总体总结00:07:10分钟 |
第58节简历指导00:09:52分钟 |
下载地址：百度云下载
hadoop+Spark实战基于大数据技术之电视收视率企业项目实战相关推荐
- 基于大数据技术之电视收视率企业项目实战（hadoop+Spark）
基于大数据技术之电视收视率企业项目实战(hadoop+Spark) 网盘地址:https://pan.baidu.com/s/1bEeSB1Y9nmjzctnbJMcBkg 密码:dohg 备用地址( ...
- 【2015年第4期】基于大数据技术的P2P网贷平台风险预警模型
基于大数据技术的P2P网贷平台风险预警模型 林春雨1,李崇纲1,许方圆2,许会泉1,石 磊1,卢祥虎1 (1. 北京金信网银金融信息服务有限公司 北京 100101:2. 国网能源研究院 北京 100 ...
- python应用内部审计_基于大数据技术提升内部审计质量的路径
龙源期刊网 http://www.qikan.com.cn 基于大数据技术提升内部审计质量的路径 作者:彭德锦 方智 来源:<中国内部审计> 2019 年第 07 期 [ 摘要 ] 随着大 ...
- 大数据 智能交通调度_基于大数据技术的智能交通管理模式探析
龙源期刊网 http://www.qikan.com.cn 基于大数据技术的智能交通管理模式探析 作者:熊姗姗 张昆 来源:<科学与信息化> 2020 年第 20 期 摘 要 随着社会的不 ...
- lyuyou消费大数据_基于大数据技术的电力用户行为分析及应用现状
&Automation 基于大数据技术的电力用户行为分析及应用现状 沈玉玲,吕燕,陈瑞峰 ( 上海电气集团股份有限公司中央研究院, 上海 200070 ) 摘 要: 电力行业是大数据技术应用的 ...
- 基于大数据技术的综合数据分析平台
对于企业来说,利用大数据技术建立综合数据分析平台有利于企业内的管理人员更好地掌握企业的实际情况,有效控制企业的经营成本,提高企业的经济效益,同时全面提高企业的管理水平,对企业的发展有非常积极的促进作用 ...
- 【Spark+Hadoop+Hive+MySQL+Presto+SpringBoot+Echarts】基于大数据技术的用户日志数据分析及可视化平台搭建项目
目录 1.项目概述 1.1.项目背景 1.2.项目流程 2.功能需求描述 2.1.系统功能组成 2.2.数据描述 2.3.功能描述 2.3.1.流量概况分析 2.3.2.日新日活分析 2.3.3.交互 ...
- 基于大数据技术的手机用户画像与征信研究
内容提要:手机用户画像是电信运营商实现"数据驱动业务与运营"的重要举措.首先,介绍了手机用户画像过程中对个人隐私保护的方法,然后分析手机用户画像的数据来源与大数据实现技术,最后,通 ...
- 大数据技术之Flink理论到项目
转载自:https://www.javaxxz.com/thread-397416-1-1.html 一.Flink简介 如今的大数据技术应用场景,对实时性的要求已经越来越高.作为新一代大数据流处理框 ...
最新文章
- Python与PHP的区别？
- 【数据平台】关于Hadoop集群namenode format安全事故
- stm32使用rtc到底用LSI还是LSE
- java 缓存清理echo_“kill -9”一时爽，秋后算账泪两行
- 操作系统学习笔记-02-1.2-什么是操作系统
- php数组转化js数组格式化,php数组转换成js数组
- Spring的事务管理难点剖析(5):联合军种作战的混乱
- 关于腾讯云redis 无法外网访问的解决方案
- 关于Easy ui 操作 控件 disable 整理
- [Apple开发者帐户帮助]二、管理你的团队（7）管理服务器帐户
- HAL库的学习 ——FLASH的使用
- OSChina 周三乱弹 —— 我在 if 里，你却在 else
- 在哪里能学到计算机基础知识,电脑基础知识学习
- Oracle 11g实时SQL监控 --好东西不该藏着
- js添加多marker 高德地图_h5高德地图javascript调起app导航定位多个marker
- （7）点云数据处理学习——单摄像头深度估计
- 使用python进行分布分析（算数平均、几何平均、偏度、峰度，绘制直方图），以2022年上半年沪深300指数为例
- unity particle system 粒子系统 制作闪电放电效果
- HFSS（ANSYS Electronics）电路优化两种方法：参数扫描和目标优化
- redis持久化详解