Hadoop大数据实战权威指南
第一篇 大数据的基本概念和技术
第1章 绪论
第2章 Hadoop大数据关键技术
第二篇 Hadoop大数据平台搭建与基础应用
第3章 Linux操作系统与集群搭建
第4章 HDFS安装与基本应用
第5章 MapReduce与YARN
第6章 Hive和HBase的安装和应用
第7章 Sqoop和Kafka
第8章 Spark集群安装与开发环境配置
第9章 Spark应用基础
第三篇 大数据处理与项目开发
第10章 交互式数据处理
10.1 数据预处理
10.1.1 查看数据
less
wc -l
head
10.1.2 数据扩展
增加年、月、日、小时
10.1.3 数据过滤
字段为空
10.1.4 数据上传
hadoop fs -mkdir -p
hadoop fs -ls
hadoop fs -put
10.2 创建数据仓库
10.2.1 基本命令
10.2.2 分区表
10.3 数据分析
10.3.1 基本统计
count(*)
count(distinct (uid))
avg()
sum(if(uids=2,1,0))
group by
order by desc
limit 数量
having cnt > 2
10.3.2 用户行为分析
where rank < 11
10.3.3 实时数据
第11章 协同过滤推荐系统
推荐算法
人口统计学、内容、协同过滤
基于用户和基于物品
第12章 销售数据分析系统
12.1 数据采集
- WebCollector 简介与 快速入门
12.2 数据存储
MySQL -Sqoop-> HBase
import Tsv
12.3 数据计算
关键点1：
列式存储&基于KV的查询
关键点2：
Phoenix 中间件 - 构建在HBase上的一个SQL层
- Phoenix:Put the SQL back in NoSQL
- wxPython Project Phoenix
12.4 数据分析和展示
仪表盘 - 电商平台数、收集总量、数据总条数
饼图 - 评论来源
曲线 - 用户会员等级和销售倾向性
直方图 - 用户购买 印象
地理信息 - 京东产品地区销售来源
Hadoop大数据实战权威指南相关推荐
- 【备忘】【No2】2016年最新云计算视频教程hadoop大数据实战开发
本资料非常适合需要往大数据方向发展的同学,分10个阶段学习,如果 您是有基础的同学可以跳过基础阶段. 第一阶段:大数据技术-Java基础 第二阶段:大数据技术-linux基础 第三阶段:大数据技术-S ...
- Hadoop大数据零基础高端实战培训系列配文本挖掘项目
<Hadoop大数据零基础高端实战培训系列配文本挖掘项目(七大亮点.十大目标)> 课程讲师:迪伦 课程分类:大数据 适合人群:初级 课时数量:230课时 用到技术:部署Hadoop集群 涉 ...
- 《Python Spark 2.0 Hadoop机器学习与大数据实战_林大贵(著)》pdf
<Python+Spark 2.0+Hadoop机器学习与大数据实战> 五星好评+强烈推荐的一本书,虽然内容可能没有很深入,但作者非常用心的把每一步操作详细的列出来并给出说明,让我们跟着做 ...
- spark python教程_Python Spark 2.0 Hadoop机器学习与大数据实战 完整pdf_IT教程网
资源名称:Python Spark 2.0 Hadoop机器学习与大数据实战 完整pdf 第1章 Python Spark机器学习与Hadoop大数据 1 第2章 VirtualBox虚拟机软件的安装 ...
- Hadoop大数据零基础高端实战培训
Hadoop大数据零基础高端实战培训系列配文本挖掘项目(七大亮点.十大目标) 课程讲师:迪伦 课程分类:大数据 适合人群:初级 课时数量:330课时 用到技术:部署Hadoop集群 涉及项目:京东商城 ...
- Hadoop大数据零基础高端实战培训视频
<Hadoop大数据零基础高端实战培训系列配文本挖掘项目(七大亮点.十大目标)> 课程讲师:迪伦 课程分类:大数据 适合人群:初级 课时数量: 300课时 用到技术:部署Hado ...
- 大数据架构师指南 pdf_ZTE十年大数据架构师教你：高效搭建企业IT系统架构，超越CTO...
前言 如果你是一名IT工程师,首席技术官( CTO)希望你在一周内提交一份公司未来IT系统基础架构的初步建议;如果你是一位IT营销人员,客户需要你在一周内向他汇报未来大数据系统的大致技术方向... . ...
- 《R与Hadoop大数据分析实战》一1.6 HDFS和MapReduce架构
本节书摘来自华章出版社<R与Hadoop大数据分析实战>一书中的第1章,第1.6节,作者 (印)Vignesh Prajapati,更多章节内容可以访问云栖社区"华章计算机&qu ...
- 大数据基础——Hadoop大数据平台搭建
文章目录 前言 Hadoop大数据平台搭建 一．Hadoop原理和功能介绍 二．Hadoop安装部署 三．Hadoop常用操作 总结 前言 分布式机器学习为什么需求大数据呢?随着海量用户数据的积累,单 ...
- 大数据实战之Spark-Flume-Kafka-idea-Mysql实时处理数据并存储
大数据实战之Spark-Flume-Kafka-idea-Mysql实时处理数据并存储 数据流的处理 实时数据的模拟 需求分析 设计流程 流程图 Spark与hadoop部分: flume部分: ka ...
最新文章
- 哆啦a梦简单图画python编程_[python]画哆啦A梦,Python,绘制
- MATLAB 未找到支持的编译器或 SDK。您可以安装免费提供的 MinGW-w64 C/C++ 编译器
- Vue实现仿音乐播放器6-实现新歌速递与swiper轮播图切换
- 破解SQLSERVER存储过程的加密
- Where is ABAP Netweaver HTTP 304 not modified set
- JavaScript判断浏览器类型及版本(新增谷歌的Chrome)
- 软件工程----9软件实现
- 什么是 NoSQL 数据库、NoSQL 与 SQL 的区别
- stm32外部中断_STM32学习笔记 | 电源管理及低功耗设计要点
- java堆和非堆_java 堆与非堆 内存
- ON1 photo raw 2021（ps/lr滤镜插件) 下载及安装
- fis php,在node.js上安装fis后显示fis不是内部命令，安装fis的环境变量配置问题
- 微型计算机 持续更新,2020年南京邮电大学810《微机原理及应用》硕士研究生入学考试大纲...
- 汽车的盲区在哪里？这几张图让你一眼看懂
- 可以在电脑上在线录制视频GIF的软件，不需要下载安装
- Flutter实现app自动升级
- 用html制作四行四列的表格,HTML表格元素
- Oracle DB 数据库维护
- 左与AOL合并 右牵手谷歌 雅虎对抗微软收购
- 驾考笔记：科目二考试满分攻略——超详细的点位细节梳理，各种意外情况处理方案整理