学习_011_Hive在大数据分析和大数据仓库中应用实战玩转大数据之Hive应用实战
课程说明
| 项 | 内容 |
|---|---|
| 课程类型 | 视屏教程 |
| 内容类型 | Hive |
| 课程名称 | Hive在大数据分析和大数据仓库中应用实战 / 玩转大数据之Hive应用实战 |
| 地址 | https://edu.csdn.net/course/detail/25043 / https://edu.csdn.net/course/detail/8350 |
| 分钟 | 900 + 600 |
| 费用 | 199 + 39 |
学习心得
原本要先学习 【Hive在大数据分析和大数据仓库中应用实战】的
但原本60元的课程突然涨到200块，有些犹豫
于是过了一遍目录
主要内容一共六章，其中三张讲的都是部署，是运维的工作，对数据处理任务开发没有多少帮助，略过
一章讲的是Hive的元数据、DML和DDL的内容，没有太多新意，前面已经学过
一章讲的是实战操作，即基于具体项目直播写代码，对我帮助不大
最后一章讲的是数据仓库的内容，还有点意思，但主要讲的还是数仓概念，如是什么，做什么，大概组成等，干货太少
基于价格和内容的考虑，投入产出比太低，所以本课程略过
基于同样的考虑，看下一课【玩转大数据之Hive应用实战】
39元的价格，主要内容有六章，没有配置，上来就将应用
一章概述，一章DDL操作，一章DML操作，都是基本内容
一章hvie的join说明，这个有些特别，因为Hive的数据处理任务join是最耗时的，处理不好测试任务的时间估计都要一天
不过当前有spark，不需要继续使用Hive自带的MapReduce，速度会快很多，别作死不会有太大问题
要点就是减少关联前的数据量，能筛选的先筛选掉，然后再关联，能用中间表尽量用中间表
一章是Hive函数与UDF的使用说明
Hive函数百度即可
UDF函数有java和Python两种，java的麻烦些，可以处理很复杂的问题，Python简单，绝大多数情况下都够用，真到了PythonUDF处理不了的时候，也别写函数了
最后一章是JDBC编程和Hive常用调优
JDBC编程是通过Hive直接连接MYSQL之类的数据库，Hadoop生态圈有太多同步数据的工具，一般情况下用不到
Hive的调优直接百度，有太多资料，如https://www.iteye.com/blog/daizj-2289981
综上所述，以上两个课程不再学习，一是钱的问题，二是内容真的不咋地。虽然知识无价，但钱是有限的
学习_011_Hive在大数据分析和大数据仓库中应用实战玩转大数据之Hive应用实战相关推荐
- python运用在大数据中精准生活_大数据分析技术在生活中的广泛应用
段雯琼++薛然++任亚丽 摘 要 文章介绍了大数据技术的即时性.准确性和预测性,并将大数据技术与公共交通.医药领域.移动通信网络优化相结合,从而方便了人们的生活,提高了人们的生活质量. [关键词]大数 ...
- clickhouse hadoop_大数据分析之解决Hadoop的短板，实时大数据分析引擎ClickHouse解析...
本篇文章探讨了大数据分析之解决Hadoop的短板,实时大数据分析引擎ClickHouse解析,希望阅读本篇文章以后大家有所收获,帮助大家对相关内容的理解更加深入. 一.背景 提到大数据不得不提Hado ...
- 大数据分析如何在Python中生成FiveThirtyEight图
大数据分析如何在Python中生成FiveThirtyEight图?如果你阅读大数据分析文章,则可能已经迷失了FiveThirtyEight的内容.自然,他们的出色可视化使你印象深刻.你想制作自己的出 ...
- 【大数据分析专业毕设之基于python的手机销售大数据分析可视化系统】
[大数据分析专业毕设之基于python的手机销售大数据分析可视化系统] https://b23.tv/FKuPbsv flask web框架,数据使用requests模块爬取https://www.j ...
- 大数据分析必不可少之数据仓库
数据分析过程的主要活动由识别信息需求.收集数据.分析数据.评价并改进数据分析的有效性组成. 数据仓库的目的是构建面向分析的集成化数据环境,为企业提供决策支持(Decision Support).数据仓 ...
- 《Spark大数据分析：核心概念、技术及实践》大数据技术一览
本节书摘来自华章出版社<Spark大数据分析:核心概念.技术及实践>一书中的第1章,第1节,作者穆罕默德·古勒(Mohammed Guller)更多章节内容可以访问云栖社区"华章 ...
- 大数据分析在医疗保健行业中的应用
医疗保健中的大数据分析不再只是未来的一瞥. 医疗物联网和AI技术的发展已接近为临床研究和服务带来真正数字化转型的边缘.连接的医疗设备旨在改变患者数据的汇总,存储和利用方式.此外,人工智能将自身确立为医 ...
- 大数据分析BI工具：帆软、Smartbi与神策数据的对比
随着大数据技术与物联网.云计算.人工智能等新技术的相互融合渗透,多技术融合的新应用正在不断涌现,大数据已广泛应用于各个领域.我国大数据产业发展快速增长,产业规模不断扩大,产业链条加速完善,企业实力不断 ...
- Python数据分析高薪实战第十天 数据绘图进阶与实战
24 图像的脊柱.注解和图例:如何画出更专业的图表? 前面两节课,我们学习了主流的几种 matplotlib 的图形形式,主要包括折线图.散点图.直方图.条形图和饼图.现在我们已经可以画出样式比较多的 ...
- 大数据分析哪款软件好用？如何进行大数据分析
Minitab Express mac版是Macos上一款数据分析统计软件,用户录入数据后就可以进行数据的统计和分析工作了,拥有速度快.数据准确的特点,并且支持将数据输出保存为常用格式. Minita ...
最新文章
- Aizu - 0033 Ball
- 直线段检测算法（LSD：a Line Segment Detector）
- java+++多数据源配置,Spring Cloud + Mybatis 多数据源配置
- 8个树莓派超级计算机_6 个可以尝试的树莓派教程
- 创建python虚拟环境
- python实现完整的求解给定列表中所有的平衡点问题，是所有的平衡点
- 四象限法推导lm曲线_数据分析四象限法详解
- 微擎支付返回商户单号_扫码枪轻轻一扫，瞬间扣款，支付背后的原理原来这么简单...
- VDI、IDV、VOI、RDS四种类型云桌面的区别
- group by 如何自定义规则分组，合并分组
- 如果有一天我老无所依，请把我埋在，新疆的田野上
- 数据运营-计算留存率和转化率（漏斗分析Python）
- openssl自签名ca证书,以及签发服务端/客户端证书
- Seata分布式事务控制整合Mybatis-Plus导致事务控制失效
- DOCKER BUILD失败：ERROR CHECKING CONTEST: NOT FOUND OR EXCLUDED BY .DOCKERIGNORE.
- 如何判断点是否在凸多边形内部（用于碰撞检测）
- 迪克斯特拉(总权重最小路径)
- 大家好，我就是区块链本人。今天，我要给你们介绍我的家族……
- Ubuntu安装 Realtek R8125 驱动
- ABB 510变频器配合MCGS实现恒压供水控制程序 比起单变频器实现恒压供水，配合触摸屏可以让数据更加直观