网络资源(1) - Hadoop视频
2014_08_23:
hadoop03c_分布式文件系统HDFS
http://v.youku.com/v_show/id_XNDgwNjg1OTY0.html?f=18604686
2014_08_27
hadoop03a_分布式文件系统HDFS,大数据存储实战
http://v.youku.com/v_show/id_XNDgwNjgwMDU2.html?f=18604686
./bin/hadoop
jobtracker(端口): 50030
namenode(端口): 50070
2014_08_29
hadoop07b_HBase体系架构与安装
http://v.youku.com/v_show/id_XNDgwNzE2MzU2.html?f=18604686
shell命令(hql): help, list, status, help, create, put, get, enable, disable...
API: for java develop.
hadoop07c_HBase体系架构与安装
http://v.youku.com/v_show/id_XNDgwNzE3Nzky.html?f=18604686
什么情况下使用hbase?
表设计跟查询有关,数据分析主题确定,查询语句确定才能设计表。应用场景不固定先不用hbase.
当数据分析的主题,场景已经固化,并且用关系型数据库已经不能胜任,PC提升到小型机,仍然不能解决瓶颈,可以考虑将关系型数据库转成hbase。高速插入,同时有简单key,value查询,不能在非时间戳上order by. 大量发生,又不能分布式处理。
场景一:浏览历史,需要实时结果,不能使用缓存。
如何分不出去?为了利用集群,可以采取类似reverse key,增加随机性。另外一种方法是算hash值,附加到rowid后边,也可以增加随机性。
场景二:商品推荐,浏览本书的人还浏览了这些东西
hadoop07d_HBase体系架构与安装
http://v.youku.com/v_show/id_XNDgwNzI1MDIw.html?f=18604686
辅助索引?不仅在时间戳的列上。
建立辅助表(索引表)。比如主表为学生表,行健为学号,列族为学生,下边的列分别是身份证号,姓名...
建立索引表,行健为省份证号,列族和列为学号。这样可以得到学号和省份证号的组合查询。
手动创建和维护索引。通过牺牲自动化,达到高性能处理大数据量的目的。
复合行健? 数据仓库中分片和钻取,不是独立的两个列,而是依次的。userid-messageid组装为行健。也可以通过范围查询。(12345-****-****, 123456),因为-的ascii码小于6.
2014_08_31
hadoop01a_Hadoop的源起与体系介绍
http://v.youku.com/v_show/id_XNDgwNjU0Mjc2.html?f=18604686
hadoop01b_Hadoop的源起与体系介绍
http://v.youku.com/v_show/id_XNDgwNjU1NDEy.html?f=18604686
索引倒排和分词,帮助实现原本需要全表扫描的where name like '%demoname%'的查询。
Google Page Rank的计算模型:
G = aS + (l-a)/n * U, S是链接矩阵,U是一个全1矩阵。
hadoop01c_Hadoop的源起与体系介绍
http://v.youku.com/v_show/id_XNDgwNjU4MDky.html?f=18604686
Namenode(and secondary namenode):
JobTracker:运行在主节点,用来处理用户提交的作业,切割为小任务,就近运行,小任务被分配到数据所在的节点运行,同时监控task。
Datanode:
Tasktrack:一个tasktacker可以启动多个JVM,并行运行mapreduce任务。
转载于:https://www.cnblogs.com/thlzhf/p/3931589.html
网络资源(1) - Hadoop视频相关推荐
- 炼数成金hadoop视频干货03
视频地址:http://pan.baidu.com/s/1dDEgKwD 着重介绍了HDFS 运行了示例程序wordcount,自己也试了一遍(用的伪分布式) 1.建立数据(和讲师的操作有些不一样,不 ...
- 炼数成金hadoop视频干货06-10
视频地址:http://pan.baidu.com/s/1dDEgKwD 第六课统讲了hadoop几个子项目和HBase,第七课还是讲的HBase 第八课讲了PIG 第九课讲了Hive和Zookeep ...
- 网络资源(4) - extJS视频
2014_08_24 http://v.youku.com/v_show/id_XMjk2ODc0MjA4.html?f=7183617 extJS视频教程04--ExtJS框架入门 转载于:http ...
- 网络资源(9) - TDD视频
2014_08_26 http://v.youku.com/v_show/id_XMzI4Mzk1MjQ4.html TDD测试驱动开发 转载于:https://www.cnblogs.com/thl ...
- 网络资源(7) - JAX-WS视频
2014_08_25 http://v.youku.com/v_show/id_XNjMzNDcyMTk2.html 基于JAX-WS编程模型的WebService 1. @WebService注释类 ...
- 黑马hadoop视频分享
链接:http://pan.baidu.com/s/1i3TqHBv 密码:7y18 失效后可以联系我,2278385028
- Hadoop中RPC协议小例子报错java.lang.reflect.UndeclaredThrowableException解决方法
最近在学习传智播客吴超老师的Hadoop视频,里面他在讲解RPC通信原理的过程中给了一个RPC的小例子,但是自己编写的过程中遇到一个小错误,整理如下: log4j:WARN No appenders ...
- (第7篇)灵活易用易维护的hadoop数据仓库工具——Hive
摘要: Hive灵活易用且易于维护,十分适合数据仓库的统计分析,什么样的结构让它具备这些特性?我们如何才能灵活操作hive呢? 博主福利 给大家推荐一套hadoop视频课程 [百度hadoop核心架构 ...
- Hadoop开发 Hadoop视频教程 段海涛老师Hadoop完全攻克Hadoop视频教程 Hadoop开发
最新在学习hadoop .storm大数据相关技术,发现网上hadoop .storm 相关学习视频少之又少,更可恶的是不少机构使用段海涛老师Hadoop视频进行商业买卖,气愤至急,我这里整理了传智播 ...
最新文章
- python中使用socket编程实现图片或者其他文件的传输
- GT Transceiver中的重要时钟及其关系(3)多个外部参考时钟使用模型
- 展开被 SpringBoot 玩的日子 《 二 》 WEB 开发
- php快排,网址快排 快速排名软件 thinkphp快排源码 网站快排程序 百度排名
- mysql 5.0 php_PHP 5.0的新特性
- (转)光照图的理论和实践
- 旋转散点图_聚类分析的结果如何用散点图展示出来?
- Java Mybatis
- Android平台各类恶意软件及病毒概览
- 【chorme插件开发】第三节:开发html的展示类型插件实例
- 草稿-乱-爬虫-post请求数据与Request Payload
- javaweb学习总结七(XML语言作用、语法)
- linux使用iscsi磁盘的几个步骤
- 如何衡量多元线性回归模型优劣
- 智力问答选择题_智力问答题
- CRON 定时任务 在线解析
- NVIDIA 驱动和CUDA下载官网地址
- php实现wav转mp3,求,用PHP实现MP3转WAV后生成波形图的方法
- 现有的评分和排名算法
- C++加速读取和其他加速
热门文章
- 后台启动_Linux系统后台运行应用三板斧
- 软件测试岗需要会什么条件,应聘软件测试岗位需要具备什么条件?
- 命令行删除mysql57_Ubuntu16.04彻底删除MySQL5.7 方法
- 解决Driver/library version mismatch
- 真正的Go编译器与链接器在哪里?
- 数据库笔记04:数据库设计
- 【HDU5156】Harry and Christmas tree,两种离线的做法
- 【BZOJ2038】小Z的袜子,第一次的莫队算法
- 【codevs1073】家族,胡写并查集
- 论文笔记 - 《Deep Learning》(Yann LeCun Yoshua Bengio Geoffrey Hinton) 精典