大数据之-Hadoop_组成---大数据之hadoop工作笔记0013

然后我们再来看看这个hadoop的组成吧

可以看到namenode相当于目录,而datanode才是武功秘籍

要知道hadoop,由namenode:存元数据

datanode:存数据

secondary namenode 用来监控hdfs状态的辅助后台程序,每隔一段时间获取hdfs元数据的快照.

用来备份namenode元数据.

然后我们再去看yarn的功能,去看看yarn的组成

主

大数据之-Hadoop_组成---大数据之hadoop工作笔记0013相关推荐

大数据之-Hadoop_大数据技术生态体系---大数据之hadoop工作笔记0014
然后我们来看看,既然说到大数据,我们来看看他的整个的技术体系. 可以看到,首先最底层是数据来源层. 可以看到我们的数据,可以来至于 1.数据库,结构化的数据,比如订单信息 2.还有文件日志,半结构化的 ...
大数据之-Hadoop_推荐系统框架图---大数据之hadoop工作笔记0015
然后我们来看一下推荐系统的架构是什么样子的, 比如你购买完淘宝的商品以后他就会自动的给你推荐类似的产品. 从上面可以看到,比如我要买海狗人参丸,那么当我们点击这个商品,会给nginx发送请求,然后这 ...
大数据之-Hadoop_环境搭建_JDK安装---大数据之hadoop工作笔记0017
然后我们再去安装一下jdk的环境,首先,我们说明一下我们的目录规则我们在opt下,放所有的软件和解压后的软件,这里 software ,我们放所有的tar包,然后解压后的文件我们放到module中去 ...
大数据之-Hadoop_环境搭建_虚拟机准备---大数据之hadoop工作笔记0016
然后我们来安装虚拟机环境首先我们要准备一个centos的虚拟机这里我用的是,桌面版的. 我们如果以前有做好的,可以克隆以前的. 点击下一步
大数据之-入门_Hadoop是什么---大数据之hadoop工作笔记0008
hadoop 是基础架构,hive spark hbase都是基于hadoop才去实现的. 可以看到hadoop是一个生态圈,里面有hbase,bigtop, zookeeper,hama,solr, ...
大数据之-入门_大数据部门组织结构(重点)---大数据之hadoop工作笔记0007
hadoop,flume,kafka,hbase,spark等需要去采集数据,这里分为开发和运维,开发是去搭建这个平台,运维保证他们正常运行这里最好,把他们的源码都,研究明白.最好还能改改,从新把源 ...
大数据之-入门_大数据部门业务流程分析---大数据之hadoop工作笔记0006
回流用户数,就是二次消费,三次消费的..这样的. 可以看到上面就是大数据部门的业务流程就是上面这样了.产品人员,提需求,数据部门做数据,然后再进行数据可视化展示. 技术交流QQ群[JAVA,C++, ...
大数据之-Hadoop之HDFS_hadoop集群中的安全模式_原理---大数据之hadoop工作笔记0074
我们说namenode启动的时候,会把fsimage,载入内存,然后执行edits中的各项操作,这个操作做完以后,内存中就有了, 文件系统元数据的镜像了,这个时候就去再创建一个新的Fsimage文件和 ...
大数据之-Hadoop之HDFS_合并FsImage和Edits文件_之CheckPoint时间设置---大数据之hadoop工作笔记0072
我们说,secondarynamenode会定时的,或者说等edits文件满了以后就会把, namenode节点的fsimage文件以及edits文件滚动出来一版,然后copy到secondaryna ...

大数据之-Hadoop_组成---大数据之hadoop工作笔记0013

大数据之-Hadoop_组成---大数据之hadoop工作笔记0013相关推荐

最新文章

热门文章