炼数成金hadoop视频干货03
视频地址:http://pan.baidu.com/s/1dDEgKwD
着重介绍了HDFS
运行了示例程序wordcount,自己也试了一遍(用的伪分布式)
1.建立数据(和讲师的操作有些不一样,不过我相信自己)
2.运行wordcount程序
3.查看结果
(可以看出来,只要没空格,它都看作是一个单词)
接下来介绍了50030和50070查看任务和HDFS状态
......
其中如果想看日志的话除了命令行也可以直接输入
http://localhost:50070/logs/
http://localhost:50030/logs/
查看堆栈信息
http://localhost:50030/stacks
关闭,再也不能修改,说的很绝对,但是是正确的,因为之后的修改是删除重写
其中机架策略看着比较神奇,我知道机架感知的结果,但是不知道以什么策略感知的,或许是上下文、带宽,讲师也不知道,留着后面探索
回收站,跟windows的机理一样,删除了的文件不会马上完全删除。当到一定的容量的时候会自动删除
快照机制,讲师说0.20.2还没实现,以后会实现,也没讲。
介绍了HDFS文件操作包括命令行和API(API是给如Java代码用的)
几个命令行命令
... ...
查看统计信息 hadoop dfsadmin -report
接下来讲了添加新节点方式,不过我觉得他讲的不对或者不全,我查了一下网上,随后详细实验一把再写出来
负载均衡(hdfs存储)
讲师给的截图有点忽悠人
他是在没运行hadoop的情况下运行的这个脚本,真实的情况应该是这样的
刚开始的时候可以把Log4J的日志级别降到Info或者DEBUG,这样显示的信息更多
为什么日志成了hadoop项目中最多的一种?
一次写入,不再改变,只能用于分析
Linux下统计目录下有多少文件命令
ls|wc -l
shuffle过程的作用
1.压缩文件,提高文件传输效率;
2.分担了reduce的一部分工作。
像split、sort这样的工作很多MR程序都要做,所以hadoop把他们分离出来,封装成了一个组件
不必在每个MR程序中自己编写
MR程序的提交或者说任务的提交可以在任何一台集群机器上,不是非得在namenode上
就是说client端可以是datanode、namenode。
启动JVM很浪费时间和资源,所以有了JVM重用
为什么namenode需要格式?
格式化不同于磁盘文件系统的格式化。是初始化元文件系统信息,在相应目录建立current等目录等
hadoop的数据不修改那还要in_use.lock干什么?
给目录上锁,防止目录中内容的并发写冲突
转载于:https://www.cnblogs.com/admln/p/dataguru3.html
炼数成金hadoop视频干货03相关推荐
- 炼数成金hadoop视频干货06-10
视频地址:http://pan.baidu.com/s/1dDEgKwD 第六课统讲了hadoop几个子项目和HBase,第七课还是讲的HBase 第八课讲了PIG 第九课讲了Hive和Zookeep ...
- 炼数成金数据分析课程---8、数据清洗
炼数成金数据分析课程---8.数据清洗 一.总结 一句话总结: 数据分析课程的实质是:介绍库中的函数:介绍py的3个常用的数据分析库(numpy,pandas,scipy)的函数的操作 实例:其实找几 ...
- 炼数成金数据分析课程---16、机器学习中的分类算法(交叉内容,后面要重点看)...
炼数成金数据分析课程---16.机器学习中的分类算法(交叉内容,后面要重点看) 一.总结 一句话总结: 大纲+实例快速学习法 主要讲解常用分类算法(如Knn.决策树.贝叶斯分类器等)的原理及pytho ...
- 炼数成金数据分析课程---17、机器学习聚类算法(后面要重点看)
炼数成金数据分析课程---17.机器学习聚类算法(后面要重点看) 一.总结 一句话总结: 大纲+实例快速学习法 主要讲解常用聚类算法(比如K-means等)的原理及python代码实现:后面学习聚类的 ...
- 炼数成金数据分析课程---7、数据分析简介
炼数成金数据分析课程---7.数据分析简介 一.总结 一句话总结: 我终于知道他们是要做一些什么样的工作了 1.我们导入了数据,是否可以立即进行数据分析? 需要对数据做预处理:比如去除脏数据这些 2. ...
- 炼数成金数据分析课程---13、回归分析
炼数成金数据分析课程---13.回归分析 一.总结 一句话总结: 大纲+实例快速学习法 主要内容是回归分析的原理及编程实现 1.回归分析是什么? 通过建立模型来研究变量之间相互关系的密切程度.结构状态 ...
- python数据内容_炼数成金:Python数据分析内容分享
相信看这篇文章的每一位朋友,都有过努力学习 炼数成金:Python数据分析 这个课程.提升自我的想法, 可是学习是一件非常反人性的事情,大多数人都是晚上想想千条路,早上醒来走原路. 也相信很 ...
- 炼数成金邀请码:YY96
dataguru 炼数成金 邀请码 YY96 学费减免 dataguru 炼数成精 邀请码 YY96 学费减免 炼数成金邀请码,使用邀请码报名课程可以减免50%固定学费哦! http://edu.d ...
- 炼数成金Tensorflow学习笔记之2.2_变量
炼数成金Tensorflow学习笔记之2.2_变量 代码及分析 代码及分析 import tensorflow as tfx = tf.Variable([1, 2]) a = tf.constant ...
最新文章
- 简单探讨TypeScript 枚举类型
- Codeforces Round #112 (Div. 2) E. Compatible Numbers sosdp
- [vue] 你有自己用vue写过UI组件库吗?
- 走进英特尔中国研究院探索创新日:发布最新科研成果与创新策略
- python剑指offer替换空格_《剑指offer》2-替换空格【Java+Python】
- 告知书页面html样式,后院通知编辑页面.html
- 国产高速率CameraLink图像采集卡
- TJA1403状态模式
- 【Windows 10 更新失败】Windows10 升级提示错误代码:0x80070020解决方案
- couchbase 报 The Content of this Observable is already released. Subscribe earlier or tune the Couch
- linux下搭建DNS域名解析服务器
- 交互式图像分割论文合集
- 【DevExpress】 DevExpress.Xpf.Grid.InfiniteGridSizeException
- SharePoint 2010 ——自定义上传页面与多文件上传解决方案
- python 基于pygame实现俄罗斯方块
- UNI-APP在自定义组件中内嵌H5/Html网页,可自定义webview大小,加载不闪屏
- 米2距离感应器的设置问题。无法挂断电话等问题的解决
- tongue读音解析实例
- HIS各模块业务操作流程明白纸
- 基于YOLOv7的芯片表面缺陷检测系统(源码&教程)