Hadoop使用伪分布式的搭建
安裝jdk
vi /etc/profile
export JAVA_HOME=
PATH=$PATH:$JAVA_HOME/bin
设置免密钥登录(本机)
ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
hadoop.tar.gz 到服务器,解压到指定的文件夹
vi /etc/profile
JAVA_HOME=/opt/module/jdk1.7.0_75
export HADOOP_PREFIX=/opt/module/hadoop-2.6.5
PATH=/usr/local/sbin:/usr/local/bin:/sbin:/bin:/usr/sbin:/usr/bin:/root/bin:$JAVA_HOME/bin:$HADOOP_PREFIX/sbin:$HADOOP_PREFIX/bin
配置hadoop的环境变量 配置sbin和bin
hadoop-env.sh设置
export JAVA_HOME=/opt/module/jdk1.7.0_75
core-site.xml
<property><name>fs.defaultFS</name><value>hdfs://note01:9000</value>
</property>
<property><name>hadoop.tmp.dir</name><value>/var/sxt/hadoop/local</value>
</property>
设置linux的hosts的目录 192.168.18.100 note01 配置映射关系
hdfs-site.xml
<property><name>dfs.replication</name><value>1</value>
</property>
<property><name>dfs.namenode.secondary.http-address</name><value>note01:50090</value>
</property>
默认副本数是3,这里伪分布式设置为1即可
vi slaves (datanode节点)
将原来的localhost修改为note01
格式化 namenode
hdfs namenode -format
启动
start-dfs.sh
查看服务进程启动了么? jps
外部访问,确认防火墙关闭
创建文件夹
hdfs dfs -mkdir /user
查看文件夹下的目录
hdfs dfs -ls /user
上传文件
hdfs dfs - - put fileName[ 本地文件名 ] PATH 【hdfs 的相对文件路径】
显示文件夹的大小
hdfs dfs -du [-s][-h]URI[URI ...]
删除
hdfs dfs - rm - r
复制
hdfs dfs -cp [-f][-p|-p[topax]]URI[URI...]<dest>复制文件(夹),可以覆盖,可以保留原有权限信息
伪分布式最终上传路径
自定义block的大小
hdfs dfs 回车 这里英文是自定义文件的大小
生成1w行的文件
for i in `seq 100000`;do echo "hello hello hadoop $i" >> test.txt;done
上传文件
设置偏移量为1M 1024*1024=1048576
上传时
文件被分割成三块
具体进入官网点击learn
查看
没有配置密钥
单独启动或者停止namenode/datanode或者secondarynamenode start/stop
hadoop-daemon.sh stop namenode
查看日志
cd /opt/module/hadoop-2.7.2/logs/
HDFS常用的命令
批量的创建文件夹
hdfs dfs -mkdir -p /user/input
进入网页访问,出现user,进去就是input
hdfs dfs -put wcinput/wc.input /user/input
上传文件 之前已经写好的wcinput/wc.input
hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar wordcount /user/input/ /user/output
执行下,访问主页出现output的目录,并且目录下有_SUCESS标记和part-r-00000
dfs dfs -cat /user/output/part-r-00000
下载到本地
hadoop fs -get /user/output/part-r-00000 ./
远程删除
hdfs dfs -rmr /user/output //-rm -r
查看目录结构
hadoop fs -lsr /[root@testnote01 hadoop-2.7.2]# hadoop fs -lsr /
lsr: DEPRECATED: Please use 'ls -R' instead.
drwxr-xr-x - root supergroup 0 2018-11-02 07:53 /user
drwxr-xr-x - root supergroup 0 2018-11-02 07:41 /user/input
-rw-r--r-- 1 root supergroup 68 2018-11-02 07:41 /user/input/wc.input[root@testnote01 hadoop-2.7.2]# hadoop fs -ls /
Found 1 items
drwxr-xr-x - root supergroup 0 2018-11-02 07:53 /user
Hadoop使用伪分布式的搭建相关推荐
- Hadoop入门基础教程 Hadoop之伪分布式环境搭建
伪分布式模式即单节点集群模式,所有的守护进程都运行在同一台机器上.这种模式下增加了代码调试功能,可以查看内存.HDFS文件系统的输入/输出,以及与其他守护进程交互.以Hadoop用户远程登录K-Mas ...
- 手把手教你搭建Hadoop生态系统伪分布式集群
Hello,我是 Alex 007,一个热爱计算机编程和硬件设计的小白,为啥是007呢?因为叫 Alex 的人太多了,再加上每天007的生活,Alex 007就诞生了. 手把手教你搭建Hadoop生态 ...
- Hadoop单机和伪分布式环境搭建
hadoop环境搭建 1.三个环境 单机.伪分布式.分布式 2.三个分支 apache版本(Apache基金会) cdh版本(cloudera公司) ...
- Hadoop入门基础教程 Hadoop之完全分布式环境搭建
上一篇我们完成了Hadoop伪分布式环境的搭建,伪分布式模式也叫单节点集群模式, NameNode.SecondaryNameNode.DataNode.JobTracker.TaskTracker所 ...
- Hadoop2.2.0伪分布式环境搭建(附:64位下编译Hadoop-2.2.0过程)
Hadoop2.2.0伪分布式环境搭建: 写在前面:Hadoop2.2.0默认是支持32位的OS,如果想要在64位OS下运行的话,可以通过在64位OS下面编译Hadoop2.2.0来实现,编译的操作步 ...
- HDFS伪分布式环境搭建-很不错
HDFS伪分布式环境搭建 原创 ZeroOne01 2018-03-24 19:51:20 评论(0) 655人阅读 HDFS概述及设计目标 什么是HDFS: 是Hadoop实现的一个分布式文件系统( ...
- Hadoop单机伪分布式安装(完整版)
在学习Hadoop时,我发现网上的各种安装的资料要不不全,要不前后不匹配(比如有的是伪分布式,有的是完全分布式).此篇文章,我总结了身边的同学在安装Hadoop时遇到的毛病,在前面安装配置环节,尽可能 ...
- 胖虎的Hadoop笔记——Hadoop的伪分布式部署
胖虎的Hadoop笔记--Hadoop的伪分布式部署 本博客用于Hadoop大数据企业课笔记记录.第三步 一.VMware安装和创建虚拟机 1.VMware安装 安装包下载:https://pan.b ...
- Hadoop单机伪分布式安装详解
文章目录 写在开头的话 前提环境准备 配置JAVA环境 将jdk安装包传输至你的Linux宿主机中 操作jdk安装包,然后配置java环境 配置ssh免密登录 安装Hadoop,及其hadoop配置 ...
最新文章
- 学习python(五)
- mysql binlog 多少,MySQL binlog后面的编号最大是多大?
- 深入理解 Java内存模型
- 移动应用开发者正饱受折磨
- 单例模式volatile
- ECMAScript 6新特性介绍
- IDEA回到光标的上一次位置
- PAT甲级真题1097 链表重复数据删除(简单解法)
- 计算机课题推荐人意见,课题推荐人意见
- Arduino Uno 使用 人体红外传感器(HC_SR051)实现 人体感应灯
- Yii2 中 checkboxlist 复选框 默认选中
- 如何把普通的五比四的照片做成5寸照片
- Idea配置项目的tomcat时候没有Artifacts的最全解决办法
- 如何在Debian 9上安装和使用Docker
- JDK14环境变量配置,JDK版本切换(Win10)
- webview卡顿_分享三个小技巧,微信卡顿的人千万不要错过哦
- 如何使用HTML进行一个简单的图文混排
- 树莓派4 安装OPENCV3全过程(各种踩坑和报错)
- Silverlight 简介
- Linux查看U盘的Vid,CheckUDisk(查看USB的VID/PID/厂商信息)v5.4