hadoop ubantu环境搭建_ubuntu hadoop学习环境搭建

单机模式

下载hadoop-2.7.3.tar.gz 并解压缩

安装java环境

sudo apt install openjdk-8-jdk

设置环境变量

vim /etc/profile

export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64

export CLASSPATH=.:$JAVA_HOME/lib:$JAVA_HOME/jre/lib:$CLASSPATH

export HADOOP_HOME=/usr/local/hadoop

export PATH=$JAVA_HOME/bin:$JAVA_HOME/jre/bin:$PATH:$HADOOP_HOME/bin

保存文件

source /etc/profile

修改haddoop中的配置文件

/usr/local/hadoop/etc/hadoop/core-site.xml

修改etc/hadoop/hdfs-site.xml

#无密码登录设置

ssh-keygen -t dsa

ssh-copy-id -i ~/.ssh/id_rsa.pub root@172.16.242.100

#格式化hdfs

/usr/local/hadoop/bin/hdfs namenode -format

#启动dfs测试

/usr/local/hadoop/sbin/start-dfs.sh

测试代码

hdfs dfs -mkdir /input

hdfs dfs -put etc/hadoop /input

hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar grep /input /output 'dfs[a-z.]+'

hdfs dfs -cat output/*

hadoop ubantu环境搭建_ubuntu hadoop学习环境搭建相关推荐

使用Linux服务器搭建个人深度学习环境
使用Linux服务器搭建个人深度学习环境环境及所需工具连接服务器创建自己的python环境创建深度学习框架的环境(以tensorflow为例) 测试环境退出环境删除环境 WinSCP的使用 ...
在腾讯云主机上搭建pytorch深度学习环境
在腾讯云主机上搭建pytorch深度学习环境 1.购置[腾讯云主机](https://cloud.tencent.com/? fromSource=gwzcw.234976.234976.234976 ...
基于京东云GPU云主机搭建TensorFlow深度学习环境
TensorFlow是一个开放源代码软件库,用于进行高性能数值计算.借助其灵活的架构,用户可以轻松地将计算工作部署到多种平台(CPU.GPU.TPU)和设备(桌面设备.服务器集群.移动设备.边缘设备等 ...
搭建8086汇编语言学习环境——dosbox
搭建8086汇编语言学习环境资源网盘链接:链接:https://pan.baidu.com/s/1gamz6WYIWLOv5WP9H8L2Ng 提取码:ydvv 复制这段内容后打开百度网盘手机App ...
超详细配置教程，搭建 Windows 深度学习环境
点击上方"视学算法",选择加"星标"或"置顶" 重磅干货,第一时间送达选自 | towardsdatascience 作者 | Ahina ...
搭建实用深度学习环境(Ubuntu16.10+Theano0.8.2+Tensorflow0.11.0rc1+Keras1.1.0)
在动手安装之前,首先要确定硬件,系统,准备安装软件的版本,确定这些软硬件之间是否相互支持或兼容.本文安装的主要环境和软件如下: Ubuntu16.10+CUDA8.0(cudnn5.1,CNMEM)+ ...
学习SQL【1】-搭建SQL的学习环境
最近我在学习SQL,现在就开始记录我的学习过程吧,加油!如果你也想学SQL,希望我的学习记录能对你有所帮助. PostgreSQL是对象关系型数据库管理系统.与MySQL一样,都是世界上广泛使用的开源 ...
超详细配置教程，搭建Windows深度学习环境
点上方蓝色"菜鸟学Python",选"星标"公众号重磅干货,第一时间送到选自towardsdatascience,作者:Ahinand 机器之心编译虽然大 ...
tensorflow环境notebook_Windows电脑深度学习环境超详细配置指南
虽然大多数深度学习模型都是在 Linux 系统上训练的,但 Windows 也是一个非常重要的系统,也可能是很多机器学习初学者更为熟悉的系统.要在 Windows 上开发模型,首先当然是配置开发环境. ...

hadoop ubantu环境搭建_ubuntu hadoop学习环境搭建

hadoop ubantu环境搭建_ubuntu hadoop学习环境搭建相关推荐

最新文章

热门文章

hadoop ubantu环境搭建_ubuntu hadoop学习 环境搭建

hadoop ubantu环境搭建_ubuntu hadoop学习 环境搭建相关推荐

最新文章

热门文章

hadoop ubantu环境搭建_ubuntu hadoop学习环境搭建

hadoop ubantu环境搭建_ubuntu hadoop学习环境搭建相关推荐