单机版 hadoop 云平台（伪分布式）搭建 统计单词
1.首先需要配置java环境
CentOS安装java jdk教程
2.上传hadoop到/usr/local目录 并解压
cd /usr/local
ls
linux上传下载文件教程
3.配置hadoop环境目录
vim /etc/profile
#java environment
export JAVA_HOME=/usr/local/jdk1.8.0_151
export JRE_HOME=/usr/local/jdk1.8.0_151/jre
#export PATH=$PATH:/usr/local/jdk1.8.0_151/bin
export CLASSPATH=./:$JAVA_HOME/lib:$JRE_HOME/lib#hadoop environment
export HADOOP_HOME=/usr/local/hadoop-2.8.4
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:
4.在hadoop配置文件 配置java jdk
vim /usr/local/hadoop-2.8.4/etc/hadoop/hadoop-env.sh
source /usr/local/hadoop-2.8.4/etc/hadoop/hadoop-env.sh
# The java implementation to use.
export JRE_HOME=/usr/local/jdk1.8.0_151
5.查看
which hadoop
hadoop version
6.统计单词
这里统计的是 /root/input/a.txt 文件，并且将结果存放到 /root/output 目录
hadoop jar /usr/local/hadoop-2.8.4/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.8.4.jar wordcount /root/input/a.txt /root/output
7.查看结果
cd /root/output
如需转载请标明出处,有兴趣可以加q群交流779133600
单机版 hadoop 云平台（伪分布式）搭建 统计单词相关推荐
- Hadoop伪分布式搭建（本人新手，欢迎大家多多指导和关照）
1.创建hadoop账户,创建用户的home目录并设置密码.(useradd -m hadoop ) 2.本步骤可以不做(我是为了方便,给hadoop赋予了root权限)(vi /etc/sudoer ...
- Hadoop系列之九：Hadoop集群伪分布式模式的实现详解
1.Hadoop依赖软件 Hadoop基于Java语言开发,因此其运行严重依赖于JDK(Java Development Kit),并且Hadoop的许多功能依赖于Java 6及以后的版本才提供的特性 ...
- Spark伪分布式搭建与SparkYarn搭建
Spark伪分布式搭建教程(Standalone:Master+Slave) 分析: 1.配置好IP 2.修改好主机名 3.做好IP映射 4.关闭防火墙 5.安装好Java(请参考Linux-Java ...
- hase伪分布式搭建过程及说明
hase伪分布式搭建过程及说明 HBASE简介 hbase是一个高可靠性.高性能.面向列.可伸缩的分布式存储系统,利用hbase技术可在廉价pc上搭建 起大规模结构化存储集群.hbase利用hadoo ...
- HBase伪分布式搭建
伪分布式一般都是用在测试环境中使用 前提:Java环境配置 HBase伪分布式搭建步骤: 1. 上传并解压HBase的jar包,并把解压后的文件移动到/opt/software目录 2. 配置环境变量 ...
- 风生水起才知天高云淡 - 浮云贴 - 百万商业圈云平台之分布式集群功能介绍
风生水起才知天高云淡 - 浮云贴 - 百万商业圈云平台之分布式集群功能介绍 百万商业圈云平台之分布式集群(BDC)即将开发完毕 目标: 百万商业圈云平台之分布式集群 简称:BDC 全称:Bwsyq.D ...
- Hadoop单机模式和伪分布式搭建教程CentOS
版权声明:本文为博主原创文章,欢迎转载,请注明地址. 目录(?)[-] 准备工作 1 软件准备 2 创建hadoop用户 3 配置SSH无密码访问 4 安装JAVA环境 单机模式安装 伪分布式安装 首 ...
- Hadoop单机和伪分布式环境搭建
hadoop环境搭建 1.三个环境 单机.伪分布式.分布式 2.三个分支 apache版本(Apache基金会) cdh版本(cloudera公司) ...
- Hadoop伪分布式搭建
1.到hadoop官网下载hadoop3.0,解压后用xftp复制到ubuntu中 2.配置hadoop的环境变量 在/etc/profile文件中添加如下语句: exportHADOOP_HOME= ...
最新文章
- jquery单选框radio绑定click事件实现和是否选中的方法
- 2. 托管对象数据模型的基本知识（Core Data 应用程序实践指南）
- AOJ 558 Cheese(bfs)
- 洛谷 2719 搞笑世界杯
- Go底层剖析 | 好书中秋赠送中
- .NET Core 3.0 Preview 6 发布，新增用于 ARM64 的 Alpine Docker 镜像
- python---购物扩展
- 技嘉主板更新版BIOS
- Linux必会100个命令（三十六）gzip
- 如何在透视表中同时显示客户编码和客户名称
- 适用于ARM开发板的Armbian Linux22.08发布
- xp设置允许客户端远程连接_远程删除Windows XP客户端中的用户配置文件
- 华易记账宝 v6.5
- Tableau实战 Tableau官网各版块访问情况（三）页面停留访问人数交叉分析
- 平面构成之形式美与要素
- 如何获取PDF修改权限并编辑文档？
- 电脑文件丢失了怎么恢复？2021最新教程汇总
- linux实验二文件与文件夹操作
- 畅购商城canal依赖（超级简单，不会你来kan我！！）
- 计算机发展历史介绍英文版,计算机发展历史英文PPT The history of computer