hadoop mac和linux,How to Install Hadoop? (On Mac OS,Linux or Cygwin on Windows)
摘要:
How to Install Hadoop?(On Mac OS, Linux or Cygwin on Windows)1)Download hadoop 0.20.0 from http://hadoop.apache.org/mapreduce/releases.html2)Untar the hadoop file:tar xvfz hadoop-0.20.2.tar.gz3)Set the path to java compiler by editing JAVA_HOME parameter in hadoop/conf/hadoop-‐env.sh:Mac OS users can use /System/Library/Frameworks/JavaVM.framework/Versions/1.6.0/HomeLinux users can run "which java" command to obtain the path. Note that the JAVA_HOME variable shouldn't contain the bin/java at the end of path.4)Create an RSA key to be used by hadoop when ssh'ing to localhost:ssh-keygen-t rsa-P""cat~/.ssh/id_rsa.pub >>~/.ssh/authorized_keys5)Do the following changes to the configuration files under hadoop/confcore-site.xml:hadoop.tmp.dirTEMPORARY-DIR-FOR-HADOOP-DATASTOREfs.default.namehdfs://localhost:54310mapred-site.xml:mapred.job.trackerlocalhost:54311hdfs-site.xml:dfs.replication16)Format the hadoop file system. From hadoop directory run the following:./bin/hadoop namenode-format7)Run hadoop by running the following script:./bin/start-all.sh8)Now you can copy some data from your machine's file system into hdfs and do 'ls' command on hdfs:./bin/hadoop dfs–put local_machine_path hdfs_path./bin/hadoop dfs-ls9)At this point you are ready to run a map reduce job on hadoop. As an example, let's run WordCount.jar to count the number of times each word appears in a text file. Put a sample text file on hdfs under 'input'directory. Download the jar file from: http://www.stanford.edu/class/cs246/cs246-‐11-‐mmds/hw_files/WordCount.jarand run the WordCount map-‐reduce job:./bin/hadoopdfs–mkdir input./bin/hadoop dfs–put local_machine_path/sample.txt input/sample.txt./bin/hadoop jar ~/path_to_jar_file/WordCount.jar WordCount inputoutputThe result will be saved on 'output' directory on hdfs.References:http://arifn.web.id/blog/2010/07/29/running-‐hadoop-‐single-‐cluster.htmlhttp://arifn.web.id/blog/2010/01/23/hadoop-‐in-‐netbeans.htmlhttp://www.infosci.cornell.edu/hadoop/mac.htmlhttp://wiki.apache.org/hadoop/GettingStartedWithHadoop
展开
hadoop mac和linux,How to Install Hadoop? (On Mac OS,Linux or Cygwin on Windows)相关推荐
- mac身份不明的开发者_如何在Mac上从“身份不明的开发人员”打开应用
mac身份不明的开发者 macOS has a feature called "Gatekeeper" designed to lock down your Mac, forcin ...
- Linux中安装配置hadoop集群
原文:http://www.cnblogs.com/lijingchn/p/5574476.html 一. 简介 参考了网上许多教程,最终把hadoop在ubuntu14.04中安装配置成功.下面就把 ...
- Linux centos 6配置hadoop 集群搭建笔记教程
一.安装JDK 1.上传jdk-8u121-linux-x64.tar.gz文件到/opt目录 2.解压jdk文件 tar -zxvf jdk-8u121-linux-x64.tar.gz -C /u ...
- Linux伪分布式安装Hadoop
Linux伪分布式安装Hadoop 1. 更新软件列表 hadoop@jeff:~$ sudo apt update 2. 安装vim编辑器 hadoop@jeff:/home/jeff$ sudo ...
- linux 查看hdfs文件,Hadoop之HDFS文件操作
摘要:Hadoop之HDFS文件操作常有两种方式,命令行方式和JavaAPI方式.本文介绍如何利用这两种方式对HDFS文件进行操作. 关键词:HDFS文件 命令行 Java API HDF ...
- Linux系统下的hadoop常用命令
目录 创建目录 查看目录下内容,包括文件名,权限,所有者,大小和修改时间 将本地文件或目录上传到HDFS中的路径 从本地复制文件到hdfs文件系统(与-put命令相似) 将文件或目录从HDFS中的路径 ...
- Hadoop伪分布式配置和搭建,hadoop单机安装,wordcount实例测试,hadoop安装java目录怎么找,问题及问题解决方法
Hadoop伪分布式配置和搭建,hadoop单机安装,wordcount实例测试,hadoop安装java目录怎么找,问题及问题解决方法 环境说明 系统:ubuntu18.04 主机名:test1 用 ...
- 【Hadoop环境搭建】Centos6.8搭建hadoop伪分布模式
阅读目录 概要 章节1:安装java 1.6 章节2:设置ssh无密码登录 章节3:Hadoop的安装(在Hadoop用户下) 章节4:配置Hadoop相关配置文件 章节5:Hadoop启动 章节6: ...
- 《精通Hadoop》:第 1 章 Hadoop 2.X
第 1 章 Hadoop 2.X "没有什么是不能通过搜索引擎或互联网找到的." --埃里克·施密特,谷歌执行主席 在大规模.高并行和分布式计算处理这个行业中,Hadoop实际上是 ...
最新文章
- 知乎「致知计划之科学季」颁奖,创作者分享80万元奖金
- 因为一条SQL,程序员差点被祭天......
- Hdu 2522 hash
- python3中map函数_python3中map()和reduce()函数
- myeclipse 自动生成注释
- 【php7扩展开发五】函数调用
- SPOJ MYQ10 (数位DP)
- “约见”面试官系列之常见面试题之第四十九篇之ie6bug的解决办法(建议收藏)
- 计算机网络教室任课教师登记表,多媒体教室工作计划
- 小红书发布声明:已对站内内容启动全面排查、整改
- c#截取后几位_C#几种截取字符串的方法小结
- 微软下周将发布重磅安全公告 修复40个漏洞
- 项目进度计划表_没有计划表的请举手,这里送你一份
- 中国书法与传统文化的关系
- Voxel RCNN:高性能3D目标检测网络(AAAI2021)
- STM32项目总结--物联网毕设使用
- RTX3080 Ti 怎么样 RTX3080 Ti性能相当于什么水平
- gfp_mask是0代表什么?
- 模板的具体实现 ―― 模板的实例化(instantiation)或具体化(specialization)
- Unity 中实现截图画笔橡皮擦工具
热门文章
- R语言广义线性模型Logistic回归模型列线图分析(nomogram)
- python集合(set)+常见方法+交叉并补
- 句法分析是什么?成分句法分析、依存句法分析又是什么?他们之间有什么区别?
- 为什么决策树相关的算法不需要标准化?那么那些模型需要标准化那?
- 影像组学视频学习笔记(5)-特征筛选之方差选择法、Li‘s have a solution and plan.
- 2.Java中String,StringBuilder以及StringBuffer的关系与区别
- Linux/ubuntu 安装 redis 4.0报错解决:redis-server.service: Can't open PID file /var/run/redis/redis-server.
- LeetCode1117. Building H2O --Java解法--多线程保证执行顺序--AtomicInteger
- 报错解决:Failed to talk to init daemon.
- python操作neo4j