apache提供了 Linux下开发hadoop教程,不多说
网上有很多参考资料,说法不一
自己总结下思路,希望能对喜欢hadoop的兄弟姐妹有所帮助:
硬件:win7

step 1、 安装1.6以上版本 jdk

step 2、 安装Cygwin,下载安装cygwin  (因为运行hadoop需要linux环境)
              从网上下载setup程序后运行:
              a、选择从网上下载并安装模式(适合网速OK者)
              b、选择一个离自己较近的镜像网点下载cygwin安装包,由于所有镜像点都是义务服务的,所 以如果镜像点中途网络中断,只能重新选择下载
              c、不需要下载全部的包(文件较大)、建议勾选 Base下的sed,net 下的openssh,devel下 的subversion,Editor下的vim,
其他 默认就好,下一步
              d、创建快捷方式

step 3   配置环境变量(我自己为例):
            配置jdk,
            环境变量:
            JAVAHOME=D:\Java\jdk1.7.0
            CLASS_PATH=D:\Java\jdk1.7.0\lib                                     path=D:\Java\jdk1.7.0\bin;C:\cygwin\bin;C:\cygwin\usr\sbin;C:\cygwin\hom     
e\A dministrator\hadoop-0.20.2\bin   

            CYGWIN=ntsec tty
            HADOOP_HOME=C:\cygwin\home\Administrator\hadoop-0.20.2

step 4  启动cygwin,安装ssh服务
            启动cygwin,
            step1、输入ssh-host-config命令
                
            step2、
Query: Should privilege separation be used? (yes/no) yes (问你是否要特权分离)
            step3、要求输入yes/no时(问你是否安装sshd服务)----如果初次安装输入
yes
             step4、 Query: Enter the value of CYGWIN for the daemon: 

          [ntsec] ntsec  # 输入 ntsec
            step5、 Query: Do you want to use a different name? (yes/no) no  不指定用户
           step6  Query: Create new privileged user account 'cyg_server'? (yes/no)                          yes 创建
           step7、接下来设置密码,安装成功
step 5:启动SSH服务 
       打开终端:输入cmd,控制台输入services.msc 在弹出窗口中选择CYGWIN sshd服务        ,并开启,启动成功
step 6:配置ssh无密码登陆服务
       step1:输入ssh-keygen命令生成密钥文件
       step2:按回车,按回车,按回车 ,接下来生成authorized_keys文件
       step3:输入cd ~/.ssh/  
       step4:输入ls查看
             显示id_rsa id_rsa.pub
       step5:输入cp id_rsa.pub authorized_keys 
             显示 authorized_keys id_rsa id_rsa.pub后配置成功    
        step6:输入exit退出 
step 7:输入 ssh localhost登陆ssh服务  
       询问您是否继续连接:输入yes
step 8: 下载hadoop安装包
step 9:在cygwin中输入 explorer .弹出文件夹,将hadoop安装包解压到此文件夹
step 10:修改hadoop基本配置
        step1:修改hadoop文件夹下conf下的
hadoop-env.sh文件中下面代码   
              
 export JAVA_HOME='/cygdrive/d/Java/jdk1.7.0'/  (你自己JDK LINUX路径)
               
export HADOOP_CLASSPATH=build/classes  
        step2:复制 core-default.xml文件并粘贴到 conf  文件夹下 更名为core-site.xml并修改下面代      码,8018可以任意指定一个未占用端口
              <property><name>fs.default.name</name><value>hdfs://localhost:8018</value></property><property><name>hadoop.tmp.dir</name><value>/var/log/hadoop/tmp</value></property>
 配置上面代码可免除后续每次启动都要格式化namenode的问题   
        
step3:复制 hdfs-default.xml文件并粘贴到 conf  文件夹下 更名为hdfs-site.xml并修改下面代      码,注意:很多教程中此操作只拷贝不做任何修改,经本人操作,eclipse会遇到访问权限的               问题,必要时修改
    <property><name>dfs.permissions</name><value>false</value></property><property><name>dfs.replication</name><value>1</value></property>
 代码为配置副本数量:默认为3,建议伪分布环境下设置为1        
        
step4:复制 mapred-default.xml文件并粘贴到 conf  文件夹下 更名为mapred-site.xml并修改,      8028也可自由自定一个未占用端口号
 <property><name>mapred.job.tracker</name><value>localhost:8028</value></property>
step 11 :将hadoop插件 拷贝到eclipse中的插件包中(注意版本问题)
step 12 : 将hadoop文件夹路径拷贝到图中

step 13:选择 图中的大象图标   



step 14: 右键单击图标新建 Hadoop location

step15完成图中设置 8018和8028和要之前的对应起来
lastly:have fun!
 ps:搭建环境也是调试程序,遇到问题不要盲目百度关键字,多看log,根据log去百度,注意警告和提示

Win7下快速搭建hadoopEclipse运行环境--方案相关推荐

  1. CentOS7安装wdCP面板,快速搭建web运行环境(图文详解)

    文章目录 1. wdCP简介 2. 安装过程 2.1 源码安装 2.1.1 ssh登录服务器 2.1.2 源码的下载.解压.安装 2.1.3 软件安装目录 2.2 进入后台管理 3.wdCP面板的卸载 ...

  2. mac下快速搭建php开发环境,鸟枪换大炮,Mac下快速搭建PHP开发环境mamp的使用

    前几天终于换了台电脑,一开始还有点不习惯,用了2天发现mac做开发还真便利不少,洁面看起来让人心旷神怡啊!真的有一种鸟枪换炮的感觉. 作为一个PHP开发工程师,换了抢还得知道怎么上子弹不是. 我们在m ...

  3. Mac下快速搭建PHP开发环境

    最近做了一个后端的项目,是用PHP+MySQL+Nginx做的,所以把搭建环境的方法简单总结一下. 备注: 物料:Apache/Nginx+PHP+MySQL+MAMP Mac OS 10.12.1 ...

  4. mac怎么搭建php环境,Mac下快速搭建PHP开发环境

    GDB 多线程调试:只停止断点的线程,其他线程任然执行; 或只运行某些线程 其他线程中断 多线程调试之痛 调试器(如VS2008和老版GDB)往往只支持all-stop模式,调试多线程程序时,如果某个 ...

  5. ubuntu下php服务器搭建_Ubuntu服务器下搭建php运行环境的方法

    本文实例讲述了Ubuntu服务器下搭建php运行环境的方法.分享给大家供大家参考,具体如下: 安装 Apache2: sudo apt-get install apache2 安装PHP模块: sud ...

  6. 基于 Jenkins 快速搭建持续集成环境--转

    源地址:http://www.ibm.com/developerworks/cn/java/j-lo-jenkins/ 持续集成是一种软件开发实践,对于提高软件开发效率并保障软件开发质量提供了理论基础 ...

  7. 基于 Jenkins 快速搭建持续集成环境

    持续集成概述 什么是持续集成 随着软件开发复杂度的不断提高,团队开发成员间如何更好地协同工作以确保软件开发的质量已经慢慢成为开发过程中不可回避的问题.尤其是近些年来,敏捷(Agile) 在软件工程领域 ...

  8. SpringMVC学习(二)——快速搭建SpringMVC开发环境(注解方式)

    文章目录 说明 1.工程搭建 2.注解配置 2.1.context:annotation-config说明 2.2.context:component-scan配置说明 2.3.mvc:annotat ...

  9. 基于Jenkins快速搭建持续集成环境

    看了园友张善友的博文,尝试成功.便有此作.原网址: 基于 Jenkins 快速搭建持续集成环境 天下事有难易乎?为之,则难者亦易矣:不为,则易者亦难矣. 首先要学会使用MSBuild构建脚本 附网址: ...

最新文章

  1. 机器学习面试:这25个实用又有深度的问题
  2. 关于XML在与FLASH交互应用中的理解
  3. .NET 面试题总结 (附有参考答案) 第2部分
  4. linux配置选项大全,Linux下的十项实用“sudo”配置选项
  5. Markdown = PPT ?这个工具给力!
  6. 通过ping命令测试主机与虚拟机之间是否连通
  7. 关于 CFileDialog 对话框多选功能的一个问题
  8. 全国计算机等级考试用报名吗,全国计算机等级考试网上报名流程及考生报名使用说明...
  9. 软件工程复习提纲——第三章
  10. openmeetings(开源视频会议系统)的详细安装步骤 (windows版)
  11. 【批处理DOS-CMD命令-汇总和小结】-添加注释命令(rem或::)
  12. 在vscode中打开PDF文件
  13. 1.9 LaTex边注与脚注
  14. Simpson公式、复化梯形公式、Cotes公式以及Romberg公式
  15. php网站的难点,PHP开发有哪些难点
  16. 短文本分类:电力95598工单分类实现
  17. 网络游戏排行榜计算机,网络游戏排行榜
  18. Salesforce: 关于Apexpages.Message类
  19. DB2根据指定列筛选重复数据
  20. 2021年全网最详细的计算机二级备考攻略,看完都会过~

热门文章

  1. ANR实战案例3 - 应用在部分低端机ANR优化案例
  2. hihocoder 1569 [Offer收割]编程练习赛25 : 无限巧克力谜题
  3. python文本分析--停用词表的使用
  4. mha检测mysql状况方式_MHA搭建
  5. 从MIMIC学习组织自己的数据
  6. SELinux的三种工作模式详解
  7. 做个好的专业的程序员立篇
  8. oracle消耗资源,oracle中资源消耗查看
  9. Vue进阶(幺肆叁):如何用绝对定位(position:absolute)完美定位布局及其注意事项
  10. ARM开发之dst文件详解