windows 10(64位) 本地模式安装Hadoop和Hbase
参考
全部安装参考以下文档，可以直接看以下文档安装
windows环境搭建hadoop伪集群.
Windows 64位系统上搭建Hadoop伪分布式环境
Windows10安装搭建hadoop伪分布式-总结
安装准备
- 环境：Windows 10-X64 jdk1.8.0_102
- 安装方式：本地安装 - Hadoop版本：2.7.1
- Hbase版本：1.2.0
Hadoop安装过程
下载 从下载地址下载hadoop-2.7.1的包:hadoop-2.7.1.tar.gz
解压、配置变量
- 这里以我自己做的为例子(以下D:\hadoop-2.7
1用实际的hadoop文件夹为准)：解压到D盘根目录：D:\hadoop-2.7.1 - 添加一个环境变量：key:HADOOP_HOME value:D:\hadoop-2.7.1
- 在用户的PATH中追加一项：%HADOOP_HOME%
下载windows专用二进制文件和工具类
- 下载winutils.exe和hadoop.dll等文件。
- https://github.com/steveloughran/winutils 在github仓库中找到对应版本的二进制库hadoop.dll和winutils.exe文件，然后把文件拷贝到D:\hadoop-2.7.1\bin目录中去- 拷贝一份hadoop.dll到C:\Windows\System32
配置hadoop伪集群
- 在D:\hadoop-2.7.1\etc\hadoop下找到四个文件 ：core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml 并按要求配置这几个文件，配置参考链接https://www.jianshu.com/p/1e7e9a70262d
- 在前面的链接的基础上在Mapred-site.xml中加上这一行配置，启用ubertask，才能运行后面wordcount的例子，否则会报Job running in uber mode:false的错误，我也不知道为啥。参考What is the purpose of “uber mode” in hadoop?
格式化namenode并启动hadoop
- 在cmd中执行命令: hdfs namenode -format
- 到hadoop的sbin目录下执行start-all.cmd启动hadoop
- 执行jps，查看预期进程是否启动完成，具体参见作者：风澈vio
- 浏览器打开localhost:8088查看mapreduce任务，打开localhost:50070 -->Utilites -->Browse the file system查看hdfs文件
测试wordcount
任务参考
- [https://blog.csdn.net/sheshouzuomeiyou/article/details/91383608]1. 在D盘新建一个txt文件t1.txt，里面填充你要统计的单词
- 上传此文件到hdfs，详细命令见本节参考链接3. 在cmd中进入mapreduce文件夹，运行自带的wordcount程序，详细命令见本节参考链接
作者：风澈vio链接：https://www.jianshu.com/p/1e7e9a70262d
Hbase安装过程
下载Hbase下载hbase，下载链接：https://pan.baidu.com/s/19beAaW-Xl-WaXghaBevZrw 密码：kjsr附官网链接，选择需要的版本下载即可(本文推荐1.2.0)：http://archive.apache.org/dist/hbase/下载完成后，解压。
配置相关文件和环境变量
- 解压完成后，找到hbase-1.2.0文件夹下的conf文件夹，然后找到“hbase-env.cmd”文件，编辑此文件，添加或者修改以下设置： - set HBASE_MANAGES_ZK=false //
- set JAVA_HOME=D:\java\jdk1.8.0_77 // 本机jdk安装地址
- set HBASE_CLASSPATH=D:\hbase\hbase-1.2.0\conf // 本机hbase conf 文件夹地址
- 在conf文件夹中，找到“hbase-site.xml”文件，编辑此文件，在configuration标签内添加配置，具体参见
启动hbase- cmd进入hbase文件夹的bin目录下，执行start-hbase命令，弹出命令框启动完成后，访问浏览器监控页 http://localhost:16010/master-status
- 在cmd命令行中输入hbase shell，执行各种命令，可以输入help来列出所有hbase支持的命令
执行hbase相关命令
help命令
显示命名空间，有两个存表的空间。一个默认的一个hbase系统的。创建表时不带命名空间的名字，表会在默认的下面。可登陆监控页查询。
创建一个用户表，包含两个列簇的，一个基本信息的列簇base_info,一个联系信息的列簇connect_info。并向表中插入信息。
查询表中数据
删除
修改
windows 10(64位) 本地模式安装Hadoop和Hbase相关推荐
- Windows 10 64位专业版，安装运行CCSv3.3
1.获取 CCS_3.3.83.20 安装包,关闭杀毒软件和防火墙,右键以管理员身份运行安装CCSv3.3最新版本.安装过程中遇到提示直接确认或者忽略,直到安装完成,安装过程比较简单. 2.Windo ...
- awstats mysql_AWstats7.4在Windows 10 64位下的安装与配置，以支持Apache 2.4的日志分析...
1.AWstats7.4在Windows 10 64位下的安装与配置,以支持Apache 2.4的日志分析: 2.安装perl,打开:https://www.perl.org/ ,如图1,在Windo ...
- windows 10 64位机器上 安装部署
mi这个博客写的不错 https://www.cnblogs.com/dingguofeng/p/8709476.html 安装redis 可视化工具后 ,新建连接 名称随意,注意端口号是否有误默认6 ...
- [Linux] 解决Ubuntu12.10 64位google chrome安装Flash后出现couldn‘t load plug-in的问题；
[Linux] 解决Ubuntu12.10 64位google chrome安装Flash后出现couldn't load plug-in的问题: 参考文章: (1)[Linux] 解决Ubuntu1 ...
- windows 10 64位安装Python3.6.4
1.下载Python3.6 windows版本的安装包 Python官网地址:https://www.python.org 下载软件包:python-3.6.4.exe 2.安装Python3.6版本 ...
- Windows 7 64位系统上搭建Hadoop伪分布式环境（很详细）
在开始配置前,我们先了解Hadoop的三种运行模式. Hadoop的三种运行模式 独立(或本地)模式:无需运行任何守护进程,所有程序都在同一个JVM上执行.在独立模式下测试和调试MapReduce程序 ...
- 在Window 10 64位电脑上安装 OpenSSL安装过程
前期准备 安装最新版的ActivePerl 到https://www.openssl.org 下载最新OpenSSL源码 到http://www.nasm.us 下载NASM汇编工具 在开始任务栏里打 ...
- python3中的int类型占64位_在windows 10 64位计算机中，默认情况下，numpy数组数据类型将以int32形式出现...
最初的海报Prana问了一个非常好的问题."为什么在64位计算机上,整数默认设置为32位?"在 据我所知,简短的回答是:"因为它的设计是错误的". 显然,64位 ...
- win10装linux没有虚拟网卡,windows 10 64位系统安装虚拟网卡失败
虚拟网卡及其驱动是我们自己开发的.安装虚拟网卡及其驱动时有用到 .sys,.inf,.cat 和devcon.exe等文件. sys文件和cat文件都带有有效数字签名. 在其他windows操作系统, ...
- Windows 10 64位系统下Neo4j安装教程（2021.1.13）
Win 10安装Neo4j图数据库 1.Neo4j简介 2.Neo4j安装 2.1 查看安装好的JDK版本 2.1.1 JDK 11下载与安装 2.1.2 JDK8和JDK11共存 2.2 安装Neo ...
最新文章
- cad关闭图层的快捷命令是什么_CAD快捷命令汇总
- CIR,CBS,EBS,PIR,PBS傻傻分不清楚？看这里！—-揭秘令牌桶
- SQL行列转换问题整理
- [渝粤教育] 四川农业大学 宏观经济学 参考 资料
- 山东省计算机春季高考大纲,2017年山东春季高考专业知识考试大纲.doc
- python计时器程序设计总框图_怎么用python编写计时器？这个编程的方法你一定不要错过...
- 讲一个让你们难过很久的故事吧？
- Android 爆高危漏洞，华为小米皆中招；第三代苹果 AirPods 来了；SQLite 3.30.0 发布 | 极客头条...
- 线性表部分知识点小结
- 从环境搭建探讨做事的方法
- 【有限元分析】电力塔架ansys有限元模型
- excel自动合并两列
- Multiple dex files define Lrx/android/plugins/RxAndroidPlugins;
- 学生学籍管理系统数据库
- oracle bpm 集成erp,我们已经执行了ERP系统，为什么还要使用BPM系统？
- 当元宇宙撞上赛博文化 | 成为「大创夜家」
- 【资源分享】云计算 CRM 等网上搜集资料
- 周志华----机器学习2
- YOLOv5改进--添加CBAM注意力机制
- Observability：你所需要知道的关于 Syslog 的一些知识