搭建大数据开发环境-Hadoop篇
2024-04-12 07:36:34
前期准备
操作系统
hadoop目前对linux操作系统支持是最好的，可以部署2000个节点的服务器集群；在hadoop2.2以后，开始支持windows操作系统，但是兼容性没有linux好。因此，建议在MAC OS或者linux(CentOS或者Unbuntu)操作系统上安装。
安装java
hadoop2.6以前的版本，需要jdk1.6以上的版本；从hadoop2.7开始，则需要jdk1.7以上的版本。
我们可以使用jdk1.8，下载地址
对于linux操作系统用户
下载jdk-8u161-linux-x64.tar.gz压缩包文件，进行解压。
tar zxvf jdk-8u161-linux-x64.tar.gz -C /opt
接着就需要配置环境变量
编辑环境变量文件，添加如下代码
$ vim /etc/profile
export JAVA_HOME=/opt/jdk1.8.0_161
export PATH=$PATH:$JAVA_HOME/bin
对于MacOS操作系统用户
直接安装jdk-8u161-macosx-x64.dmg文件
接着就需要配置环境变量
编辑环境变量文件，添加如下代码
$ vim /etc/profile
export JAVA_HOME=/Library/Java/JavaVirtualMachines/jdk1.8.0_161.jdk/Contents/Home
export PATH=$PATH:$JAVA_HOME/bin
检查java是否安装成功
$ java -version
输入上面的命令后，会输出java的基本信息
安装Hadoop
hadoop的安装方式有三种，本地模式、伪分布模式和完全分布模式。三种模式安装步骤有少许区别，本文介绍伪分布模式，也是开发环境最常用的方式。
通过官方网站下载hadoop版本，建议安装2.6版本，此版本相对更稳定，也是使用最为广泛的版本。
解压hadoop-2.6.0.tar.gz压缩包
$ tar zxvf hadoop-2.6.0.tar.gz -C /opt
配置环境变量
$vim /etc/profile
export HADOOP_HOME=/opt/hadoop-2.6.0
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
hadoop配置文件
/opt/hadoop-2.6.0/hadoop-env.sh:
export JAVA_HOME=使用你上面配置的java_home路径
export HADOOP_OPTS=-Djava.net.preferIPv4Stack=true
/opt/hadoop-2.6.0/core-site.xml:
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/opt/hadoop-2.6.0/tmp</value>
</property>
<property>
<name>fs.trash.interval</name>
<value>1440</value>
<!--垃圾保存一天-->
</property>
/opt/hadoop-2.6.0/hdfs-site.xml:
<configuration> <property> <name>dfs.replication</name> <value>1</value> </property> </configuration>
/opt/hadoop-2.6.0/mapred-site.xml
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>
/opt/hadoop-2.6.0/yarn-site.xml
<configuration>
<property>
<name>yarn.log-aggregation-enable</name>
<value>true</value>
</property>
<property>
<name>yarn.log.server.url</name>
<value>http://localhost:19888/jobhistory/job/</value>
</property>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<!-- 设置HDFS可以使用硬盘的百分比，对于硬盘小的人很重要 -->
<name>yarn.nodemanager.disk-health-checker.max-disk-utilization-per-disk-percentage</name>
<value>99.0</value>
</property>
</configuration>
SSH免密码登录
检查一下，是否可以对本地进行免密码登录
$ ssh localhost
如果你在ssh本地时，需要输入密码，那么按以下步骤，配置免密码登录
$ ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa $ cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys $ chmod 0600 ~/.ssh/authorized_keys
格式化hdfs目录
$ hdfs namenode -format
该命令执行后，只会格式化你的/opt/hadoop-2.6.0/tmp目录
启动HDFS
$ start-dfs.sh
启动hdfs后，会生成日志文件，在$HADOOP_HOME/logs目录下
如果启动成功，你可以通过浏览器打开http://localhost:50070/，查看hdfs的相关信息
如果你想停止hdfs，请输入以下命令
$ stop-dfs.sh
启动yarn
$ start-yarn.sh
启动yarn后，会生成日志文件，在$HADOOP_HOME/logs目录下
如果启动成功，你可以通过浏览器打开http://localhost:8088/，查看yarn的相关信息
如果你想停止yarn，请输入以下命令
$ stop-yarn.sh
启动JobHistory
$ mr-jobhistory-daemon.sh start historyserver
启动JobHistory后，会生成日志文件，在$HADOOP_HOME/logs目录下
如果启动成功，你可以通过浏览器打开http://localhost:19888/，查看jobhistory的相关信息
如果你想停止JobHistory，请输入以下命令
$ mr-jobhistory-daemon.sh stop historyserver
测试hadoop
成功安装完hadoop后，我们可以通过一些命令来感受一下hadoop
创建目录
$ hdfs dfs -mkdir /tmp/input
上传本地文件到hdfs $ hdfs dfs -put $HADOOP_HOME/etc/hadoop/*.xml /tmp/input
使用MapReduce来计算我们刚才上传文件的以dfs开头的单词个数
$ hadoop jar $HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.0.jar grep /tmp/input /tmp/output 'dfs[a-z.]+'
查看MapReduce的结果
可以把hdfs上的结果文件下载到本地后查看
$ hdfs dfs -get /tmp/output output $ cat output/*
也可以通过hdfs查看命令直接查看
$ hdfs dfs -cat /tmp/output/part-r-00000
通过查询http://localhost:8088/，你会发现刚才执行MapReduce任务的历史记录
转载于:https://www.cnblogs.com/woshiywyw/p/8858880.html
搭建大数据开发环境-Hadoop篇相关推荐
- mac搭建大数据开发环境
mac安装Hadoop/hbase/spark:https://blog.csdn.net/sunxiaoju/article/details/86183405 mac idea+sbt运行spark ...
- 搭建大数据运行环境之二
前言 上篇文章咱们将大数据相关的一些组件都集成安装在了一个docker中 搭建大数据运行环境之一 这篇文章咱们继续 启动下该docker中的大数据相关的组件 将大数据运行环境跑起来 上篇文章的几个注意 ...
- 5分钟搭建大数据学习环境
想学大数据,先搭个环境再说,要准备多少台服务器,每台服务器的基础环境设置,各个服务器的网络互联,真是很麻烦的一件事 第一座山先把想入门的学习者挡在门外,别放弃,这里又一个即全面又快捷的搭建大数据环境的 ...
- hadoop大数据开发基础_Java大数据开发(三)Hadoop(2)经典的Hadoop
点击蓝字关注我 1 什么是大数据 1.Hadoop是一个由Apache基金会所开发的分布式系统基础架构 2.主要解决,海量数据的存储和海量数据的分析计算问题. 3.广义上来说,HADOOP通常是指一个 ...
- 在阿里云中搭建大数据实验环境
云计算是和自来水一样的商业模式.有了自来水,我们可以不用自己挖井,就可以快速.便捷.廉价地获得水资源.而有了云计算,我们就可以不用自己建机房.买设备.维护系统,就可以快速.便捷.廉价地获得IT资源(C ...
- 数据分析师、大数据开发、Hadoop开发工程师、数据挖掘、算法工程师的工资薪水到底怎么样？
据最新发布的<大数据人才报告>显示,目前全国的大数据人才仅46万,未来3-5年内大数据人才的缺口将高达150万. 领英报告表明,数据分析人才的供给指数最低,仅为0.05,属于高度稀缺.数据 ...
- 大数据开发复习Spark篇
11.spark 11.1.spark介绍 Apache Spark是用于大规模数据处理的统一分析计算引擎 Spark基于内存计算,提高了在大数据环境下数据处理的实时性,同时保证了高容错性和高可伸缩性 ...
- 在家搭建大数据分布式计算环境！
↑↑↑关注后"星标"Datawhale 每日干货 & 每月组队学习,不错过 Datawhale干货 作者:牧小熊,华中农业大学,Datawhale原创作者 0. 前言 分布 ...
- 搭建大数据运行环境之一
前言 一键搭建 zookeeper/hadoop/hive/hbase/sqoop/kafka/spark/kylin 服务器资源 本地Mac有3个虚拟机 server1 192.168.84.128 ...
最新文章
- 投影参数_智能投影仪参数如何去看，其实很简单
- Python中的对象，类，super（）函数
- 【GNN】一份完全解读：是什么使神经网络变成图神经网络？
- Visual Studio 2005常用插件搜罗
- 简单的shell脚本实例
- Python中的字符串操作总结（Python3.6.1版本）
- ORB-SLAM2介绍（1）
- 覆盖php扩展后服务挂了,PHP 扩展管理
- 通过 Azure 媒体管理门户开始使用直播流媒体
- 平衡小车——编码器原理及其使用
- 怎样在html里加入cms的标签,动易Cms：如何在自定义字段中插入html代码和标签-动易Cms教程...
- 用python爬取之后发现果然如此，都说知乎的小姐姐漂亮
- python打开xlsm_关于python：如何使用openpyxl使用Macro保存XLSM文件
- 【修真院“正直”系列之三】【修真神界】【修行卷】【第一章】修真院入场券...
- 小程序开发框架_mpvue（六）卡通照片的实现思路
- Home Assistant 发现小米设备
- 朴素贝叶斯算法及其实战
- 用于清理系统垃圾的batch文件
- 这些手写代码会了吗？少年
- 【入门AUTOSAR网络管理测试】RSS-NOS状态转换