大数据学习之Linux环境搭建（导航）

环境搭建过程网上有挺多，但在安装过程，难免会出现一些其他错误，所以是对自己在搭建环境过程中的一个记录。

首先是VMware软件的安装，没什么说的，一直“下一步”就好了，虚拟机下安装Linux系统也比较简单，不赘述。

在系统主目录下新建software文件，用以存放大数据学习过程中可能用到的软件:mkdir /software

在系统主目录下新建download文件，用以存放临时安装包: mkdir /download

安装过程中，解压安装包到当前目录，均指/download目录，eg:

tar -zxvf filename.tar.gz

配置环境变量时候，如果对所有用户有效，编辑系统变量/etc/profile：

vim /etc/profile

也可以在/etc/profile.d目录下新建bash脚本文件，将语句写入到此脚本中; 需要注意的是，Windows中，环境变量之间是以英文分号;间隔的，而在Linux中是以英文冒号:间隔的, eg:vim /etc/profile.d/bigdata.sh

export JAVA_HOME=/usr/lib/jvm/jdk1.7.0
export PATH=$PATH:$JAVA_HOME/bin

如果只针对当前用户有效，编辑用户主目录下的~/.profile文件或者~/.bashrc

vim ~/.profile

之后保存并更新文件：

source /etc/profile
or
source ~/.profile

生效。

安装配置ssh免密码登录
Linux环境jdk的安装与配置
Hadoop 2.8.2安装与配置(单机)
Scala 2.12.4 安装与配置
Spark 2.2.0 安装与配置
SBT 1.0.3安装与配置
Maven 3.5.2安装与配置

未完待续。。。

转载于:https://www.cnblogs.com/NexTen/p/7856592.html

大数据学习之Linux环境搭建（导航）相关推荐

大数据学习1 - hadoop环境搭建及操作
目录目录目录一.什么是大数据? 二.什么是hadoop? 1.Hadoop核心组件 2.HDFS架构 3.MapReduce 3.Yarn架构编辑三.Hadoop的集群模式 1.完全分布模 ...
大数据学习之Flink环境搭建+提交任务方式
1.独立集群独立集群不需要依赖任何框架,独立运行 1.上传解压配置环境变量 tar -xvf flink-1.15.0-bin-scala_2.12.tgz vim /etc/profilesour ...
Python+大数据-知行教育(一)-环境搭建数据仓库
Python+大数据-知行教育(一)-环境搭建数据仓库 1. 教育项目的数仓分层回顾: 原有的基础分层 ODS层: 源数据层作用: 对接数据源, 和数据源的数据保持相同的粒度(将数据源的数据完整的 ...
大数据各子项目的环境搭建之建立与删除软连接（博主推荐）
建立软连接,好处可以处理多个版本的需要,方便环境变量的配置.相当于windows下的快捷方式! 博主,我这里以jdk为例,对于大数据的其他子项目的搭建,一样的操作.方便!这里我不多赘述. 如何建立jd ...
大数据基础（hadoop环境搭建及使用）
大数据大数据概念大数据特点(4V) Volume(大量) Velocity(高速) Variety(多样) Value(低价值密度) Hadoop Hadoop是什么 Hadoop 三大发行版本 ...
大数据 -- Hadoop集群环境搭建
首先我们来认识一下HDFS, HDFS(Hadoop Distributed File System )Hadoop分布式文件系统.它其实是将一个大文件分成若干块保存在不同服务器的多个节点中.通过联网 ...
大数据第一章(Linux环境部署JDKMysql)
目录 Linux基础命令文件查找命令压缩和解压命令tar Linux权限命令(用户和组) 文件添加.删除权限文件夹添加.删除权限网络服务磁盘管理命令其他命令时间和日期 ln命令 cl ...
《OD大数据实战》MongoDB环境搭建
一.MongonDB环境搭建 1. 下载 https://fastdl.mongodb.org/linux/mongodb-linux-x86_64-3.0.6.tgz 2. 解压 tar -zxvf ...
大数据随记 —— Hadoop 环境搭建
大数据系列文章:

大数据学习之Linux环境搭建（导航）

大数据学习之Linux环境搭建（导航）相关推荐

最新文章

热门文章