先决条件

thrift
maven
java

文章目录

先决条件
一、安装java、maven
二、thrift安装
三、获取CarbonData
四、编译方式
五、spark集成
未完，待更新

一、安装java、maven

java请安装适配版本，本机X86架构安装jdk版本不一样，用jdk1.8.0_131

cd /usr
mkdir java
cd java wget https://github.com/AdoptOpenJDK/openjdk8-binaries/releases/download/jdk8u222-b10/OpenJDK8U-jdk_aarch64_linux_hotspot_8u222b10.tar.gz

解压

tar -zxvf OpenJDK8U-jdk_aarch64_linux_hotspot_8u222b10.tar.gz

给解压的包授权。

chown -R root:root jdk8u222-b10/
chmod -R 755 jdk8u222-b10/

配置环境变量。

vi /etc/profile

shift+g 在最后添加如下内容

 #java环境export JAVA_HOME=/usr/java/jdk8u222-b10export PATH=$PATH:$JAVA_HOME/bin

#刷新检查
source /etc/profile
java -version

安装maven

#将maven放在/usr/local中
cd /usr/local
wget https://mirrors.cnnic.cn/apache/maven/maven-3/3.5.4/binaries/apache-maven-3.5.4-bin.tar.gz --no-check-certificate
tar -zxvf apache-maven-3.5.4-bin.tar.gz
vi /etc/profile

同样是shift+g 在最后添加如下内容

 #maven环境export MAVEN_HOME=/usr/local/apache-maven-3.5.4export PATH=$MAVEN_HOME/bin:$PATH

source /etc/profile
mvn -v

二、thrift安装

依赖环境

yum -y install automake libtool flex bison pkgconfig gcc-c++ boost-devel libevent-devel zlib-devel python-devel ruby-devel openssl-devel

安装

wget http://archive.apache.org/dist/thrift/0.15.0/thrift-0.15.0.tar.gz
tar -zxf thrift-0.15.0.tar.gz
cd thrift-0.15.0/
./configure --with-boost=/usr/local
make -j24
make install# 验证
thrift -version

三、获取CarbonData

请选择与看文章相符时间的最新稳定版本，可以避免许多bug

wget https://dist.apache.org/repos/dist/release/carbondata/2.2.0/apache-carbondata-2.2.0-bin-spark2.3.4-hadoop2.7.2.jar

四、编译方式

# 1 clone源码
#  也可以直接下载对应版本的源码包
git clone https://github.com/apache/carbondata.git
cd carbondata/# 2 选择版本。这里选择我们安装的版本2.2.0
git tag
git checkout tags/apache-carbondata-2.2.0-rc2# 3 编译。指定Spark版本为2.3.4，Hadoop版本为 2.7.2
mvn -DskipTests -Pspark-2.3 -Dspark.version=2.3.4 -Dhadoop.version=2.7.2 clean package

这样就算成功

五、spark集成

和Spark集成比较简单，官方已经提供了这个编译后的jar包，因此可以直接下载官方提供的apache-carbondata-2.2.0-bin-spark2.3.4-hadoop2.7.2.jar包在第二步中我们已经下载，所以现在我们只需要下载spark即可

#依旧是要选择合适的版本下载
wget http://archive.apache.org/dist/spark/spark-2.3.4/spark-2.3.4-bin-hadoop2.7.tgz
tar -xzvf spark-2.3.4-bin-hadoop2.7.tgz
./sbin/start-master.sh

如此便算成功

将上一步下载获得的apache-carbondata-2.2.0-bin-spark2.3.4-hadoop2.7.2.jar包（carbonlib文件夹需要手动创建）$SPARK_HOME/carbonlib下。

mv apache-carbondata-2.2.0-bin-spark2.3.4-hadoop2.7.2.jar spark-2.3.4-bin-hadoop2.7/carbonlib/

在Spark类路径中添加carbonlib文件夹路径

# $SPARK_HOME/conf/spark-env.sh，配置或添加
SPARK_CLASSPATH=$SPARK_HOME/carbonlib/*

在$SPARK_HOME/conf/中vim carbon.properties，并复制GitHub对应版本的配置文件carbon.properties.template 到文件中

cd ~/spark-2.3.4-bin-hadoop2.7/conf
vim carbon.properties

将上面几步添加的包和配置文件同样的方式复制到Spark其它节点上
在Spark节点master节点中，配置conf/spark-defaults.conf文件中下表中提到的属性

#CarbonData配置项
## 要传递给驱动程序的一串额外JVM选项。例如，GC设置或其他日志记录。
spark.driver.extraJavaOptions       -Dcarbon.properties.filepath=$SPARK_HOME/conf/carbon.properties
## 要传递给执行程序的一串额外JVM选项。例如，GC设置或其他日志记录。注意：您可以输入以空格分隔的多个值。
spark.executor.extraJavaOptions     -Dcarbon.properties.filepath=$SPARK_HOME/conf/carbon.properties

未完，待更新

Linux version 4.19.90-2003.4.0.0036.oe1.aarch64安装carbonData相关推荐

解决vue-cli创建项目错误：npm ERR! notarget No matching version found for xxx@^1.3.0.
问题描述最近在学习 vue2,但是今天在创建 vue 项目的时候,终端一直报错,如下: 原因分析: 错误提示为:npm ERR! notarget No matching version found ...
[转]Linux 2.6.19.x 内核编译配置选项简介
Linux 2.6.19.x 内核编译配置选项简介作者:金步国,转载地址:http://lamp.linux.gov.cn/Linux/kernel_options.html 版权声明本文作者是一 ...
Linux 2.6.19.x 内核编译配置选项简介（内核裁剪）
Linux 2.6.19.x 内核编译配置选项简介 Code maturity level options 代码成熟度选项 Prompt for development and/or incomple ...
[Linux]Linux 2.6.19.x 内核编译配置选项简介
Linux 2.6.19.x 内核编译配置选项简介 Code maturity level options 代码成熟度选项 Prompt for development and/or incomple ...
(转载) Linux 2.6.19.x 内核编译配置选项简介
Linux 2.6.19.x 内核编译配置选项简介作者:金步国版权声明本文作者是一位自由软件爱好者,所以本文虽然不是软件,但是本着 GPL 的精神发布.任何人都可以自由使用.转载.复制和再分发, ...
Linux 2.6.19.x 内核编译配置选项简介(转)
Linux 2.6.19.x 内核编译配置选项简介作者:金步国版权声明本文作者是一位自由软件爱好者,所以本文虽然不是软件,但是本着 GPL 的精神发布.任何人都可以自由使用.转载.复制和再分发, ...
强劲的Linux Trace工具：bpftrace (DTrace 2.0) for Linux 2018
Original:阿里姜弋内核月谈译者: 姜弋译者注:原作者是大名鼎鼎的性能分析专家:Brendan Gregg,现在工作在Netflix,之前工作在Sun,在Sun公司的时候,他就做了大量的性 ...
Linux mint xfce 19踩坑记录
Linux mint xfce 19使用记录创建系统快照创建系统快照是Linux Mint 19的重要建议,可以使用与更新管理器捆绑的Timeshift应用程序轻松完成创建与恢复. 这个阶段很重要 ...
编译Linux Kernel(linux-4.19.178)并制作成rpm文件
目录一.安装依赖项二.下载.解压缩.制作.config文件三.编译内核及打包四.升级内核首次尝试编译Linux内核,记录过程,提供Linux Kernel(linux-4.19.178)下载 ...
windows上报错：Could not find a version that satisfies the requirement torch==0.4.1
windows上错误:Could not find a version that satisfies the requirement torch==0.4.1 文章目录: 一.问题 1.错误问题的出现 ...

Linux version 4.19.90-2003.4.0.0036.oe1.aarch64安装carbonData