Flink1.10.1编译hadoop2.7.2 编译flink-shaded-hadoop-2-uber
Flink1.10.1编译hadoop2.7.2 编译flink-shaded-hadoop-2-uber
从Flink 1.11开始,flink-shaded-hadoop-2-uberFlink项目不再正式支持使用发行版。
如果想建立flink-shaded对供应商特定的Hadoop版本,您必须首先描述配置特定供应商的Maven仓库在本地Maven安装在这里。
运行以下命令以flink-shaded针对所需的Hadoop版本(例如对于version 2.6.5-custom)进行构建和安装:
mvn clean install -Dhadoop.version=2.6.5-custom
1. 下载/flink-shaded
前往git 下载/flink-shaded 下载relese-10.0 因为10.0是包含hadoop-bin的,1.11 不包含hadoop
https://github.com/apache/flink-shaded.git
2. 解压至linux
tar -zxvf flink-shaded-release-10.0.tar.gz
3. 进入flink-shaded-hadoop-2-parent,修改pom
[ryxiong@node01 flink-shaded-release-10.0]$ cd flink-shaded-hadoop-2-parent/
修改flink-shaded-hadoop-2-uber下pom.xml文件, 执行zookeeper的版本
[ryxiong@node01 flink-shaded-hadoop-2-parent]$ cd flink-shaded-hadoop-2-uber/
[ryxiong@node01 flink-shaded-hadoop-2-uber]$ vim pom.xml
4. 进入flink-shaded-release-10.0下 修改pom
[ryxiong@node01 job]$ cd flink-shaded-release-10.0/
[ryxiong@node01 flink-shaded-release-10.0]$ vim pom.xml
在profiles标签中添加如下内容
<profile><id>vendor-repos</id><activation><property><name>vendor-repos</name></property></activation> <!-- Add vendor maven repositories --><repositories> <!-- Cloudera --><repository><id>cloudera-releases</id><url>https://maven.aliyun.com/repository/central</url><releases><enabled>true</enabled></releases><snapshots><enabled>false</enabled></snapshots></repository></repositories>
</profile>
添加阿里云镜像, 编译过程中下载块
5. 配置完毕,运行前提是需要linux配置maven
在flink-shaded-release-10.0执行
mvn clean install -DskipTests -Dhadoop.version=2.7.2 -Drat.skip=true
进入漫长的编译过程, 没有ERROR即成功
[INFO] Reactor Summary:
[INFO]
[INFO] flink-shaded ...................................... SUCCESS [1.266s]
[INFO] flink-shaded-force-shading ........................ SUCCESS [0.383s]
[INFO] flink-shaded-asm-7 ................................ SUCCESS [0.464s]
[INFO] flink-shaded-guava-18 ............................. SUCCESS [0.882s]
[INFO] flink-shaded-netty-4 .............................. SUCCESS [4.089s]
[INFO] flink-shaded-netty-tcnative-dynamic ............... SUCCESS [0.457s]
[INFO] flink-shaded-jackson-parent ....................... SUCCESS [0.015s]
[INFO] flink-shaded-jackson-2 ............................ SUCCESS [0.816s]
[INFO] flink-shaded-jackson-module-jsonSchema-2 .......... SUCCESS [0.595s]
[INFO] flink-shaded-hadoop-2-parent ...................... SUCCESS [0.017s]
[INFO] flink-shaded-hadoop-2 ............................. SUCCESS [8.014s]
[INFO] flink-shaded-hadoop-2-uber ........................ SUCCESS [10.657s]
[INFO] flink-shaded-zookeeper-parent ..................... SUCCESS [0.011s]
[INFO] flink-shaded-zookeeper-3.4 ........................ SUCCESS [41.310s]
[INFO] flink-shaded-zookeeper-3.5 ........................ SUCCESS [33.234s]
[INFO] ------------------------------------------------------------------------
[INFO] BUILD SUCCESS
[INFO] ------------------------------------------------------------------------
[INFO] Total time: 1:42.440s
[INFO] Finished at: Fri Apr 09 16:56:24 CST 2021
[INFO] Final Memory: 45M/1112M
[INFO] ------------------------------------------------------------------------
[mac@ryxiong flink-shaded-release-10.0]$ll
编译好的路径
[mac@ryxiong target]$pwd
~/flink-shaded-release-10.0/flink-shaded-hadoop-2-parent/flink-shaded-hadoop-2-uber/target
6. 编译好的jar包 放入flinke1.10.1的lib下
[ryxiong@node01 flink-shaded-release-10.0]$ cp flink-shaded-hadoop-2-uber-2.7.2-10.0.jar /opt/module/flink-1.10.1/lib/
我编译好的jar包,有需要的可以下载.
https://download.csdn.net/download/Ryxiong728/16593328
Flink1.10.1编译hadoop2.7.2 编译flink-shaded-hadoop-2-uber相关推荐
- 编译hadoop2.2.0源码时报错
编译hadoop2.2.0源码时, mvn install -DskipTests 报错: [ERROR] COMPILATION ERROR : [INFO] ------------------- ...
- CentOS7-64bit 编译 Hadoop-2.5.0,并分布式安装
摘要 CentOS7-64bit 编译 Hadoop-2.5.0,并分布式安装 目录[-] 1.系统环境说明 2.安装前的准备工作 2.1 关闭防火墙 2.2 检查ssh安装情况,如果没有则安装ssh ...
- 本地编译Hadoop2.8.0源码总结和问题解决(转自:http://blog.csdn.net/young_kim1/article/details/50324345)
编译准备 1.下载所需的软件 先去官网下载hadoop2.8.0源码并解压,打开解压目录下的BUILDING.txt,编译过程和需要的软件其实就是根据这个文档里的描述来的. (可以通过命令下载:wge ...
- 关于64位Linux编译hadoop2
Apache官方提供hadoop2的安装包是在32位机器下编译的,生产环境一般使用64的Linux,那么需要在64位机器下重新编译 可以查看hadoop-2.2.0-src下的BUILDING.txt ...
- Hadoop2.2.0伪分布式环境搭建(附:64位下编译Hadoop-2.2.0过程)
Hadoop2.2.0伪分布式环境搭建: 写在前面:Hadoop2.2.0默认是支持32位的OS,如果想要在64位OS下运行的话,可以通过在64位OS下面编译Hadoop2.2.0来实现,编译的操作步 ...
- CentOS7下用jdk1.7编译hadoop-2.7.1全过程详解
说实话,本人编译hadoop的过程比较曲折,但收获也很多,下面系统介绍一下CentOS7下编译hadoop-2.7.1的全过程吧. 先说明,32位Linux操作系统可以直接下载编译好的hadoop使用 ...
- mysql5.1编译安装centos7_CentOS7下 Nginx1.13.5 + PHP7.1.10 + MySQL5.7.19 源码编译安装
在CentOS7下 Nginx1.13.5 + PHP7.1.10 + MySQL5.7.19 源码编译安装过程记录. 一.安装Nginx 1.安装依赖扩展 # yum -y install wget ...
- Tesseract OCR——Windows 10 + CMake-GUI + Visual Studio 2019下编译和使用解决方案
基本概念 Tesseract OCR:Tesseract-OCR 引擎最先由HP实验室于1985年开始研发,至1995年时已经成为OCR业内最准确的三款识别引擎之一.然而,HP不久便决定放弃OCR业务 ...
- CentOS6.7-64bit编译hadoop2.6.4
1.下载maven(apache-maven-3.3.3-bin.tar.gz) http://archive.apache.org/dist/maven/maven-3/3.3.3/binaries ...
最新文章
- Gmapping 乱七八糟
- ASP.NET MVC – 样式和布局简介
- nagios搭建与配置
- 为 Jupyter Notebook指定虚拟环境的 Python 解释器
- UGUI 事件穿透规则
- Leecode 869. 重新排序得到 2 的幂——Leecode每日一题系列
- [vue] 说下$attrs和$listeners的使用场景
- pycharm使用技巧及最常用的几个快捷键
- 多重加载Bean方式
- 【C++学习五】STL库的应用
- html编写在线打字通,HTML5代码打字练习、HTML5案例 - 02
- Python网络爬虫模块介绍:fake-useragent模块快速生成User-Agent信息
- javascript计算两个时间差
- python spss modeler 比较_非常值得收藏的 IBM SPSS Modeler 算法简介
- vue input组件设置失焦与聚焦
- 少吃一顿就能减轻新冠重症风险?最新医学研究:定期禁食可降低死亡风险,未来可用作新冠补充治疗...
- 将String字符串转化为int
- JQurey操作dom
- 利用python实现将文本、摩尔斯电码与用滴答表示的摩尔斯电码三者相互转换
- SSL是什么? SSL证书是什么?