当前大数据集群的工具选型上, 巨头们都是自研大数据工具, 中小微企业都是开源大数据组件搭积木, 中间层级的厂商或买商业软件(MaxCompute/腾讯云/华为云)或在CDH基础上再集成商业套件(Dataphin之类).

cloudera公司是在2021年2月份启动付费墙后, 之前无论是cdh集群官网archive资源, 还是通过yum方式安装cdh组件, 均会被付费墙拦截, 需要缴费后拿到下载账户才可以执行下载操作. 在此时间节点之前的安装和添加新节点都是没有问题的.

如果现在有个需求, 需要将新采购的3台服务器, 加入CDH集群中, 因需要联网获取parcels包信息, 就被付费墙拦截了.

基于这种场景, 如果下载cloudera的资源时被拦截, 但是我们本地保存有离线的parcels资源的话, 就可以通过搭建私域的http web服务器来提供parcels包的下载.通过这种方式来架设web server服务, 并把这些资源形成URI路径, 安装时指定自己的web资源地址就可以完成后续的集群从0到1的安装, 或添加节点操作了.

步骤①. 安装httpd服务器

1、查看httpd包是否可用：
# yum list | grep httpd2、安装Apache
# yum install httpd3、配置ServerName
# vi /etc/httpd/conf/httpd.conf
如果没有域名，则：ServerName localhost:80 或者 ServerName 127.0.0.1:804 启动
# httpd
5 停止
# httpd -k stop6 设置开机自动启动：
chkconfig httpd on7 安装目录介绍
Apache默认将网站的根目录指向/var/www/html 目录
默认的主配置文件是/etc/httpd/conf/httpd.conf
配置存储在的/etc/httpd/conf.d/目录

步骤②. 按如下目录层级放置parcels数据

[root@cdh01 html]# pwd
/var/www/html
[root@cdh01 html]# mkdir cloudera-repos# 将本地文件按如下层级放置:
[root@cdh01 html]# tree cloudera-repos/
cloudera-repos/
└── cdh5├── CDH-5.16.2-1.cdh5.16.2.p0.8-el7.parcel -> /data/sys_disk_mirror/cloudera/parcel-repo/CDH-5.16.2-1.cdh5.16.2.p0.8-el7.parcel├── CDH-5.16.2-1.cdh5.16.2.p0.8-el7.parcel.sha├── manifest.json├── repodata│   ├── filelists.xml.gz│   ├── filelists.xml.gz.asc│   ├── other.xml.gz│   ├── other.xml.gz.asc│   ├── primary.xml.gz│   ├── primary.xml.gz.asc│   ├── repomd.xml│   └── repomd.xml.asc└── RPMS└── x86_64├── cloudera-manager-agent-5.16.2-1.cm5162.p0.7.el7.x86_64.rpm├── cloudera-manager-daemons-5.16.2-1.cm5162.p0.7.el7.x86_64.rpm├── cloudera-manager-server-5.16.2-1.cm5162.p0.7.el7.x86_64.rpm├── cloudera-manager-server-db-2-5.16.2-1.cm5162.p0.7.el7.x86_64.rpm├── enterprise-debuginfo-5.16.2-1.cm5162.p0.7.el7.x86_64.rpm├── jdk-6u31-linux-amd64.rpm└── oracle-j2sdk1.7-1.7.0+update67-1.x86_64.rpm4 directories, 18 files
[root@cdh01 html]#

CDH 6.1.0 与 5.10.2 版本的 manifest.json文件差异对比:

资源列表:

https://ro-bucharest-repo.bigstepcloud.com/cloudera-repos/
https://www.cxymm.net/article/zhumingye/115181682

CDH6.3.3 paywall版之前自定义http服务器放置parcels安装数据相关推荐

服务器桌面显示计算机网络连接,阴阳师桌面版连接不上服务器怎么办连接不上服务器解决办法...
阴阳师桌面版正式服v1.1.0PC版类型:安卓网游电脑版大小:1.17G语言:中文评分:10.0 标签: 立即下载阴阳师桌面版连接不上服务器怎么办,阴阳师桌面版pc8月16日正式上线,很多玩家出 ...
初始化触发点击事件_【Vue原理】Event - 源码版之自定义事件
专注 Vue 源码分享,文章分为白话版和源码版,白话版助于理解工作原理,源码版助于了解内部详情,让我们一起学习吧研究基于 Vue版本[2.5.17] Vue 的自定义事件很简单,就是使用观察者模 ...
UC浏览器电脑版怎么自定义标签栏标签栏位置修改教程
在UC浏览器中,如果觉得标签栏位置不是很合适的话可以自己来定义,下面小编就告诉你UC浏览器电脑版标签栏位置修改教程. UC浏览器电脑版怎么自定义标签栏标签栏位置修改教程 UC浏览器电脑版怎么自定义标 ...
咪咕代理php,【独家创业】新七星修改2开正咪咕影视7.2全版/支持自定义解析/支持PHP7.0及以上...
资料来源说明: [独家创业]新七星修改2开正咪咕影视7.2全版/支持自定义解析/支持PHP7.0及以上视频播放页面右侧栏图文在后台→系统设置→APP设置更改广告设置~在后台步骤1:上传文件/up ...
html5 自定义标签图例,奥维互动地图浏览器电脑版中自定义标签图标的增加方法...
这篇文章讲的是奥维互动地图浏览器电脑版中自定义标签图标的增加方法,感兴趣的小伙伴可以来学习一下哦. 奥维互动地图浏览器电脑版中自定义标签图标的增加方法 1.点击菜单:系统---数据管理---自定义图标 ...
php一键微信分享代码,php版微信自定义分享代码
在许多大的网站我们都会看到点击分享就可以把数据分享到微信或QQ或其它的平台了,下面我们来看一段php版微信自定义分享代码,代码参考官方开发的没有任何问题. 分享需要认证微信订阅号或者服务号. php ...
在线交易系统服务器1,金字塔决策交易系统金钻版服务器及客户端安装配置说明1.doc...
金字塔决策交易系统-金钻版服务器及客户端安装配置说明目录一.金钻版功能介绍2 1.1软件架构示意图:3 二.金字塔服务器安装及配置4 2.1下载金钻版安装程序4 2.2执行金钻版安装程序4 2. ...
动网论坛dvbbs7.1.0 SP1由Access版升级到SQL版的具体说明（用于全新安装）
动网论坛dvbbs7.1.0 SP1由Access版升级到SQL版的具体说明(用于全新安装) (2006.3.20整理) 一.环境要求: 操作系统:windows 2000 +sp4,并更新了最新的补 ...
atitit.跨架构 bs cs解决方案. 自定义web服务器的实现方案 java .net jetty HttpListener...
atitit.跨架构 bs cs解决方案. 自定义web服务器的实现方案 java .net jetty HttpListener 1. 自定义web服务器的实现方案,基于原始socket vs ...

CDH6.3.3 paywall版之前自定义http服务器放置parcels安装数据

步骤①. 安装httpd服务器

步骤②. 按如下目录层级放置parcels数据

CDH6.3.3 paywall版之前自定义http服务器放置parcels安装数据相关推荐

最新文章

热门文章