openshift_OpenShift Origin中的Kubernetes Spark运算符(第1部分)
openshift
本系列有关Radanalytics.io的Kubernetes Spark运算符
OpenShift起源 。 它是一个开源的运营商来管理
Apache Spark集群和应用程序。 为了在OpenShift Origin上部署操作员,第一次需要为其克隆GitHub存储库:
git clone https://github.com/radanalyticsio/spark-operator.git
然后使用OpenShift命令行登录到集群
oc :
oc login -u <username>:<password>
假设像我和我的团队以前在OpenShift Origin环境中一样,开发人员没有创建CRD的权限,则需要使用Config Maps,因此必须使用
克隆存储库中提供的operator-com.yaml文件:
oc apply -f manifest/operator-cm.yaml
上面命令的输出应类似于以下内容:
serviceaccount/spark-operator createdrole.rbac.authorization.k8s.io/edit-resources createdrolebinding.rbac.authorization.k8s.io/spark-operator-edit-resources created
成功创建操作员后,您可以尝试创建第一个集群。 选择您要使用的特定项目:
oc project <project_name>
然后使用克隆存储库中可用的ConfigMap的示例文件创建一个小型Spark集群(1个主服务器和2个工作器):
oc apply -f examples/cluster-cm.yaml
这是该文件的内容:
apiVersion: v1
kind: ConfigMap
metadata:name: my-spark-clusterlabels:radanalytics.io/kind: SparkCluster
data:config: |-worker:instances: "2"master:instances: "1"
上面命令的输出是:
configmap/my-spark-cluster created
成功创建集群后,查看OpenShift Web UI,情况应为:
要访问Spark Web UI,您需要为其创建路由。 可以通过OpenShift Origin UI来执行此操作,方法是选择Spark服务,然后单击
路线链接。 一旦创建了路由,就可以从OpenShift外部访问主服务器和工作服务器的Spark Web UI。
现在,您可以使用Spark集群。 您可以通过进入主Pod控制台,在此处启动Scala Spark shell并执行一些代码来开始对其进行测试:
在本系列的第二部分中,我们将在转到Spark应用程序管理之前探索Spark运算符的实现和配置详细信息。
翻译自: https://www.javacodegeeks.com/2019/05/kubernetes-spark-operator-openshift-origin.html
openshift
openshift_OpenShift Origin中的Kubernetes Spark运算符(第1部分)相关推荐
- OpenShift Origin中的Kubernetes Spark运算符(第1部分)
本系列有关Radanalytics.io的Kubernetes Spark运算符 OpenShift起源 . 它是一个开源的运营商来管理 Apache Spark集群和应用程序. 为了在OpenShi ...
- C++编程进阶4(C++中的强制类型转换运算符、不要返回自定义类内部成员的指针,引用和迭代器)
十五.C++中的强制类型转换 C语言中的强制类型转换方式有两种 T i = (T)exp; T i = T(exp); 这两种方式没有差别,C++中也支持这两种方式,但是和C++中的强制类型转换运算符 ...
- python中的模运算符_Python中的字符串模运算符与format函数
如果你在网上搜索Python中如何进行字符串插值(string interpolation),那么你很可能会发现一些留言和旧文档中说字符串模运算符(%)以后会被废弃,并移除出标准库.但是这完全是杞人忧 ...
- Python中递增和递减运算符的行为
我注意到可以将预增/减运算符应用于变量(例如++count ). 它可以编译,但实际上并不会改变变量的值! Python中预增/减运算符(++ /-)的行为是什么? 为什么Python会偏离C / C ...
- maven报错解决: -source 1.5 中不支持 diamond 运算符
mvn clean package -DskipTests 出现如下错误: -source 1.5 中不支持 diamond 运算符 [ERROR] (请使用 -source 7 或更高版本以启用 d ...
- python中 是什么运算符_Python中什么是算术运算符、赋值运算符和复合运算符?...
本篇文章给大家带来的内容是介绍Python中什么是算术运算符.赋值运算符和复合运算符.有一定的参考价值,有需要的朋友可以参考一下,希望对你们有所助. 算术运算符 常见的算术运算符有 : + 加法运算符 ...
- Mac中搭建Kubernetes
Kubernetes是Google和RadHat公司共同主导的开源容器编排项目,功能非常强大,也非常的火热和流行,但同时里面也有很多的概念和名词需要我们去学习和理解.学习任何一个技术先需要把基础环境搭 ...
- php cdi_使用Fabric8在CDI管理的bean中注入Kubernetes Services
php cdi 序幕 我在Kubernetes中最喜欢的是发现服务的方式. 为什么? 主要是因为用户代码不必处理注册,查找服务,也没有网络意外(如果您曾经尝试过基于注册表的方法,那么您就会知道我在说什 ...
- 使用Fabric8在CDI管理的bean中注入Kubernetes Services
序幕 在Kubernetes中我最喜欢的就是发现服务的方式. 为什么? 主要是因为用户代码不必处理注册,查找服务,也没有网络意外(如果您曾经尝试过基于注册表的方法,那么您就会知道我在说什么) . 这篇 ...
最新文章
- eclipse安装maven
- python教程:dict字典常用方法总结,数据解构(解包)
- DCMTK:从DICOM封装的PDF存储对象中提取PDF文件
- python renamer模块_artellapipe-tools-renamer-以简单的方式重命名DCC对象的工具-Tomas Poveda...
- go tcp客户端自动重连_深入分析TCP的keepalive和time_wait,总能发现新东西
- Android Studio 设置主题及字体
- 俄罗斯黑客入侵冬奥会系统,还甩锅给朝鲜?
- MacBook苹果系统下安装Windows XP双系统多分区问题解决
- 2019新个税如何计算
- Kotlin泛型上界与扩展函数
- 基于开源软件构建高性能集群NAS系统
- C++之 最大公约数求法
- 阿里云服务器ECS装好宝塔 但访问不了面板的解决方法
- lopa分析_LOPA分析法之独立保护层浅析
- “黑马程序员”视频学习笔记之面向对象基础及调试问题
- NLG评估指标chrF、chrF++介绍
- 什么是指用计算机,cat是指计算机的什么
- 【Windows网络连接问题】无法连接到这个网络
- 自建Alist共享网盘网站
- 关于class-c vco的基础理论(一)