OpenShift Origin中的Kubernetes Spark运算符（第1部分）

本系列有关Radanalytics.io的Kubernetes Spark运算符
OpenShift起源。它是一个开源的运营商来管理
Apache Spark集群和应用程序。为了在OpenShift Origin上部署操作员，第一次需要为其克隆GitHub存储库：

git clone https://github.com/radanalyticsio/spark-operator.git

然后使用OpenShift命令行登录到集群
oc ：

oc login -u <username>:<password>

假设像我和我的团队以前在OpenShift Origin环境中一样，开发人员没有创建CRD的权限，则需要使用Config Maps，因此必须使用
克隆存储库中提供的operator-com.yaml文件：

oc apply -f manifest/operator-cm.yaml

上面命令的输出应类似于以下内容：

serviceaccount/spark-operator createdrole.rbac.authorization.k8s.io/edit-resources createdrolebinding.rbac.authorization.k8s.io/spark-operator-edit-resources created

成功创建操作员后，您可以尝试创建第一个集群。选择您要使用的特定项目：

oc project <project_name>

然后使用克隆存储库中可用的ConfigMap的示例文件创建一个小型Spark集群（1个主服务器和2个工作器）：

oc apply -f examples/cluster-cm.yaml

这是该文件的内容：

apiVersion: v1
kind: ConfigMap
metadata:name: my-spark-clusterlabels:radanalytics.io/kind: SparkCluster
data:config: |-worker:instances: "2"master:instances: "1"

上面命令的输出是：

configmap/my-spark-cluster created

成功创建集群后，查看OpenShift Web UI，情况应为：

要访问Spark Web UI，您需要为其创建路由。可以通过OpenShift Origin UI来执行此操作，方法是选择Spark服务，然后单击
路线链接。一旦创建了路由，就可以从OpenShift外部访问主服务器和工作服务器的Spark Web UI。

现在，您可以使用Spark集群。您可以通过进入主Pod控制台，在此处启动Scala Spark shell并执行一些代码来开始对其进行测试：

在本系列的第二部分中，我们将在转到Spark应用程序管理之前探索Spark运算符的实现和配置详细信息。

翻译自: https://www.javacodegeeks.com/2019/05/kubernetes-spark-operator-openshift-origin.html

OpenShift Origin中的Kubernetes Spark运算符（第1部分）相关推荐

openshift_OpenShift Origin中的Kubernetes Spark运算符（第1部分）
openshift 本系列有关Radanalytics.io的Kubernetes Spark运算符 OpenShift起源 . 它是一个开源的运营商来管理 Apache Spark集群和应用程序. ...
Openshift源中的高可用性Drools无状态服务
嗨,大家好! 在这篇博客文章中,我想举一个简单的例子,展示使用Openshift 3(Docker和Kubernetes)扩展Drools Stateless服务有多么容易. 我将展示如何通过按需提供 ...
《开源容器云OpenShift：构建基于Kubernetes的企业应用云平台》一2.3　完善OpenShift集群...
本节书摘来自华章出版社<开源容器云OpenShift:构建基于Kubernetes的企业应用云平台>一书中的第2章,第2.3节,作者陈耿 ,更多章节内容可以访问云栖社区"华章计 ...
openshift origin 用户权限创建
接上一篇的安装完成后需要创建用户,才能登陆平台.安装的时候我采用了在Ansible的hosts文件中定义了HTPasswd文件作为后端的用户身份信息库.安装程序自动生成了数据文件/etc/origin ...
openshift/origin学习记录（12）——离线安装集群
最近在公司申请了三台云主机,并在这三台云主机上搭建openshift集群.由于公司的云主机是内网环境,无法连接外网,所以需要离线安装.记录过程如下: 搭建本地yum服务器在之前在线安装的opensh ...
Openshift Origin开发日记 1 - 10
1.下载https://github.com/openshift/origin/releases 并且上传到360云盘 /Postgraduate/云计算/Openshift Origin相关/安装包 ...
Openshift Origin开发日记 11-20
11. 至此,登录一个用户,比如test,add to project点击之后,可以发现现在可以选择template了 12.根据下面的视频链接,测试下 https://access.redhat.c ...
在Windows上运行OpenShift Origin
OpenShift是这些天为我提供的最有趣的PaaS. 不仅因为它是Red Hat产品系列的一部分,而且还因为它包含了我对现代PaaS的期望. 它支持基于映像的部署(使用Docker-Images), ...
在Mac上安装 openshift origin 3.6.0 新版本 oc 版本oc v3.9.0+191fece
具体安装请参考前面文章,这里只将1.4换成3.6 本文主要是通过版本更新,将1.4版本换成3.6: 用Docker和Origin版本要对应 To run an OpenShift cluster lo ...

OpenShift Origin中的Kubernetes Spark运算符（第1部分）

OpenShift Origin中的Kubernetes Spark运算符（第1部分）相关推荐

最新文章

热门文章