Visi如何使用Weave和Docker

我对Spark的简单Web前端Visi的工作方式有很多疑问。这篇博客文章是概述。

带有简单前端的托管Spark

Visi是一个托管式Spark集群，具有基于Web的简单前端，允许精通Excel的人员输入可转换为Spark作业的公式。

Spark集群和前端按需构建，托管在Docker容器中，并使用Weave通过网络进行通信。通过动态更新的HAProxy路由表向用户显示Web UI。

螺母和螺栓

支持Visi是一个OS级别实例的服务器场（不能真正称它们为盒子或硬件，但它们是运行Ubuntu的东西计算机。）服务器场中有一定数量的计算机处于“空闲”状态，并且当计算机处于运行状态时，使用水平低于阈值，我们将启动更多实例。当太多实例处于空闲状态时，我们会将实例降低到合理的空闲水平。

每个服务器场实例都连接到Weave虚拟网络。前端还连接了Weave虚拟网络。

当用户想要新的Spark集群和Visi Web前端时，执行程序从服务器场中选择机器，并启动包含Spark集群和Visi Web前端的Docker容器，从而在Weave中分配自定义子网。 Visi Web前端和HAProxy主机也放置在自定义的Weave子网中。这意味着Visi前端可以与HAProxy框（但不能与其他Visi前端实例）和Spark群集通信。 Spark集群可以与Spark集群的其他成员和Visi前端通信，但不能与其他Spark集群通信。

当Web前端向执行者发出信号，表明其已启动并可以接受请求时，该执行者会根据浏览器的URL和JSESSIONID将新的“后端”添加到HAProxy配置和前端路由（因此仅记录用户可以看到到后端Visi实例的路由）。

会议结束

当执行程序检测到用户的浏览器已与Visi实例断开连接时，执行程序使代码收集Visi实例的当前状态（包括用户的当前笔记本状态）和Spark实例，并对这些信息进行腌制，以便将其解开。下次要求使用Visi笔记本电脑时。

保存腌制的信息后，执行程序将发信号通知Spark集群和Visi实例Docker容器关闭。包含服务器场实例的状态以及HAProxy配置的表将更新。最后，执行程序将用于Visi实例和Spark集群的Weave子网返回到可用池。

隔离

Docker容器代表Visi前端和Spark集群的隔离执行环境。 Visi前端和Spark集群都在执行任意的，不受信任的代码。 Docker提供了一种将代码沙盒化的机制，因此一个用户的代码无法访问另一用户的代码或数据。

Weave在网络级别提供隔离，因此每个Spark群集和Visi前端只能互相看到，而服务器场上运行的其他实例则不能看到。

轻松联网

除了Docker / Weave组合提供的隔离之外，Weave还提供了一种非常简单的机制，可用于将HAProxy连接到Visi前端，而不必在服务器场计算机上分配和管理多个端口。此外，Spark位于Weave虚拟网络上的端口7077，而不是非正常的Spark端口。这减少了跨网络分配资源所需的逻辑。

翻译自: https://www.javacodegeeks.com/2014/11/how-visi-uses-weave-and-docker.html