spark on k8s的优势–为什么要把Spark部署在k8s上

大数据和云计算一直分属两个不同的领域。大数据主要关注怎么将数据集中起来，挖掘数据的价值；云计算主要关注怎么更高效地使用资源，提升资源的利用效率。当大数据发展到一定阶段的时候，它就会和云计算不期而遇。

两者的结合有以下优势:

1、技术栈的统一，降低运维成本

一般来说每个公司大数据的平台和云计算平台都是不可缺少的。

也就意味着我们有两套体系的集群
一套是Hadoop+spark 或者是商用的EMR。
一套是k8s，用于部署微服务和常规分析流程等应用。

两套集群意味着比较复杂的管理成本，两套集群都分别要做好安全和用户识别，以及日志监控报警，后续的成本跟踪和优化等措施。

假如我们能把spark运行在k8s中，这样我们的技术栈体系就会统一成一套集群体系，我们所有的安全，用户识别以及日志监控报警以及成本跟踪都可以使用k8s体系的。

hadoop组件---spark理论----spark on k8s模式的三种方式全面了解相关推荐

DM数据库开启归档模式的三种方式
在生产和测试环境中,为了保证数据库的安全性,我们经常需要开启数据库为归档模式,达梦数据库开启归档模式的方式有多种,本章主要介绍开启归档模式的相关方法和常用数据字典. 检查数据库环境是否是归档模式在开 ...
设置word只读模式的三种方式，分别如何取消只读模式？
word文件可以设置只读模式,但是设置只读模式的方法不止有一种,今天和大家分享三种方式: 方式一: 这种只读模式仅起到提示功能,只是在打开文件时提示他人作者希望以只读方式打开,但是打开文件之后,我们还 ...
shell进入特权模式_GRUB引导下进Linux单用户模式的三种方式,修改root密码
versace handbags ;ro root=/dev/VolGroup00/LogVol00 rhgb quiet 修改成 : grub append>ro root=/dev/VolG ...
代理模式与三种方式实现SpringAOP！
1.代理模式为什么要学习代理模式?因为这就是Spring AOP 的底层 ![SrpingAOP 和 SpringMVC]这两个面试重点! 代理模式分类: 静态代理动态代理 1.1静态代理角 ...
java责任链模式的三种方式，分享一点面试小经验
字节跳动⾯试前⼀⾯⼆⾯⼩结⾯试前头条的⾯试是三家⾥最专业的,每次⾯试前有专⻔的HR和你约时间,确定OK后再进⾏⾯试.每次都是通过视频⾯试,因为都是之前都是电话⾯或现场⾯,所以视频⾯试还是有 ...
进入网页页面的开发者模式——三种方式
1.什么是开发者模式:用来调试HTML,js等web内容的工具,就是开发者工具,我们可以通过开发者工具看到web页面的HTML,JS,以及浏览器的网络请求,CSS样式,内存使用等. 2.进入开发者模式 ...
Spark任务提交至YARN运行的3种方式与Mapreduce提交任务的几种形式
一: Spark任务提交至YARN运行的3种方式 Spark作为新一代计算平台的闪亮明星,在我们的大数据平台中具有非常重要的作用,SQL查询.流计算和机器学习等场景都能见到它的身影,可以说平台应用的数 ...
spark中自定义UDAF函数实现的两种方式---UserDefinedAggregateFunction和Aggregator
1.基于UserDefinedAggregateFunction实现平均数的计算 package com.bigdata.wb.sparkimport org.apache.spark.sql.Row ...
【小家Spring】SpringBoot中使用Servlet、Filter、Listener三大组件的三种方式以及原理剖析
每篇一句要么就安逸的穷,要么就拼命的干前提概要 web开发使用Controller基本能解决大部分的需求,但是有时候我们也需要使用Servlet,因为相对于拦截和监听来说,有时候原生的还是比较好用 ...

hadoop组件---spark理论----spark on k8s模式的三种方式全面了解

spark on k8s的优势–为什么要把Spark部署在k8s上

1、技术栈的统一，降低运维成本

hadoop组件---spark理论----spark on k8s模式的三种方式全面了解相关推荐

最新文章

热门文章