当前京东数据平台用到spark 的五种方式

1.spark sql 数据从Hive 同步到ES
用python包装命令，使用spark-submit 提交，run_shell_cmd(spark-submit) 具体案例可以参考另外的博文

2.机器学习会用到pyspark 自带的类似kmeans 的方法做数据加载，用pypsark 写应用程序，通过shell 调

spark-submit 执行命令包装成zip 进行发布

3.再有就是机器学习用Scalaspark 打成jar 结合shell spark-submit 打包成zip 发布

4.另外一种情况把现在python sql 脚本发布到spark sql 的队列中，直接执行，相对改变较小，经过测试发现

需要对内存和core 和executor 要有较好的认知把握才能提高程序执行效率

5.最后一种情况是用Java 或是 Scala python 写 spark程序 rdd ，打成jar 发布 shell zip 包执行，这些个

变化相对较大，不太容易呈现，改写要求高，但是对提高对spark 的认识和技能掌握更有提高的空间

comment ：目前公司前四种都有用到，第一和第四条我有尝试测试，对于第2 第3 ，第5 暂时未有深度了解，

不过迫在眉睫。

当前京东数据平台用到spark 的五种方式相关推荐

CDH大数据平台搭建之SPARK集群搭建
CDH大数据平台搭建之SPARK集群搭建一.安装规划二.下载三.安装及配置 1.解压 2.修改配置文件四.启动五.JPS检查节点一.安装规划参考CHD大数据平台搭建之集群规划二.下载 ...
android mysql储存动态数据_Android数据存储五种方式总结
本文介绍Android平台进行数据存储的五大方式,分别如下: 下面详细讲解这五种方式的特点第一种: 使用SharedPreferences存储数据适用范围:保存少量的数据,且这些数据的格式非常简单 ...
批量插入数据库语句java_java相关：MyBatis批量插入数据到Oracle数据库中的两种方式(实例代码)...
java相关:MyBatis批量插入数据到Oracle数据库中的两种方式(实例代码) 发布于 2020-7-22| 复制链接本文通过实例代码给大家分享了MyBatis批量插入数据到Oracle数据库 ...
Android数据存储五种方式总结
1 使用SharedPreferences存储数据 2 文件存储数据 3 SQLite数据库存储数据 4 使用ContentProvider存储数据 5 网络存储数据下面详细讲解 ...
大数据正在改变客户服务的五种方式
大数据正在改变客户服务的五种方式任何组织的命脉,无论是否面向服务,都是需要为客户提供良好的服务.组织如何与其客户进行互动,会影响他们如何看待组织,这会影响潜在客户,除了组织最忠实的客户之外. 客户服 ...
Excel中数据透视表数据源更新的三种方式
Excel中数据透视表数据源更新的三种方式 1.在原有的基础上重新选择数据源 2.变数据源为表格形式,在创建一个透视表,之后如果添加的数据,选中透视表右键刷新即可 3.利用更新过的数据源再重新创建一个 ...
传感器信号如何发送到服务器,传感器采集到的数据通过无线传输至监控服务器的四种方式...
传感器采集到的数据通过无线传输至监控服务器的四种方式 [复制链接] 目前,工业物联网传感器数据采集无线传输至监控服务器比较常用的通讯解决方案主要有GPRS/4G,433MHz和2.4GHz等三种,而以 ...
前端数据交互的五种方式
数据交互的主要五种方式:xhr .$.ajax .fetch.axios .vue-resource. 1.XMLHttpRequest是原生js基于浏览器所提供的一种可以数据交互的方式. 优点:1. ...
【大数据平台】基于Spark的美国新冠肺炎疫情数据分析及预测
(本实验系中国地质大学(武汉)2022年秋期大数据平台及应用课程设计) 一.选题背景新型冠状病毒疫情是由严重急性呼吸系统综合征冠状病毒2(SARS-CoV-2)导致的2019冠状病毒病(COVID- ...

当前京东数据平台用到spark 的五种方式

当前京东数据平台用到spark 的五种方式相关推荐

最新文章

热门文章