java spark es_JavaSpark写RDD到ES时指定文档ID的

spark版本：2.3

ES版本：7.1

问题描述：

在通过JavaSpark写入数据到ES过程中，需要对文档id进行手动指定。

在查询ES官网之后，返现官网介绍中是有次方法的：

可以看到，JavaEsSpark.saveToEs该方法是有一个这样的构造方法，需要传入一个ImmutableMap参数

ImmutableMap.of("es.mapping.id","id")

其中"id"即为RDD中的存在的某个字段

问题：

在使用该方法的时候，我试图传一个这个方法进去，发现类型不对,试了各种方式，都是不行，最后发现这里是需要的一个scala类型的map类型，问题表象如下：

解决：

既然不行，程序需要的是一个scala类型的map，那我就给它传一个这样的类型进去，但是在java中直接创建一个scala类型的map是不那么好搞的，所以需要想办法将java类型的map转换为scala类型的map。

此时是，我单独写了一个工具类，转么就是将java类型的map转换为scala类型的map：

最终实现方式：

在此记录，希望对遇到同样问题的砖友有帮助

java spark es_JavaSpark写RDD到ES时指定文档ID的相关推荐

es内嵌文档查询_ElasticSearch 文档的增删改查都不会？
本文主要是介绍 ElasticSearch 的文档增删改查和批量操作,同时会介绍一些 REST API 返回状态码的具体含义. 我们先来看下这个表: 这个表包含了 Index.Create.Read. ...
Java代码规范、格式化和checkstyle检查配置文档
为便于规范各位开发人员代码.提高代码质量,研发中心需要启动代码评审机制.为了加快代码评审的速度,减少不必要的时间,可以加入一些代码评审的静态检查工具,另外需要为研发中心配置统一的编码模板和代码格式化模 ...
java+vue实现前后端导出html的word文档
java+vue实现前后端导出html的word文档该内容主要是完成项目中实战导出word文档,而且不需要其他的依赖,原生的写法即可! 本项目架构: PS:不是这个架构的话看下逻辑就好,赶紧找别的博 ...
ES 5.x Bulk update重复的文档id性能低下
现在很多公司(包括我们自己)将ES用作数据库数据的索引,将多个数据库的数据同步到ES是非常常见的应用场景.所以感觉这个问题可能会困扰不止一个用户,而官方的文档也没有对update的底层机制及局限做特别 ...
ES 5.x bulk update重复的文档ID性能低下分析
目前很多公司将ES作为数据库数据的索引,将多个数据库的数据同步到ES是非常常见的应用场景.所以感觉问题可能会困扰不止一个用户,而官方的文档没有对update底层机制作了详细的说明,特将该问题整理成文章 ...
如何写出好的产品帮助文档？
大多数程序员都不喜欢写文档,有写文档时间,还不如重构一遍代码.早前我也这么认为,究其原因,一则自己不喜欢也不擅长写文档,代码是给机器读的,只要语法和逻辑没问题,计算机就会听命执行,而文档是写给人看的, ...
java计算机毕业设计Web产品管理系统MyBatis+系统+LW文档+源码+调试部署
java计算机毕业设计Web产品管理系统MyBatis+系统+LW文档+源码+调试部署 java计算机毕业设计Web产品管理系统MyBatis+系统+LW文档+源码+调试部署本源码技术栈: 项目架构 ...
如何写简单实用的产品需求文档PRD
文章目录如何写简单实用的产品需求文档PRD 前言产品需求文档模板 1. 概述 1.1 产品概述 1.2 典型使用场景 1.3 功能列表 1.4 目标用户 1.5 名词解释 1.6 参考文档 2. ...
计算机毕业设计Java心理健康管理系统(源码+系统+mysql数据库+Lw文档）
计算机毕业设计Java心理健康管理系统(源码+系统+mysql数据库+Lw文档) 计算机毕业设计Java心理健康管理系统(源码+系统+mysql数据库+Lw文档) 最新计算机专业原创毕业设计参考选题都 ...

java spark es_JavaSpark写RDD到ES时指定文档ID的

java spark es_JavaSpark写RDD到ES时指定文档ID的相关推荐

最新文章

热门文章