spark 读取elasticsearch数据

添加依赖

<dependency><groupId>org.elasticsearch</groupId><artifactId>elasticsearch-hadoop</artifactId><version>6.8.7</version>
</dependency>

案例测试

import com.hm.util.SparkHelper
import org.apache.spark.sql.{DataFrame, SparkSession}object ReadbyES {def main(args: Array[String]): Unit = {val spark: SparkSession = SparkHelper.getSparkSessionimport org.elasticsearch.spark.sql._val options = Map("es.nodes.wan.only" -> "true","es.nodes" -> "192.168.xx.1xx","es.port" -> "9200")val df: DataFrame = spark.read//指定输入数据源格式。.format("es")//为基础数据源添加输入选项。.options(options)//对于需要路径的数据源（例如，由本地或分布式文件系统支持的数据），将输入作为DataFrame加载。.load("hive_table/docs")df.show()}
}

spark 读取elasticsearch数据相关推荐

Spark读取Hive数据的两种方式与保存数据到HDFS
Spark读取Hive数据的两种方式与保存数据到HDFS Spark读取Hive数据的方式主要有两种 1. 通过访问hive metastore的方式,这种方式通过访问hive的metastore元数 ...
java读avro的流_0016-Avro序列化反序列化和Spark读取Avro数据
1.简介本篇文章主要讲如何使用java生成Avro格式数据以及如何通过spark将Avro数据文件转换成DataSet和DataFrame进行操作. 1.1Apache Arvo是什么? Apach ...
0016-Avro序列化反序列化和Spark读取Avro数据
温馨提示:要看高清无码套图,请使用手机打开并单击图片放大查看. 1.简介本篇文章主要讲如何使用java生成Avro格式数据以及如何通过spark将Avro数据文件转换成DataSet和DataFra ...
24-java版Spark程序读取ElasticSearch数据
1.概述新建一个maven项目依赖如下 <?xml version="1.0" encoding="UTF-8"?> <project x ...
logstash读取Elasticsearch数据保存为json,logstash接收log数据写入kafka生产者
[提前声明] 文章由作者:张耀峰结合自己生产中的使用经验整理,最终形成简单易懂的文章写作不易,转载请注明,谢谢! 代码案例地址: ?https://github.com/Mydreamandrea ...
spark读取hbase数据
import org.apache.hadoop.hbase.HBaseConfiguration import org.apache.hadoop.hbase.mapreduce.TableInpu ...
17 记一次 spark 读取大数据表 OOM OutOfMemoryError: GC overhead limit exceeded
前言 // 呵呵一天的车, 这就是过年吧!, 但是你还能看到那一盏为你留的灯, 这可能就是羁绊吧 // 草稿箱抽一波呵呵最近因为一次测试造了一张 200w 数据记录的表然后业务上需要分 ...
hive 分区_代码 | Spark读取mongoDB数据写入Hive普通表和分区表
版本: 一.原始数据及Hive表 MongoDB数据格式 Hive普通表 Hive分区表二. IDEA+Maven+Java 依赖代码工具类三. 错误解决办法 1. IDEA会获取不到Hive ...
mongodb数据导入hbase,spark读取hbase数据分析
为什么80%的码农都做不了架构师?>>> 使用mavn管理相关依赖包pom.xml <project xmlns="http://maven.apache.or ...

spark 读取elasticsearch数据

案例测试

spark 读取elasticsearch数据相关推荐

最新文章

热门文章