数据量小的方法一：

首先必须创建client

public class ClientConfig {/*** 批量导入到es中必须的* @return  RestHighLevelClient*/@Beanpublic RestHighLevelClient restHighLevelClient(){return new RestHighLevelClient(RestClient.builder(HttpHost.create("http://192.168.150.102:9200")));}
}

批量导入数据量大时，用分页

public class FeignTest {@Autowiredprivate ItemMapperService itemService;@Autowiredprivate RestHighLevelClient client;/*** 批量导入文档  方式一*/@Testvoid testBulkRequest() throws IOException {buildPage(0, 20000);}private void buildPage(int current, int size) throws IOException {//构建分页器List<Item> records = itemService.page(new Page<>(current, size)).getRecords();//判断if (records == null||records.size() == 0) {return;}//转换为文档类型// 1.创建RequestBulkRequest request = new BulkRequest();// 2.准备参数，添加多个新增的Requestfor (Item list : records) {// 2.1.转换为文档类型HotelDocItemDoc itemDoc= new ItemDoc(list);//创建新增文档的request对象request.add(new IndexRequest("item").id(itemDoc.getId().toString()).source(JSON.toJSONString(itemDoc), XContentType.JSON));}// 3.发送请求client.bulk(request, RequestOptions.DEFAULT);buildPage(current + 1, size);}
}

Json的依赖

<dependency><groupId>com.alibaba</groupId><artifactId>fastjson</artifactId><version>1.2.78</version></dependency>

将数据库的数据导入es中相关推荐

MySQL数据库数据导入ES中
需要安装 mysql数据导入ES中,用到的有logstash,ES,mysql的连接包.链接:https://pan.baidu.com/s/1xopMMUtPir12zrQfYcwBZg 提取码: ...
如何将数据库的数据导入到csv文件中
如何将数据库的数据导入到csv文件中 2011-01-13 20:23 set colsep , -- separate columns with a comma set pagesize 0 ...
redis和sqlserver数据同步_SQLServer数据库之redis数据库的数据导入到SQLServer数据库中...
本文主要向大家介绍了SQLServer数据库之redis数据库的数据导入到SQLServer数据库中,通过具体的内容向大家展现,希望对大家学习SQLServer数据库有所帮助. #!/usr/bin/ ...
mysql rrd_将RRD数据库中数据导入MYSQL中
一.RRD数据库及RRDTOOL简介意为Round Robin Database.设计理念为按照round-robin的方式进行存储,在一个周期之后(可自己定义),新的数据会覆盖掉原来的数据.所以R ...
sql导入excel数据失败_nifi入门从Excel数据导入ES开始
概述 nifi为不同系统间数据流动而生,其可视化的界面操作允许用户零编码实现不同系统间的数据流转.Nifi的架构如下图所示: NiFi在操作系统上的JVM内执行,JVM上NiFi的组件包括Web Se ...
ElasticSearch04--批量操作bulk--mysql数据导入ES
一.bulk批量操作 Bulk 批量操作是将文档的增删改查一些列操作,通过一次请求全都做完.减少网络传输次数. #bulk做个批量操作:修改name→李四:新增5:删除4 POST _bulk {&q ...
sqoop将关系型数据库的表导入hive中
1.sqoop 将关系型数据库的数据导入hive的参数说明: 2. 将关系型的数据库中的表数据导入到hive的表中 sqoop import --connect jdbc:oracle:thin:@/ ...
ftp服务器为我方,对方发送数据,巡检光衰数据导入es
""" ftp服务器为我方,对方发送数据,巡检光衰数据导入es ftp conn_id 在airflow webserver 中的Admin->Connection ...
pythonmysql数据分析_Python操作Mysql数据库入门——数据导入pandas（数据分析准备）...
原标题:Python操作Mysql数据库入门--数据导入pandas(数据分析准备) 欢迎关注天善智能 hellobi.com,我们是专注于商业智能BI,大数据,数据分析领域的垂直社区,学习.问答.求 ...

将数据库的数据导入es中

数据量小的方法一：

首先必须创建client

批量导入数据量大时，用分页

Json的依赖

将数据库的数据导入es中相关推荐

最新文章

热门文章