Elasticsearch 6.4 ingest-attachment对文件IK分词器全文检索

这里写自定义目录标题

1.简介
2.实现步骤

1.简介

ElasticSearch只能处理文本，不能直接处理文档。要实现 ElasticSearch 的附件导入需要以下两个步骤：
一、对多种主流格式的文档进行文本抽取。
二、将抽取出来的文本内容导入 ElasticSearch。

由于 ElasticSearch 是基于 JSON 格式的文档数据库，所以附件文档在插入 ElasticSearch 之前必须进行 Base64 编码。

2.实现步骤

建立自己的文本抽取管道pipeline

1、单文件上传
PUT _ingest/pipeline/simple_attachment
{
“description” : “lhy-单文件管道流”,
“processors”:[
{
“attachment”:{
“field”:“data”,
“indexed_chars” : -1,
“properties”:[“content”, “title”,“content_type”],
“ignore_missing”:true
}
}]
}

2.创建多文件流
PUT _ingest/pipeline/multiple_attachment
{
“description”: “lhy-多文件管道流”
, “processors”: [
{
“foreach”: {
“field”: “attachments”,
“processor”: {
“attachment”: {
“target_field”: “_ingest._value.attachment”,
“field”: “_ingest._value.data”,
“properties”:[“content”, “title”,“content_type”]
}
}
}
}
]
}
3.字段含义：
field : 指定某个字段作为附件内容字段（需要用base64进行加密）
target_field：指定某个字段作为附件信息字段（作者、时间、类型）
indexed_chars : 指定解析文件管道流的最大大小，默认是100000。如果不想限制设置为-1（注意设置为-1的时候如果上传文件过大会而内存不够会导致文件上传不完全）
indexed_chars_field：指定某个字段能覆盖index_chars字段属性，这样子可以通过文件的大小去指定indexed_chars值。
properties: 选择需要存储附件的属性值可以为：content,title,name,author,keyword,date,content_type,content_length,language
ignore_missing：默认为false，如果设置为true表示，如果上面指定的field字段不存在这不对附件进行解析，文档还能继续保留

导入文档

public void testFileQuery() {
Settings settings = Settings.builder()
.put(“cluster.name”, “my-esLearn”) //连接的集群名
.put(“client.transport.ignore_cluster_name”, true) //如果集群名不对，也能连接
.build();

//创建client
TransportClient  transportClient = new PreBuiltTransportClient(settings)
.addTransportAddress(new TransportAddress(InetAddress.getByName("192.168.1.45"), 9300));
String path = "D:\\testFile\\test.doc"
String contentStr = encryptToBase64(path);
XContentBuilder xContentBuilder = XContentFactory.jsonBuilder().startObject()
.field("id", "java001")
.field("title", "这是我第一个javaAPI")
.field("data", contentStr)
.endObject();
transportClient.prepareIndex("index","doc","java001").setPipeline("simple_attachment")
.setSource(xContentBuilder).get();

}

public String encryptToBase64(String filePath) {
if (filePath == null) {
return null;
}
try {
byte[] b = Files.readAllBytes(Paths.get(filePath));
return Base64.getEncoder().encodeToString(b);
} catch (IOException e) {
e.printStackTrace();
}
return null;
}

查询文档
GET /index/doc/_search

[参考] (https://blog.csdn.net/LazyBoy_Z_z/article/details/82865115)
[参考] (https://blog.csdn.net/LazyBoy_Z_z/article/details/82864264)