Lucene中string docvalues使用utf-16的优化

原来的string docvalues使用utf-8编码，载入时转码花费大量时间，我们把转码实现从new String(bytes, "UTF-8")改用lucene的bytesRef.utf8ToString,降低了大约十秒的时间。

想进一步优化，我们使用UTF-16LE编码，解码很easy甚至仅仅需拷贝,假设用简单的byte[]到char[]转换，能够在节省7秒时间，而假设用unsafe能够节省估计15秒以上的时间(没有对全量索引做測试)。

转载于:https://www.cnblogs.com/hrhguanli/p/3829930.html

Lucene中string docvalues使用utf-16的优化相关推荐

浅谈Lucene中的DocValues
2019独角兽企业重金招聘Python工程师标准>>> 前言: 在Lucene4.x之后,出现一个重大的特性,就是索引支持DocValues,这对于广大的solr和elasticse ...
【Elasticsearch】Lucene 中的 Stored Fields 存储优化自定义存储类型序列化方式
1.概述转载:Lucene 中的 Stored Fields 存储优化 1 背景 Qunar 酒店的搜索和 suggest 是基于 Lucene 构建的,在我们的使用场景中,由于召回和排序是作为两个 ...
Lucene 中的Tokenizer, TokenFilter学习
https://brandnewuser.iteye.com/blog/2305140 lucene中的TokenStream,TokenFilter之间关系 TokenStream是一个能够在被调用 ...
Java中String和byte[]间的转换浅析
Java语言中字符串类型和字节数组类型相互之间的转换经常发生,网上的分析及代码也比较多,本文将分析总结常规的byte[]和String间的转换以及十六进制String和byte[]间相互转换的原理及实 ...
string 相等 java_java中String相等问题
1.首先介绍三个String对象比较的方法: (1)equals:比较两个String对象的值是否相等.例如: String str1 = "hello quanjizhu"; S ...
2.Java中String，StringBuilder以及StringBuffer的关系与区别
String StringBuffer StringBuilder String的值是不可变的,这就导致每次对String的操作都会生成新的String对象,不仅效率低下,而且浪费大量 ...
java中String的常用方法
java中String的常用方法 1.length() 字符串的长度例:char chars[]={'a','b'.'c'}; String s=new String(chars); int len ...
int的长度_Java中String长度有限制吗？身边的同事每一个人知道！
你知道的越多,不知道的就越多,业余的像一棵小草! 你来,我们一起精进!你不来,我和你的竞争对手一起精进! 编辑:业余草 www.toutiao.com/i6893014573322863111 推荐: ...
java string 后几位_java中String占几个位元组
java中String占几个位元组以下文字资料是由(历史新知网www.lishixinzhi.com)小编为大家搜集整理后发布的内容,让我们赶快一起来看一下吧! java中String占几个位元组 J ...

Lucene中string docvalues使用utf-16的优化

Lucene中string docvalues使用utf-16的优化相关推荐

最新文章

热门文章