基于Lucene3.5.0如何从TokenStream获得Token

通过学习Lucene3.5.0的doc文档，对不同release版本 lucene版本的API改动做分析。最后找到了有价值的改动信息。

LUCENE-2302: Deprecated TermAttribute and replaced by a new CharTermAttribute. The change is backwards compatible, so mixed new/old TokenStreams all work on the same char[] buffer independent of which interface they use. CharTermAttribute has shorter method names and implements CharSequence and Appendable. This allows usage like Java's StringBuilder in addition to direct char[] access. Also terms can directly be used in places where CharSequence is allowed (e.g. regular expressions). (Uwe Schindler, Robert Muir)
以上信息可以知道，原来的通过的方法已经不能够提取响应的Token了
[java] view plaincopyprint?
1. StringReader reader = new StringReader(s);
2. TokenStream ts =analyzer.tokenStream(s, reader);
3. TermAttribute ta = ts.getAttribute(TermAttribute.class);
StringReader reader = new StringReader(s); TokenStream ts =analyzer.tokenStream(s, reader); TermAttribute ta = ts.getAttribute(TermAttribute.class);
通过分析Api文档信息可知，CharTermAttribute已经成为替换TermAttribute的接口
因此我编写了一个例子来更好的从TokenStream中提取Token
[html] view plaincopyprint?
1. package com.segment;
2. import java.io.StringReader;
3. import org.apache.lucene.analysis.Analyzer;
4. import org.apache.lucene.analysis.Token;
5. import org.apache.lucene.analysis.TokenStream;
6. import org.apache.lucene.analysis.tokenattributes.CharTermAttribute;
7. import org.apache.lucene.analysis.tokenattributes.TermAttribute;
8. import org.apache.lucene.util.AttributeImpl;
9. import org.wltea.analyzer.lucene.IKAnalyzer;
10. public class Segment {
11. public static String show(Analyzer a, String s) throws Exception {
12. StringReader reader = new StringReader(s);
13. TokenStream ts = a.tokenStream(s, reader);
14. String s1 = "", s2 = "";
15. boolean hasnext= ts.incrementToken();
16. //Token t = ts.next();
17. while (hasnext) {
18. //AttributeImpl ta = new AttributeImpl();
19. CharTermAttribute ta = ts.getAttribute(CharTermAttribute.class);
20. //TermAttribute ta = ts.getAttribute(TermAttribute.class);
21. s2 = ta.toString() + " ";
22. s1 += s2;
23. hasnext = ts.incrementToken();
24. }
25. return s1;
26. }
27. public String segment(String s) throws Exception {
28. Analyzer a = new IKAnalyzer();
29. return show(a, s);
30. }
31. public static void main(String args[])
32. {
33. String name = "我是俊杰，我爱编程，我的测试用例";
34. Segment s = new Segment();
35. String test = "";
36. try {
37. System.out.println(test+s.segment(name));
38. } catch (Exception e) {
39. // TODO Auto-generated catch block
40. e.printStackTrace();
41. }
42. }
43. }

基于Lucene3.5.0如何从TokenStream获得Token相关推荐

基于Lucene3.5.0怎样从TokenStream获得Token
通过学习Lucene3.5.0的doc文档,对不同release版本号 lucene版本号的API修改做分析.最后找到了有价值的修改信息. LUCENE-2302: Deprecated TermAt ...
Element 2.6.0 发布，基于 Vue 2.0 的桌面端组件库
开发四年只会写业务代码,分布式高并发都不会还做程序员? Element 2.6.0 发布了,Element 是一套为开发者.设计师和产品经理准备的基于 Vue 2.0 的桌面端组件库,提供了配套设 ...
深度学习实战—基于TensorFlow 2.0的人工智能开发应用
作者:辛大奇著出版社:中国水利水电出版社品牌:智博尚书出版时间:2020-10-01 深度学习实战-基于TensorFlow 2.0的人工智能开发应用
谈谈基于OAuth 2.0的第三方认证 [上篇]
对于目前大部分Web应用来说,用户认证基本上都由应用自身来完成.具体来说,Web应用利用自身存储的用户凭证(基本上是用户名/密码)与用户提供的凭证进行比较进而确认其真实身份.但是这种由Web应用全权负 ...
基于TensorFlow 2.0的中文深度学习开源书来了！GitHub趋势日榜第一，斩获2K+星
十三发自凹非寺量子位报道 | 公众号 QbitAI TensorFlow 2.0 发布已有一个半月之久,你会用了吗? 近日,一个叫做深度学习开源书的项目在火了.GitHub趋势日榜排名全球第 ...
基于.Net 2.0 (C# 2.0, ASP.NET 2.0)的快速Web开发框架设计
基于.Net 2.0 (C# 2.0, ASP.NET 2.0)的快速Web开发框架设计整个Framework结构如下: Framework.Common - 常用组件(Design By Cont ...
基于stm32、0.96寸OLED实现的贪吃蛇小游戏（详细源码注释）
简介:本实验基于stm32最小系统.0.96寸OLED(68*128)和摇杆实现一个经典的贪吃蛇小游戏.项目源码地址:点击下载. 硬件设计: 普通摇杆,0.96寸OLED 单色屏幕(SPI协议通讯), ...
基于stm32、0.96寸OLED实现的俄罗斯方块小游戏（详细源码注释）
概述:本实验基于stm32最小系统.0.96寸OLED(68*128)和摇杆实现一个经典的俄罗斯方块小游戏.项目源码地址:点击下载. 硬件要求: 普通摇杆,两个电位器和一个开关组成,左右摇动控制一个电 ...
鸿蒙系统8xmax,华为8月9日发布基于安卓10.0全新系统：自主鸿蒙会同台亮相
7月27日消息,对于即将开幕的华为开发者大会,华为终端官方再次给出消息称,在8月9日首天的大会上,他们将发布新一代基于Android Q(也叫做Android 10.0)的手机系统EMUI 10.0. ...

基于Lucene3.5.0如何从TokenStream获得Token

基于Lucene3.5.0如何从TokenStream获得Token相关推荐

最新文章

热门文章