集成nlpir语义分析

Java 集成 NLPIR 语义分析系统1 简介NLPIR 是一套专门针对原始文本集进行处理和加工的软件，提供了中间件处理效果的可视化展示，也可以作为小规模数据的处理加工工具。用户可以使用该软件对自己的数据进行处理。NLPIR 分词系统前身为 2000 年发布的 ICTCLAS 词法分析系统，从 2009 年开始，为了和以前工作进行大的区隔，并推广 NLPIR 自然语言处理与信息检索共享平台，调整命名为NLPIR 分词系统。NLPIR 系统支持多种编码( GBK 编码、UTF8 编码、 BIG5 编码) 、多种操作系统(Windows, Linux， FreeBSD 等所有主流操作系统) 、多种开发语言与平台(包括：C/C++/C#,Java,Python,Hadoop 等) 。本文中，我们讨论 NLPIR 与 Java Web 项目的集成使用。2 源码下载 URL 地址可以下载整个的 NLPIR 项目，如果要下载某一单独部分，比如 summary(摘要) ，在下载时需要用 TortoiseSVN 工具，在 check out 里输入地址： tree/master 换成 trunk，下载。3 与 web 项目集成web 项目的搭建与配置在这里不在累述。NLPIR2016 版本可以使用配置文件配置需要读取的 dll 路径使用配置文件时，代码中初始化接口时需要修改读取 dll 文件的路径。如：图中的 nlpirpathString 需要读取 dll_or_so_path 来获得(避免又用配置文件，有放 dll 到tomcat bin 目录下的问题)如果不用配置文件，则需要把用到的 dll 放到 tomcat 的 bin 目录下。我们以提取文本摘要为例，讲一下集成 NLPIR。3.1 加入 jar 包pom.xml 里加入 jna 包的引用3.2 拷贝 Data 和 win64 两个文件夹把下载的源码中 Data 和 win64 两个文件夹拷贝到 tomcat 的 bin 目录下3.3 拷贝代码拷贝 src 下的文件到项目下，修改包路径3.4 对方法进行简单封装ClibraryDS.java 类的代码如下，我把初始化接口的静态变量放到了自己的测试类中package com.springmvc.nlpir.summary.lingjoin.summary;import com.sun.jna.Library;/*** 生成摘要的组件，该组件可以自定义摘要的长度* @author lingjoin_zyp**/public interface CLibraryDS extends Library {// 定义并初始化接口的静态变量/*** 功能：初始化* @param sPath Data目录的父目录，可以直接传入 ““来表示寻找项目下的Data 目录* @param nEncoding 设置分词编码，只能处理相应初始编码的文件. 默认为GBK。* 0：GBK；1：UTF- 8;2:BIG5;3:GBK_FANTI* @param sLicenseCode 授权码，这里直接用“0“，就可以了* @return true - 成功； false - 失败* 备注：在进程中此函数必须在其他函数之前调用(只需执行一次)*/public boolean DS_Init(String sPath, int nEncoding, String sLicenseCode);/*** 功能：生成单文档摘要* @param sText 文档内容* @param fSumRate 文档摘要占原文百分比,该值最大不能超过1.00* @param iSumLen 用户限定的摘要长度 * @param bHtmlTagRemove-[IN] 是否需要对原文进行 Html标签的去除* @return* 备注： fSumRate和iSumLen这个两个参数设置一个就可以了，例如：* DS_SingleDoc(sText, 0.00f, 80);* DS_SingleDoc(sText, 0.50f, 0);*/public String DS_SingleDoc(String sText, float fSumRate, int iSumLen, boolean bHtmlTagRemove);/*** 退出，释放资源；进程结束前须调用它释放所占用的内存资源* 备注：如果需要频繁的生成摘要，那么不要调用这个方法*/public void DS_Exit();/*** 获得错误消息* @return 错误消息* 备注：如果初始化失败，可以用该方法输出初始化失败原因*/public String DS_GetLastErrMsg();}新建一个测试类，封装接口方法package com.springmvc.nlpir.impl;import java.math.BigDecimal;import com.springmvc.nlpir.keyword.CLibrary;import com.springmvc.nlpir.summary.lingjoin.deepClassify.DeepClassifierLibrary;import com.springmvc.nlpir.summary.lingjoin.fileutil.OSinfo;import com.springmvc.nlpir.summary.lingjoin.summary.CLibraryDS;import com.springmvc.utils.DoProperties;import com.sun.jna.Native;public class MyTest {private CLibrary instance;private CLibraryDS dsInstance;private DeepClassifierLibrary dcInstance;public MyTest(){CLibraryDS dsInstance = (CLibraryDS) Native.loadLibrary(OSinfo.getSysAndBit(“LJSummary“), CLibraryDS.class);boolean flag = dsInstance.DS_Init(““, 1, “0“);if (flag == false) {// 如果初始化失败，就打印出失败原因System.out.println(dsInstance.DS_GetLastErrMsg());}String nlpirpathString = DoProperties.properties.getProperty(“dll_or_so_path“);nlpirpathString = nlpirpathString.substring(0, nlpi