File -> Project Structure

    Libarries 添加jar包jna-4.0.0.jar

(2)将Data文件夹复制到ICTCLAS2015文件夹下

(3)声明调用分词器的接口，如下：

//定义接口Clibrary，继承自com.sun.jna.Librarypublic interface CLibrary extends Library{//定义并初始化接口的静态变量，这一个语句是用来加载dll的，注意dll文件的路径    //可以是绝对路径也可以是相对路径，只需要填写dll的文件名，不能加后缀    //加载dll文件NLPIR.dll    CLibrary Instance =(CLibrary) Native.loadLibrary("C:\\jars\\nlpir\\bin\\ICTCLAS2015\\NLPIR",CLibrary.class);    // 初始化函数声明    public int NLPIR_Init(String sDataPath, int encoding, String sLicenceCode);    //执行分词函数声明    public String NLPIR_ParagraphProcess(String sSrc, int bPOSTagged);    //提取关键词函数声明    public String NLPIR_GetKeyWords(String sLine, int nMaxKeyLimit, boolean bWeightOut);    //提取文件中关键词的函数声明    public String NLPIR_GetFileKeyWords(String sLine, int nMaxKeyLimit, boolean bWeightOut);    //添加用户词典声明    public int NLPIR_AddUserWord(String sWord);//add by qp 2008.11.10    //删除用户词典声明    public int NLPIR_DelUsrWord(String sWord);//add by qp 2008.11.10    //获取最后一个错误的说明    public String NLPIR_GetLastErrorMsg();    //退出函数声明    public void NLPIR_Exit();    //文件分词声明    public void NLPIR_FileProcess(String utf8File, String utf8FileResult, int i);

}

(4)分词器使用实例：

String system_charset="UTF-8";//说明分词器的bin文件所在的目录String dir="C:\\jars\\nlpir\\bin\\ICTCLAS2015";int charset_type=1;String utf8File="C:\\utf8file.txt";String utf8FileResult ="C:\\utf8result.txt";//初始化分词器int init_flag =CLibrary.Instance.NLPIR_Init(dir,charset_type,"0");String nativeBytes=null;if(init_flag==0){    nativeBytes=CLibrary.Instance.NLPIR_GetLastErrorMsg();    System.out.println("初始化失败，原因为"+nativeBytes);    return;}String sinput="去年开始，打开百度李毅吧，满屏的帖子大多含有“屌丝”二字，一般网友不仅不懂这词什么意思，更难理解这个词为什么会这么火。然而从下半年开始，“屌丝”已经覆盖网络各个角落，人人争说屌丝，人人争当屌丝。\n" +"从遭遇恶搞到群体自嘲，“屌丝”名号横空出世";try{

//参数0代表不带词性，参数1代表带有词性标识    nativeBytes=CLibrary.Instance.NLPIR_ParagraphProcess(sinput,0);    System.out.println("分词结果为："+nativeBytes);    //添加用户词典    CLibrary.Instance.NLPIR_AddUserWord("满屏的帖子 n");    CLibrary.Instance.NLPIR_AddUserWord("更难理解 n");    //执行分词    nativeBytes=CLibrary.Instance.NLPIR_ParagraphProcess(sinput,1);    System.out.println("增加用户词典后分词的结果为: " +nativeBytes);    //删除用户定义的词 更难理解    CLibrary.Instance.NLPIR_DelUsrWord("更难理解");    //执行分词    nativeBytes=CLibrary.Instance.NLPIR_ParagraphProcess(sinput,1);    System.out.println("删除用户词典后分词结果为： "+nativeBytes);    //从utf8File目录中读取语句进行分词，将结果写入utf8FileResult对应的路径之中，保留词性对应的标志    CLibrary.Instance.NLPIR_FileProcess(utf8File,utf8FileResult,1);    //获取sinput中对应的关键词，指定关键词数目最多为3    nativeBytes=CLibrary.Instance.NLPIR_GetKeyWords(sinput,3,false);    System.out.println("关键词提取结果是："+nativeBytes);    //获取文件中对应的关键词    nativeBytes=CLibrary.Instance.NLPIR_GetFileKeyWords(utf8File,10,false);    System.out.println("关键词提取结果是："+nativeBytes);}catch (Exception e){    e.printStackTrace();}

(3)String编码方式转换函数的实现：

//转换String的编码方式public static String transString(String str,String ori_encoding,String new_encoding){try{return new String(str.getBytes(ori_encoding),new_encoding);    }catch (UnsupportedEncodingException e){        e.printStackTrace();    }return null;}

二、spark项目

    请注意，一中步骤(1),(2),(3)也是必不可少的！

    有了普通实现的完成，下一步我想将分词部署在spark中，就有了下述项目。我想将文本转换为 单词,词性标志 PairRDD，具体实现如下，有上面的基础，就不在详细解释了。

SparkConf conf =new SparkConf().setAppName("test").setMaster("local");JavaSparkContext sc =new JavaSparkContext(conf);JavaRDD<String> inputs  =sc.textFile("C:\\utf8file.txt");JavaRDD<String> source=inputs.filter(new Function<String, Boolean>() {public Boolean call(String v1) throws Exception {return !v1.trim().isEmpty();            }        });JavaRDD<String> transmit = source.mapPartitions(new FlatMapFunction<Iterator<String>, String>() {public Iterable<String> call(Iterator<String> it) throws Exception {                List<String> list=new ArrayList<String>();                String dir="C:\\jars\\nlpir\\bin\\ICTCLAS2015";                int charset_type=1;                int init_flag =CLibrary.Instance.NLPIR_Init(dir,charset_type,"0");                if(init_flag==0){throw new RuntimeException(CLibrary.Instance.NLPIR_GetLastErrorMsg());                }try{while(it.hasNext()){                        list.add(CLibrary.Instance.NLPIR_ParagraphProcess(it.next(),1));                    }                }catch (Exception e){                    e.printStackTrace();                }return list;            }        }).filter(new Function<String, Boolean>() {public Boolean call(String v1) throws Exception {return !v1.trim().isEmpty();            }        });

JavaRDD<String> words = transmit.flatMap(new FlatMapFunction<String, String>() {public Iterable<String> call(String s) throws Exception {return Arrays.asList(s.split(" "));            }        }).filter(new Function<String, Boolean>() {public Boolean call(String v1) throws Exception {return !v1.trim().isEmpty();            }        });JavaPairRDD<String, String> result = words.mapToPair(new PairFunction<String, String, String>() {public Tuple2<String, String> call(String s) throws Exception {                String[] split = s.split("/");                return new Tuple2<String, String>(split[0], split[1]);            }        });for(Tuple2<String,String> t:result.collect())    System.out.println(t._1()+" "+t._2());

sc.stop();

程序执行结果：