系列文章:

基于京东家电商品知识图谱的自动问答系统(一) -- Neo4j构建知识图谱

基于京东家电商品知识图谱的自动问答系统(二) -- IDEA搭建开发环境

基于京东家电商品知识图谱的自动问答系统(三) -- Java实现问答系统

目录

Java环境

在IEDA中搭建Scala、Hadoop、Spark环境

基于java的HanLP的环境搭建

Python环境

基于Python的HanLP的环境搭建


Java环境

在IEDA中搭建Scala、Hadoop、Spark环境

hanlp.properties文件内容:

#本配置文件中的路径的根目录,根目录+其他路径=完整路径(支持相对路径,请参考:https://github.com/hankcs/HanLP/pull/254)
#Windows用户请注意,路径分隔符统一使用/     #修改为自己的路径
root=D:/HanLP/
#核心词典路径
CoreDictionaryPath=data/dictionary/CoreNatureDictionary.txt
#2元语法词典路径
BiGramDictionaryPath=data/dictionary/CoreNatureDictionary.ngram.txt
#停用词词典路径
CoreStopWordDictionaryPath=data/dictionary/stopwords.txt
#同义词词典路径
CoreSynonymDictionaryDictionaryPath=data/dictionary/synonym/CoreSynonym.txt
#人名词典路径
PersonDictionaryPath=data/dictionary/person/nr.txt
#人名词典转移矩阵路径
PersonDictionaryTrPath=data/dictionary/person/nr.tr.txt
#繁简词典根目录
tcDictionaryRoot=data/dictionary/tc
#自定义词典路径,用;隔开多个自定义词典,空格开头表示在同一个目录,使用“文件名 词性”形式则表示这个词典的词性默认是该词性。优先级递减。
#另外data/dictionary/custom/CustomDictionary.txt是个高质量的词库,请不要删除。所有词典统一使用UTF-8编码。
CustomDictionaryPath=data/dictionary/custom/CustomDictionary.txt; 现代汉语补充词库.txt; 全国地名大全.txt ns; 人名词典.txt; 机构名词典.txt; 上海地名.txt ns;data/dictionary/person/nrf.txt nrf;
#CRF分词模型路径
CRFSegmentModelPath=data/model/segment/CRFSegmentModel.txt
#HMM分词模型
HMMSegmentModelPath=data/model/segment/HMMSegmentModel.bin
#分词结果是否展示词性
ShowTermNature=true
#IO适配器,实现com.hankcs.hanlp.corpus.io.IIOAdapter接口以在不同的平台(Hadoop、Redis等)上运行HanLP
#默认的IO适配器如下,该适配器是基于普通文件系统的。
#IOAdapter=com.hankcs.hanlp.corpus.io.FileIOAdapter
#感知机词法分析器
PerceptronCWSModelPath=data/model/perceptron/pku199801/cws.bin
PerceptronPOSModelPath=data/model/perceptron/pku199801/pos.bin
PerceptronNERModelPath=data/model/perceptron/pku199801/ner.bin
#CRF词法分析器
CRFCWSModelPath=data/model/crf/pku199801/cws.bin
CRFPOSModelPath=data/model/crf/pku199801/pos.bin
CRFNERModelPath=data/model/crf/pku199801/ner.bin
#更多配置项请参考 https://github.com/hankcs/HanLP/blob/master/src/main/java/com/hankcs/hanlp/HanLP.java#L59 自行添加

(重要!)pom.xml文件内容:

 <dependencies><!-- https://mvnrepository.com/artifact/org.apache.spark/spark-core --><dependency><groupId>org.apache.spark</groupId><artifactId>spark-core_2.11</artifactId><version>2.3.0</version><exclusions><exclusion><groupId>org.slf4j</groupId><artifactId>slf4j-log4j12</artifactId></exclusion></exclusions></dependency><!-- https://mvnrepository.com/artifact/org.apache.spark/spark-mllib --><dependency><groupId>org.apache.spark</groupId><artifactId>spark-mllib_2.11</artifactId><version>2.3.0</version></dependency><dependency><groupId>org.codehaus.janino</groupId><artifactId>janino</artifactId><version>3.0.8</version></dependency><!-- JUnit单元测试 --><dependency><groupId>junit</groupId><artifactId>junit</artifactId></dependency><!-- HanLP汉语言处理包 --><dependency><groupId>com.hankcs</groupId><artifactId>hanlp</artifactId><version>portable-1.6.3</version></dependency><dependency><groupId>org.springframework.boot</groupId><artifactId>spring-boot-starter-web</artifactId></dependency><dependency><groupId>org.springframework.boot</groupId><artifactId>spring-boot-starter-test</artifactId><scope>test</scope><exclusions><exclusion><groupId>org.junit.vintage</groupId><artifactId>junit-vintage-engine</artifactId></exclusion></exclusions></dependency></dependencies><build><plugins><plugin><groupId>org.springframework.boot</groupId><artifactId>spring-boot-maven-plugin</artifactId></plugin></plugins></build>

(重要!)一定在pom.xml中添加:

<dependency><groupId>org.codehaus.janino</groupId><artifactId>janino</artifactId><version>3.0.8</version>
</dependency>

(重要!)记得在我的另一篇博客中将maven改为阿里云镜像源。

搭建过程详细,见于Spark在Windows下的环境搭建。

(重要!)给予权限时需要下载对应版本的winutils.exe,配置好环境变量。

(重要!)已知的各个环节的最正确对应版本:

环境为spark2.3.0forhadoop2.6  +  scala2.11.8  +  hadoop2.6.4  +  winutils.exe2.6.4

jar包为spark核心2.11-2.3.0  +  sparkmllib2.11-2.4.0

基于java的HanLP的环境搭建

方式一:通过Maven工程的pom.xml,可以实现基本的功能。

<dependency><groupId>com.hankcs</groupId>    <artifactId>hanlp</artifactId>    <version>portable-1.7.0</version></dependency>

方式二:下载jar、data、hanlp.properties(1、下载data.zip。2、下载jar和配置文件:hanlp-release.zip)

Python环境

基于Python的HanLP的环境搭建

基于京东家电商品知识图谱的自动问答系统(二) -- IDEA搭建开发环境相关推荐

  1. 基于Python+Neo4j+民航数据 ,我搭建了一个知识图谱的自动问答系统

    最近耗时一周,我基于Python+Neo4j ,搭建了一个民航业知识图谱的自动问答系统. 文章目录 环境 运行 1.项目结构 2.数据组织 3.问题预处理 4.问题分类 5.Web APP 源码&am ...

  2. Python基于民航业知识图谱的自动问答系统(附源码)

    一.开发环境 Windows 10 x64 Python 3.7 Neo4j community 3.5.20 二.项目运行 1.确保安装所需依赖 pip install -r requirement ...

  3. 论文浅尝-综述 | 基于强化学习的知识图谱综述

    转载公众号 | 人工智能前沿讲习 论文来源:https://crad.ict.ac.cn/CN/10.7544/issn1000-1239.20211264 摘要:知识图谱是一种用图结构建模事物及事物 ...

  4. 论文浅尝 | 一种基于递归超图的知识图谱问答方法

    笔记整理 | 谭亦鸣,东南大学博士生 来源:EACL'21 链接:https://www.aclweb.org/anthology/2021.eacl-main.35.pdf 概述与动机 本文提出了一 ...

  5. 领域应用 | 美团商品知识图谱的构建及应用

    转载公众号 | DataFunTalk 分享嘉宾:曹雪智博士 美团 技术专家 编辑整理:陈维美 出品平台:DataFunTalk 导读:在互联网新零售的大背景下,商品知识图谱作为新零售行业数字化的基石 ...

  6. mysql实现知识图谱_基于电影知识图谱的智能问答系统学习记录

    学习了"谓之小一"大佬的基于电影知识图谱的智能问答系统,做个记录.地址如下:https://github.com/weizhixiaoyi/DouBan-KGQA 一.知识图谱构建 ...

  7. 美团 大规模商品知识图谱的构建与应用

    作者 | 曹雪智博士 美团 技术专家 来源 | DataFunTalk 在互联网新零售的大背景下,商品知识图谱作为新零售行业数字化的基石,提供了对于商品相关内容的立体化.智能化.常识化的理解,对上层业 ...

  8. 基于模板匹配的知识图谱问答系统

    基于模板匹配的知识图谱问答系统 一,什么是基于知识图谱的问答(KBQA)? KBQA–knowledge base question answering,通过对问题进行语义理解及解析,通过知识库进行查 ...

  9. KG-开源项目:QASystemOnMedicalKG【以疾病为中心的一定规模医药领域知识图谱,并以该知识图谱完成自动问答与分析服务】

    QABasedOnMedicaKnowledgeGraph self-implement of disease centered Medical graph from zero to full and ...

  10. 【国内首家】第一个基于语音生成实时知识图谱的系统来啦!!!

    点击上方,选择星标或置顶,不定期资源大放送! 阅读大概需要8分钟 Follow小博主,每天更新前沿干货 基于文本生成知识图谱的研究很常见,但是基于语音生成知识图谱,这算是第一家. 在这个信息飞速发展的 ...

最新文章

  1. git - 简易指南
  2. Linux下,终端录制-asciinema
  3. 把Python的200个标准库分类整理了下,供参考
  4. Debug javascript inside jsp page 调试jsp嵌入的js
  5. svn:error use xcode-select to change
  6. 充电枪cp信号控制板_筋膜枪究竟是不是智商税?体验评测后,我的回答更肯定了...
  7. 22. C# -- 抽象类和接口
  8. 有些事,领导不直接找你,让同事联系你,这是什么套路?
  9. LaTex中“图片引用失败,显示(??)”的解决办法
  10. POJ 2479 Maximum sum
  11. hadoop核心框架简介
  12. 银行家算法C语言代码
  13. 『 论文阅读』Attention-Based Recurrent Neural Network Models for Joint Intent Detection and Slot Filling
  14. linux中怎么生成hwaddr,linux 下 hwaddr 和 macaddr的区别
  15. 【随笔】Linux刷脏页
  16. 读书印记 - 《让大象飞》
  17. 各大公司Java面试题超详细总结
  18. 手欠,给DELL R720加硬盘
  19. vue-echarts数据统计图表展示
  20. android换肤动画,Android换肤(二) — 插件式换肤

热门文章

  1. 让VIM支持Python2 by update-alternatives
  2. Redis复制与可扩展集群搭建
  3. qt4.7.0 交叉编译环境搭建经验总结
  4. 【译】BMP格式与JPG格式之间的区别
  5. Oracle DBA之监听的静态注册与动态注册
  6. 调一下电脑底色,保护眼睛哦
  7. 【ubuntu操作系统入门】Ubuntu常用命令大全一
  8. 全排列——深度优先搜索
  9. c++类与对象之默认成员函数
  10. Redis-01-NoSQL简介及Redis数据库安装