＃！/ usr / bin / env python3
＃编码：UTF -8
进口OS
进口ahocorasick
从sklearn.externals进口JOBLIB
进口解霸
进口numpy的为NPEntityExtractor类：def __init __（）：通过＃构造actree，加速过滤def build_actree（self，wordlist）：“”“构造actree，加速过滤：param wordlist ：：return：”“”通过＃模式匹配，得到匹配的词和类型。如疾病，疾病别名，并发症，症状defentity_reg（自我，问题）：“”“模式匹配，得到匹配的词和类型。如疾病，疾病别名，并发症，症状：param question：str ：return：”“”通过＃当全匹配失败时，就采用相似度计算来找相似的词def find_sim_words（自我，问题）：“”当全匹配失败时，就采用相似度计算来找相似的词：param问题：：返回：“”“通过＃采用DP方法计算编辑距离def editDistanceDP（self，s1，s2）：“”“采用DP方法计算编辑距离：param s1 ：：param s2 ：：return：”“”通过＃计算单词和字典中的词的相似度def simCal（自身，单词，实体，标志）：“”“计算词和字典中的词的相似度相同
字符的个数/ min（| A |，| B |）+余弦相似度        ：param字词：str ：param实体：列表：返回值：”“”通过＃基于特征词分类def check_words（自己，wds，已发送）：“”“基于特征词分类：param wds ：：param发送：：return：”“”通过＃提取问题的TF-IDF特征def tfidf_features（self，text，vectorizer）：“”“提取问题的TF-IDF特征：param text ：：param vectorizer ：：return：”“”通过＃提取问题的关键字特征def other_features（self，text）：“”“提取问题的关键字特征：param text ：：return：”“”通过＃预测推测def model_predict（self，x，model）：“”“预测变量：param x ：：param model ：：return：”“”通过＃实体撤主函数def提取器（自己，问题）：通过

    def build_actree（self，wordlist）：“”“构造actree，加速过滤：param wordlist ：：return：”“”actree = ahocorasick.Automaton（）＃向树中添加单词对于 index，在enumerate（wordlist）中的单词：actree.add_word（word，（index，word））actree.make_automaton（）返还行为

    def __init __（）：...self.disease_path = cur_dir +'disease_vocab.txt'self.symptom_path = cur_dir +'symptom_vocab.txt'self.alias_path = cur_dir +'alias_vocab.txt'self.complication_path = cur_dir +'complications_vocab.txt'self.disease_entities = [w.strip（）为 瓦特在开放（self.disease_path，编码= 'UTF8'）若w.strip（）]self.symptom_entities = [w.strip（）for  w in open（self.symptom_path，encoding ='utf8'）如果w.strip（）self.alias_entities = [w.strip（）for  w in open（self.alias_path，encoding ='utf8'）如果w.strip（）self.complication_entities = [w.strip（）for  w in open（self.complication_path，如果w.strip（），编码为'utf8'）]self.region_words = list（设置（self.disease_entities + self.alias_entities + self.symptom_entities））＃构造领域self.disease_tree = self.build_actree（list（set（self.disease_entities）））self.alias_tree = self.build_actree（list（set（self.alias_entities）））self.symptom_tree = self.build_actree（list（set（self.symptom_entities）））self.complication_tree = self.build_actree（list（set（self.complication_entities）））...

    defEntity_reg（self，问题）：“”“模式匹配，得到匹配的词和类型。如疾病，疾病别名，并发症，症状：param question：str ：return：”“”self.result = {}为 我在self.disease_tree.iter（问题）中：字= i [ 1 ] [ 1 ]如果“疾病” 不在self.result中：self.result [ “疾病” ] = [单词]其他：self.result [ “ Disease” ] .append（word）为 我在self.alias_tree.iter（question）中：字= i [ 1 ] [ 1 ]如果“别名” 不在self.result中：self.result [ “ Alias” ] = [word]其他：self.result [ “ Alias” ] .append（word）为 我在self.symptom_tree.iter（问题）中：wd = i [ 1 ] [ 1 ]如果“症状” 不在self.result中：self.result [ “症状” ] = [wd]其他：self.result [ “症状” ] .append（wd）为 我在self.complication_tree.iter（问题）中：wd = i [ 1 ] [ 1 ]如果“并发症” 不在self.result中：self.result [ “ complication” ] = [wd]其他：self.result [ “ complication” ] .append（wd）返回自我结果

    def提取器（自己，问题）：self.entity_reg（问题）...

def find_sim_words（self，question）：“”“当全匹配失败时，就采用相似度计算来找相似的词：param question ：：return：”“”汇入导入字符串从gensim.models导入KeyedVectors＃使用结巴加载自定义词典jieba.load_userdict（self.vocab_path）＃加载词向量self.model = KeyedVectors.load_word2vec_format（self.word2vec_path，binary = False）＃数据预处理，正则去除特殊符号句子= re。sub（“ [{}]”，re.escape（string。标点符号），问题）句子= re。sub（“ [，。”；：？，！【【】]“，”“，句子）句子=句子.strip（）＃使用结巴进行分词词语= [w.strip（）为 瓦特在jieba.cut（句子）如果w.strip（）未在self.stopwords和LEN（w.strip（））> = 2 ]alist = []＃对每个词，都让其与每类实体词典进行相似对比，＃最终挑选分数最高的实体和其属于的实体类型对于 单词的词：temp = [self.disease_entities，self.alias_entities，self.symptom_entities，self.complication_entities]对于 我在范围内（len（temp））：标志=''如果i == 0：标志= “疾病” elif i == 1：flag = “ Alias” elif i == 2：标志= “症状”其他：标志= “并发症”分数= self.simCal（单词，temp [i]，标志）alist.extend（分数）temp1 =排序（alist，key = lambda k：k [ 1 ]，reverse = True）如果temp1：self.result [temp1 [ 0 ] [ 2 ]] = [temp1 [ 0 ] [ 0 ]]＃计算单词和字典中的词的相似度
def simCal（self，word，Entity，flag）：“”“计算词和字典中的词的相似度相同字符的个数/ min（| A |，| B |）+余弦相似度：param word：str ：param实体：列表：return：“”“a = len（字）分数= []对于 实体中的实体：sim_num = 0b = len（实体）c = len（set（entity + word））临时= []对于 w而言：如果w在实体中：sim_num + = 1如果sim_num！= 0：score1 = sim_num / c＃重叠分数temp.append（score1）尝试：score2 = self.model.similarity（单词，实体）＃余弦相似度分数temp.append（score2）除：通过score3 = 1 -self.editDistanceDP（word，实体）/（a + b）＃编辑距离分数如果score3：temp.append（score3）得分=总和（温度）/ len（温度）如果分数> = 0。7：scores.append（（实体，得分，标志））scores.sort（key = lambda k：k [ 1 ]，reverse = True）回报分数

＃提取问题的TF-IDF特征
def tfidf_features（self，text，vectorizer）：“”“提取问题的TF-IDF特征：param text ：：param vectorizer ：：return：”“”jieba.load_userdict（self.vocab_path）词语= [w.strip（）为 瓦特在jieba.cut（文本）如果w.strip（）和w.strip（）未在self.stopwords]sends = [''.join（words）]tfidf = vectorizer.transform（sents）.toarray（）返回tfidf

self .symptom_qwds = ['什么症状'，'什么样的症状'，'症状有什么'，'症状是什么'，'什么表征'，'某种表征'，'表征是什么'，“什么现象”，“某种现象”，“现象有什么”，“症候”，“什么表现”，“某种表现”，“表现有什么”，'什么行为'，'某种行为'，'行为有什么'，'什么状况'，'某种状况'，'状况有什么'，'现象是什么'，'表现是什么'，'行为是什么']＃询问症状
self .cureway_qwds = [ '药'，'药品'，'用药'，'胶囊'，'口服液'，'炎片'，'吃什么药'，'用什么药'，'怎么办'，“买什么药”，“怎么治疗”，“如何医治”，“怎么医治”，“怎么治”，“怎么医”，“如何治”，'医治方式'，'疗法'，'咋治'，'咋办'，'咋治'，'治疗方法']＃询问治疗方法
self .lasttime_qwds = ['周期'，'多久'，'多延长'，'多少时间'，'几天'，'几年'，'多少天'，'多少小时'，'几个小时'，'多少年'，'多久能好'，'痊愈'，'康复']＃询问治疗周期
self .cureprob_qwds = ['多大概率能治好'，'多大几率能治好'，'治好希望大么'，'几率'，'几成'，'比例'，'可能'，'能治'，'可治'，'可以治'，'可以医'，'能治好吗'，'可以治好吗'，'会好吗'，'能好吗'，'治愈吗']＃询问治愈率
self .check_qwds = ['检查什么'，'检查项目'，'某些检查'，'什么检查'，'检查该'，'项目'，'检测什么'，“某种检测”，“检测某​​些”，“化验什么”，“什么化验”，“化验某些”，“某些体检”，“如何查找”，'如何查找'，'如何检查'，'如何检查'，'如何检测'，'如何检测']＃询问检查项目
self .belong_qwds = ['属于什么科'，'什么科'，'科室'，'挂什么'，'挂哪个'，'该科'，'其中科']＃询问
科室self .disase_qwds = ['什么病”，“啥病”，“得了什么”，“得了某种”，“怎么回事”，“咋回事”，“回事”，'什么情况'，'什么问题'，'什么毛病'，'啥毛病'，'这类病']＃询问疾病def other_features（self，text）：“”“提取问题的关键字特征：param text ：：return：”“” features = [ 0 ] * 7 for  self.disase_qwds中的d：如果d在文本中：功能[ 0 ] + = 1对于 self.symptom_qwds中的s：如果s在文本中：功能[ 1 ] + = 1对于 self.cureway_qwds中的c：如果c在文本中：功能[ 2 ] + = 1对于 self.check_qwds中的c：如果c在文本中：features [ 3 ] + = 1 for  self.lasttime_qwds中的p：如果p在文本中：功能[ 4 ] + = 1对于 self.cureprob_qwds中的r：如果r在文字中：功能[ 5 ] + = 1对于 self.belong_qwds中的d：如果d在文本中：功能[ 6 ] + = 1m =最大（特征）n =最小值（特征）normed_features = []如果m == n：normed_features =功能其他：对于 我而言，功能：j =（i-n）/（m-n）normed_features.append（j）返回np.array（normed_features）

    ＃项目没有提出训练过程，可参考以下sklearn的例子从sklearn.naive_bayes导入MultinomialNB mnb = MultinomialNB（）   mnb.fit（X_train，y_train）   y_predict = mnb.predict（X_test）＃初步分类模型文件self.tfidf_path = os.path.join（cur_dir，'model / tfidf_model.m'）self.nb_path = os.path.join（cur_dir，'model / intent_reg_model.m'）＃朴素贝叶斯模型self.tfidf_model = joblib.load（self.tfidf_path）self.nb_model = joblib.load（self.nb_path）＃初步预测tfidf_feature = self.tfidf_features（问题，self.tfidf_model）other_feature = self.other_features（问题）m = other_feature.shapeother_feature = np.reshape（other_feature，（1，m [ 0 ]））功能= np.concatenate（（tfidf_feature，other_feature），axis = 1）预测= self.model_predict（功能，self.nb_model）wishs.append（predicted [ 0 ]）

＃已知疾病，查询症状，
如果self.check_words（self.symptom_qwds，问题）和（类型为'疾病'或类型为'别名'）：如果意图不是故意的，意图= “ query_symptom”：意图。附加（意图）
＃已知疾病或症状，查询治疗方法
如果self.check_words（self.cureway_qwds，问题）和\（“疾病”在类型或“症状”在类型或“别名”在类型或“并发症”在类型）：如果意图不是故意的，意图= “ query_cureway”：意图。附加（意图）
＃已知疾病或症状，查询治疗周期
如果self.check_words（self.lasttime_qwds，问题）和（类型为'疾病'或类型为'别名'）：如果意图不是故意的，意图= “ query_period”：意图。附加（意图）
＃已知疾病，查询治愈率
如果self.check_words（self.cureprob_qwds，问题）和（类型为'疾病'或类型为'别名'）：如果意图不是故意的，意图= “ query_rate”：意图。附加（意图）
＃已知疾病，查询检查项目
如果self.check_words（self.check_qwds，问题）和（类型为'疾病'或类型为'别名'）：如果意图不是故意的，意图= “ query_checklist”：意图。附加（意图）
＃查询科室
如果self.check_words（self.belong_qwds，问题）和\（“疾病”在类型或“症状”在类型或“别名”在类型或“并发症”在类型）：如果意图不是故意的，意图= “ query_department”：意图。附加（意图）
＃已知症状，查询疾病
如果self.check_words（self.disase_qwds，问题）和（类型为“症状”或 类型为“并发症”）：如果意图不是故意的，意图= “ query_disease”：意图。附加（意图）＃若没有检测到本质，且已知疾病，则返回疾病的描述
如果 不意图和（“疾病”在类型或“别名”在类型）：如果意图不是故意的，意图= “ disease_describe”：意图。附加（意图）
＃若是疾病和症状同时出现，且出现了查询疾病的特征词，则必然为查询疾病
如果self.check_words（self.disase_qwds，问题）和（类型为'Disease'或类型为'Alias'）\和（类型为“ Symptom”或 类型为“ Complication”）：如果意图不是故意的，意图= “ query_disease”：意图。附加（意图）
＃若没有识别出实体或意图则调用其他方法
如果 没有意图或 不种类型：如果意图不是故意的，意图= “ QA_matching”：意图。附加（意图）自我.result [ “意图” ] =意图