NLP：基于snownlp库对文本实现提取文本关键词和文本摘要

输出结果

1、测试文本

设计思路

核心代码

输出结果

1、测试文本

今天一大早，两位男子在故宫抽烟对镜头炫耀的视频在网络上传播，引发网友愤怒。有人感到后怕，600年的故宫真要这两个人给点了，万死莫赎。也有评论称，把无知当成炫耀的资本，丢人！
视频中两位男子坐在故宫公共休息区的遮阳伞下，面对镜头问出：“谁敢在故宫抽烟？”语气极其嚣张，表情带有挑衅意味。话音刚落，另外一位男子面向镜头吸了一口烟。而视频中两人也表示知道有故宫禁止吸烟的规定。
事实上，2013年5月18日是国际博物馆日，故宫从这一天开始至今一直实行全面禁烟。根据规定，故宫博物院全体员工在院合作单位和个人不管在室内和室外，也不分开放区与工作区，一律禁止吸烟，对违反禁止吸烟规定的人员将进行严格处罚并通报全院。
此外，在2015年6月1日起北京全市也开始了《控制吸烟条例》，规定公共场所工作场所室内环境室外排队等场合禁止吸烟，违者将最高被罚200元，全市统一设立举报电话12320。
视频在网络上传播开来，不少网友担心故宫的安危，称一旦发生火情，后果不堪设想，有网友表示，这样的行为应该被旅游景区拉近黑名单，建议终身禁止进入任何景区和各种场馆。

设计思路

后期更新……

核心代码

class SnowNLP Found at: snownlp.__init__class SnowNLP(object):def __init__(self, doc):self.doc = docself.bm25 = bm25.BM25(doc)@propertydef words(self):return seg.seg(self.doc)@propertydef sentences(self):return normal.get_sentences(self.doc)@propertydef han(self):return normal.zh2hans(self.doc)@propertydef pinyin(self):return normal.get_pinyin(self.doc)@propertydef sentiments(self):return sentiment.classify(self.doc)@propertydef tags(self):words = self.wordstags = tag.tag(words)return zip(words, tags)@propertydef tf(self):return self.bm25.f@propertydef idf(self):return self.bm25.idfdef sim(self, doc):return self.bm25.simall(doc)def summary(self, limit=5):doc = []sents = self.sentencesfor sent in sents:words = seg.seg(sent)words = normal.filter_stop(words)doc.append(words)rank = textrank.TextRank(doc)rank.solve()ret = []for index in rank.top_index(limit):ret.append(sents[index])return retdef keywords(self, limit=5, merge=False):doc = []sents = self.sentencesfor sent in sents:words = seg.seg(sent)words = normal.filter_stop(words)doc.append(words)rank = textrank.KeywordTextRank(doc)rank.solve()ret = []for w in rank.top_index(limit):ret.append(w)if merge:wm = words_merge.SimpleMerge(self.doc, ret)return wm.merge()return ret

NLP：基于snownlp库对文本实现提取文本关键词和文本摘要相关推荐

ML之NB：(NLP)基于sklearn库利用不同语种数据集训练NB(朴素贝叶斯)算法，对新语种进行语种检测
ML之NB:(NLP)基于sklearn库利用不同语种数据集训练NB(朴素贝叶斯)算法,对新语种进行语种检测目录输出结果训练数据集设计思路核心代码输出结果测试01:I love you ...
【人脸识别】基于dlib库实现人脸特征值提取
一.Dlib库介绍与安装 1. Dlib库简介 Dlib库是一个机器学习的开源库,包含了机器学习的很多算法,使用起来很方便,直接包含头文件即可,并且不依赖于其他库(自带图像编解码库源码).Dlib可以 ...
基于SnowNLP的商品评论文本情感分析
摘要:情感文本电商情感标注分析研究是当前电商数据情感挖掘学术研究的重要热点,具有极高的国际应用价值.对当前电商手机在线商品评论词典进行情感文本电商情感标注分析与词典数据情感挖掘研究具有很 ...
NLP：基于nltk和jieba库对文本实现提取文本摘要(两种方法实现：top_n_summary和mean_scored_summary)
NLP:基于nltk和jieba库对文本实现提取文本摘要(两种方法实现:top_n_summary和mean_scored_summary) 目录输出结果设计思路核心代码输出结果 1.测试文本 ...
NLP：基于textrank4zh库对文本实现提取文本关键词、文本关键短语和文本摘要
NLP:基于textrank4zh库对文本实现提取文本关键词.文本关键短语和文本摘要目录输出结果设计思路核心代码输出结果关键词: 故宫 0.030737773083470445 镜头 0. ...
NLP之TEA：基于SnowNLP实现自然语言处理之对输入文本进行情感分析(分词→词性标注→拼音简繁转换→情感分析→测试)
NLP之TEA:基于SnowNLP实现自然语言处理之对输入文本进行情感分析(分词→词性标注→拼音&简繁转换→情感分析→测试) 目录 NLP分词 NLP词性标注 NLP情感分析-TEA NLP常 ...
基于微博评论的文本情感分析与关键词提取的实战案例~
点击上方"Python爬虫与数据挖掘",进行关注回复"书籍"即可获赠Python从入门到进阶共10本电子书今日鸡汤宣室求贤访逐臣,贾生才调更无伦. ...
基于SnowNLP的购物评论文本情感分析及准确率验证
因论文涉及到SnowNLP情感分析的内容,于是对该内容进行了学习,但发现网上的资源发布更新不及时,大多数文章均发布于18年及以前.由于python版本的迭代,使得以往的资源代码有所出入,因此我对于Sn ...
NLP: 基于文本语义的智能问答系统
向AI转型的程序员都关注了这个号???????????? 人工智能大数据与深度学习公众号:datayx 问答系统是自然语言处理领域一个很经典的问题,它用于回答人们以自然语言形式提出的问题,有着广泛 ...

NLP：基于snownlp库对文本实现提取文本关键词和文本摘要

输出结果

1、测试文本

设计思路

核心代码

NLP：基于snownlp库对文本实现提取文本关键词和文本摘要相关推荐

最新文章

热门文章