python nlp文本摘要_理解文本摘要并用python创建你自己的摘要器
我们都与使用文本摘要的应用程序进行交互。 这些应用程序中的许多应用程序都是用于发布有关每日新闻,娱乐和体育的文章的平台。 由于我们的日程安排很忙,因此我们决定在阅读全文之前先阅读这些文章的摘要。 阅读摘要有助于我们确定感兴趣的领域,并提供故事的简要背景信息。
摘要图示.png
摘要可以定义为在保持关键信息和整体含义的同时,提供简洁明了的摘要的任务。
影响力
汇总系统通常具有其他证据,可用于指定最重要的文档主题。 例如,在总结博客时,博客文章后会有一些讨论或评论,这些信息或信息是确定博客的哪些部分至关重要且有趣的信息。
在科学论文摘要中,存在大量信息,例如被引用的论文和会议信息,可以用来识别原始论文中的重要句子。
文本摘要的类型
通常,摘要有两种类型,Abstractive 和 Extractive summarization.
Abstractive Summarization: 抽象方法是基于语义理解来选择单词的,即使这些单词没有出现在源文档中。 它旨在以新的方式生产重要的材料。 他们使用先进的自然语言技术解释和检查文本,以便生成新的较短文本,从而传达原始文本中最关键的信息。
它可以与人类阅读文本文章或博客文章,然后以自己的单词进行摘要的方式相关。
输入文档→了解上下文→语义→创建自己的摘要
Extractive Summarization:摘录方法尝试通过选择保留最重要要点的单词子集来对文章进行摘要。
这种方法对句子的重要部分进行加权,并使用它们来构成摘要。 使用不同的算法和技术来定义句子的权重,并根据彼此之间的重要性和相似性对它们进行排名。
输入文档→句子相似度→加权句子→选择排名更高的句子
有限的研究可用于抽象总结,因为与提取方法相比,它需要对文本有更深刻的理解。
与Extractive Summarization摘要相比,Abstractive Summarization摘要通常可以提供更好的结果。 这是因为,Abstractive Summarization方法可以应对语义表示,推理和自然语言生成,这比数据驱动的方法(例如句子提取)要难得多。
有许多技术可用于生成提取摘要。 为简单起见,我将使用一种无监督的学习方法来查找句子相似度并对其进行排名。 这样的好处之一是,您无需在开始将其用于项目时就进行训练和构建模型。
最好理解余弦相似度,以充分利用您将要看到的代码。 余弦相似度是度量内部乘积空间的两个非零向量之间相似度的度量,该向量测量两个向量之间的夹角余弦。 由于我们将句子表示为向量束,因此我们可以使用它来找到句子之间的相似性。 它测量向量之间夹角的余弦值。 如果句子相似,角度将为0。
接下来,下面是我们用于生成摘要文本的流程:
输入文章→分解为句子→删除停用词→建立相似度矩阵→基于矩阵生成等级→选择最前面的N个句子进行汇总
#Import all necessary libraries
from nltk.corpus import stopwords
from nltk.cluster.util import cosine_distance
import numpy as np
import networkx as nx
import re
#Generate clean sentences
def read_article(file_name):
file = open(file_name, "r")
filedata = file.readlines()
article = filedata[0].split(". ")
sentences = []
for sentence in article:
print(sentence)
sentences.append(re.sub("[^a-zA-Z]", " ", sentence).split(" "))
sentences.pop()
return sentences
def sentence_similarity(sent1, sent2, stopwords=None):
if stopwords is None:
stopwords = []
sent1 = [w.lower() for w in sent1]
sent2 = [w.lower() for w in sent2]
all_words = list(set(sent1 + sent2))
vector1 = [0] * len(all_words)
vector2 = [0] * len(all_words)
# build the vector for the first sentence
for w in sent1:
if w in stopwords:
continue
vector1[all_words.index(w)] += 1
# build the vector for the second sentence
for w in sent2:
if w in stopwords:
continue
vector2[all_words.index(w)] += 1
return 1 - cosine_distance(vector1, vector2)
#Similarity matrix
#This is where we will be using cosine similarity to find similarity between sentences.
def build_similarity_matrix(sentences, stop_words):
# Create an empty similarity matrix
similarity_matrix = np.zeros((len(sentences), len(sentences)))
for idx1 in range(len(sentences)):
for idx2 in range(len(sentences)):
if idx1 == idx2: #ignore if both are same sentences
continue
similarity_matrix[idx1][idx2] = sentence_similarity(sentences[idx1], sentences[idx2], stop_words)
return similarity_matrix
#Generate Summary Method
def generate_summary(file_name, top_n=5):
stop_words = stopwords.words('english')
summarize_text = []
# Step 1 - Read text and tokenize
sentences = read_article(file_name)
# Step 2 - Generate Similary Martix across sentences
sentence_similarity_martix = build_similarity_matrix(sentences, stop_words)
# Step 3 - Rank sentences in similarity martix
sentence_similarity_graph = nx.from_numpy_array(sentence_similarity_martix)
scores = nx.pagerank(sentence_similarity_graph)
# Step 4 - Sort the rank and pick top sentences
ranked_sentence = sorted(((scores[i],s) for i,s in enumerate(sentences)), reverse=True)
print("Indexes of top ranked_sentence order are ", ranked_sentence)
for i in range(top_n):
summarize_text.append(" ".join(ranked_sentence[i][1]))
# Step 5 - Offcourse, output the summarize texr
print("Summarize Text: \n", ". ".join(summarize_text))
python nlp文本摘要_理解文本摘要并用python创建你自己的摘要器相关推荐
- python新手入门教程思路-Python新手入门教程_教你怎么用Python做数据分析
Python新手入门教程_教你怎么用Python做数据分析 跟大家讲了这么多期的Python教程,有小伙伴在学Python新手教程的时候说学Python比较复杂的地方就是资料太多了,比较复杂.很多网上 ...
- python中文文本分析_中文文本处理
斯坦福大学自然语言处理组是世界知名的NLP研究小组,他们提供了一系列开源的Java文本分析工具,包括分词器(Word Segmenter),词性标注工具(Part-Of-Speech Tagger), ...
- python文本分类_手把手教你在Python中实现文本分类.pdf
手把手教你在Python 中实现文本分类(附代码.数 据集) 引言 文本分类是商业问题中常见的自然语言处理任务,目标是自动将文本文件分到一个 或多个已定义好的类别中.文本分类的一些例子如下: • 分析 ...
- python处理sql数据_用 SQL 而不是 Python 处理文本数据
很多朋友们以为 SQL 是用来处理结构化数据的:而文本是典型的非结构化数据(unstructured data).其实 SQL 可以处理文本,而且比 Python 更方便 . 这篇文章简要介绍如何用 ...
- 理解python的类实例化_理解python的类实例化
让我们以一个Foo类开始: class Foo(object): def __init__(self, x, y=0): self.x = x self.y = y 当你实例化它(即创建该类的一个新的 ...
- python choose语句作用_理解闭包是如何与变量作用域相互影响的
原文标题:KNOW HOW CLOSURES INTERACT WITH VARIABLE SCOPE 比如说你现在想要对一组数字进行排序,同时希望提高一组数字的优先级使这组数字优先显示.这种模式在展 ...
- python代码编写工具_编写更好的Python代码的终极指南
python代码编写工具 Despite its 尽管它 downsides, Python remains the king of today's programming world. Its ve ...
- python什么时候正式发布_【新版本来临!Python 官网宣布,正式发布Python3.8.0!】- 环球网校...
[摘要]当今世界充满了各种数据,而python是其中一种的重要组成部分.然而,若想其有所应用,我们需要对这些python理论进行实践.其中包含很多有趣的的过程,然后将其用于某些方面.当然python也 ...
- python项目实战干货_干货 | 这4个Python实战项目,让你瞬间读懂Python!
Python是一种极具可读性和通用性的编程语言.Python这个名字的灵感来自于英国喜剧团体Monty Python,它的开发团队有一个重要的基础目标,就是使语言使用起来很有趣.Python易于设置, ...
最新文章
- boost::graph::distributed用法的测试程序
- 《***测试实践指南》D03
- 18. 4Sum 四数之和
- 005. how is RFC to backend determined - maintenance view IWFNDV_MGDEAM
- 黑白两客进入页面(1)
- CSS清除默认样式,看完这篇彻底明白了
- C++进阶教程之文件和流
- flex 平铺布局_Flex布局的个人见解~阮一峰的网络日志
- volte短信流程-注册
- 灰度化处理——灰度化
- 全球地区选择,支持中英文切换。国家-省市-城市-地区
- 陀螺世界进度条一天进度多少_陀螺世界满级要多久?
- 黄牛用高性能服务器抢票,还在找黄牛“加速”抢票?成功抢票旅客:黄牛让我去12306候补...
- 异步传输模式 (ATM)
- IDEA精选插件使用,建议收藏
- 南明区建成呼叫座席11710席
- 《Precise and realistic grasping and manipulation in Virtual Reality without force feedback》论文解读
- java memorystream 包_C#字符串string 、byte[]、MemoryStream、Base64String的相互转换
- SpringBoot整合email
- 一个简单实用的电子称数据接收/解析类(C#)(附简单使用实例)
热门文章
- Scott Mitchell 的ASP.NET 2.0数据教程之一: 创建一个数据访问层
- 编写更好的 Java 单元测试的 7 个技巧
- Poptset学员之牛奶咖啡糖
- 查看Linux并发连接数
- mybatis+postgresql+insert返回主键,action,service侧
- socket PF_INET AF_INET 区别
- linux centos 查找命令 属于哪个安装包 所属软件包
- linux curl编译 arm交叉编译
- quagga 简介 开源路由软件
- linux 启动网卡错误 RTNETLINK answers: File exists 解决方案