Python通过标点符号断句

 # 常见的断句标点
text = '小明说:"我将来想成为科学家."'
punc = """,.?!;: 、｜，。？！；：《》「」【】/<>|\“ ”‘ ’"""
punc_re = '|'.join(re.escape(x) for x in punc)
tokens = re.sub(punc_re, lambda x: ' ' + x.group() + ' ', text)
tokens = tokens.split()

结果:
[‘小明说’, ‘:’, ‘"’, ‘我将来想成为科学家’, ‘.’, ‘"’]

Python通过标点符号断句相关推荐

android 正则句子按照标点符号断句，正则Pattern；
Pattern pattern = Pattern.compile("[,.?!;,.?!:]");//中括号需要:String[] split = pattern.split(c ...
chatgpt赋能python：Python断句：一种快速且便利的文本处理方法
Python 断句:一种快速且便利的文本处理方法 Python作为一种通用编程语言,在文本处理方面也有很强的能力.其中,断句是在Python中应用广泛的一种文本处理方法.本篇文章将介绍如何使用Pyth ...
【python】文本处理：利用NLTK断句
[python]文本处理:利用NLTK断句 [Code] import nltk.datadef stripTags(s):intag = [False]def chk(c):if intag[0]: ...
word-break|overflow-wrap|word-wrap——CSS英文断句浅析
---恢复内容开始--- word-break|overflow-wrap|word-wrap--CSS英文断句浅析一问题引入今天在再次学习 overflow 属性的时候,查看效果时,看到如下结 ...
YELP NLP 英文文本断句
@关于Yelp NLP Project的介绍和问题设定 STEP 1.2: SENTENCE TOKENIZATION WITH spaCy 查了一些资料之后,我决定将reviews 和 senten ...
音频文件按照正常语句，断句拆分的处理方法
关于录音文件断句分割的方法前言最近看讲座听在线英文电台的时候总有个想法, 讲座能不能自动记笔记? 电台能不能自动配中英文翻译对照字幕? 当然,这些东西,在一些软件里其实已经实现了的. 只是找不到能 ...
龙泉寺贤超法师：用AI为古籍经书识别、断句、翻译
本文转载自:HyperAI超神经内容提要:来自最强科研寺庙龙泉寺的贤超法师,近年来一直在研究人工智能与文献古籍的融合,目前,他已带领的<大藏经>团队实现 AI 自动标点.文白翻译.古籍文 ...
对txt文件中的文件内容进行断句
前言有时需要将文本中的内容进行断句,一般是根据标点符号来短句,本人想了一个比较简单的方法,如下: 文本内容 import repath = r'C:\Users\admin\Desktop\stud ...
计算机英语断句,断句法读懂英语长难句
为什么会存在英语长难句呢?这当然是为了考查考生.读不懂长难句就很难理解文章的意思,进而影响答题,为了能够顺利读懂文段,笔者首推断句法,将长难句分解成短句,读懂短句,进而理解长难句. 一问:英语长难句从 ...

Python通过标点符号断句

Python通过标点符号断句

Python通过标点符号断句相关推荐

最新文章

热门文章