python深度学习NER任务中：对段落的分割

在深度学习模型中，有时需要避免输入的是一段话而不是一个句子。我们需要把一段话分割成多个短句子，比如：

目前诊断：1、肺癌pT1cN0M0R0切除，IA期，EGFR（+）2、化疗后骨髓抑制3、高血压病。长期住院原因分析及针对性诊疗计划：患者肺癌复发，目前行同步放化疗，放疗时间较长，需要长期住院治疗。

将句号作为分割点，将这句话分割成两句话，每句话作为模型的输入，这样做的原因是：防止输入句子太长，模型在处理时将关键信息裁剪，此时就抽取不出想要的信息了。
代码实现如下：

cur_seedtext = '目前诊断：1、肺癌pT1cN0M0R0切除，IA期，EGFR（+）2、化疗后骨髓抑制3、高血压病。长期住院原因分析及针对性诊疗计划：患者肺癌复发，目前行同步放化疗，放疗时间较长，需要长期住院治疗。'
cur_seedtext = cur_seedtext.replace('。','@@@')
cur_seedtext = '。\n'.join([x.strip() for x in cur_seedtext.split('@@@')])
print(cur_seedtext)

在医疗病例单中使用命名实体识别技术提取医生对患者的诊断时，利用此方法就可以用模型单独对句子进行处理，这样的效果似乎更好。

以下是上面的代码对段落的处理结果

目前诊断：1、肺癌pT1cN0M0R0切除，IA期，EGFR（+）2、化疗后骨髓抑制3、高血压病。
长期住院原因分析及针对性诊疗计划：患者肺癌复发，目前行同步放化疗，放疗时间较长，需要长期住院治疗。

mediecalNER模型的识别结果为

[
{"start": 7,
"stop": 20,
"word": "肺癌pT1cN0M0R0切除",
"type": "BODY"
},
{"start": 22,
"stop": 24,
"word": "IA期",
"type": "BODY"
},
{"start": 26,
"stop": 32,
"word": "EGFR（+）",
"type": "BODY"
},
{"start": 44,
"stop": 47,
"word": "高血压病",
"type": "BODY"
}
]
-------------------------------------
[]
-------------------------------------

显然模型识别出了第一句话中提出的几个诊断病情，但是精度没那么高。。。

python深度学习NER任务中：对段落的分割相关推荐

Python深度学习一书中： 8.4代码VAE在tensorflow2.0错误‘lambda_1/random_normal/shape‘的解决方案
Python深度学习一书中: 8.4代码VAE在tensorflow2.0下会有Duplicate node name in graph: 'lambda_1/random_normal/shape' ...
Python深度学习-NLP实战：命名实体识别(NER)之分词与序列标注、实体识别任务简介
系列文章目录 Python深度学习-NLP实战:深度学习系列培训教程 Linux服务器软件的简单使用 Linux命令的简单使用训练集.测试集.验证集的介绍及制作字向量的训练与生成文本分类之SVM ...
如何在Python深度学习中设置GPU卡号
诸神缄默不语-个人CSDN博文目录本文介绍在Python深度学习代码运行的过程中,如何设置GPU卡号(包括PyTorch和TensorFlow适用的写法),主要适用于单卡场景,以后可能会增加多卡场景 ...
微信高级研究员解析深度学习在NLP中的发展和应用 | 公开课笔记
作者 | 张金超(微信模式识别中心的高级研究员) 整理 | Just 出品 | 人工智能头条(公众号ID:AI_Thinker) 近年来,深度学习方法极大的推动了自然语言处理领域的发展.几乎在所有的 ...
微信高级研究员解析深度学习在 NLP 中的发展和应用
近年来,深度学习方法极大的推动了自然语言处理领域的发展.几乎在所有的 NLP 任务上我们都能看到深度学习技术的应用,并且在很多的任务上,深度学习方法的表现大大的超过了传统方法.可以说,深度学习方法给 ...
Python深度学习-NLP实战：字向量的训练与生成
系列文章目录 Python深度学习-NLP实战:深度学习系列培训教程 Linux服务器软件的简单使用 Linux命令的简单使用训练集.测试集.验证集的介绍及制作字向量的训练与生成文本分类之SVM ...
Python深度学习篇六《深度学习用于文本和序列》
前言前期回顾: Python深度学习篇五<深度学习用于计算机视觉> 上面这篇里面写了计算机视觉相关. 卷积神经网络是解决视觉分类问题的最佳工具. 卷积神经网络通过学习模块化模式和概念的层 ...
python神经结构二层_《python深度学习》笔记---8.3、神经风格迁移
<python深度学习>笔记---8.3.神经风格迁移一.总结一句话总结: 神经风格迁移是指将参考图像的风格应用于目标图像,同时保留目标图像的内容. 1."神经风格迁移是指将 ...
Python深度学习之搭建小型卷积神经网络（Kaggle网站Dogs-vs-Cats数据集）
完全来源与<Python深度学习>中的例子,仅供学习只用. Cats vs. Dogs(猫狗大战)是Kaggle大数据竞赛的数据集,数据集由训练数据和测试数据组成,训练数据包含猫和狗各12 ...

python深度学习NER任务中：对段落的分割

python深度学习NER任务中：对段落的分割相关推荐

最新文章

热门文章