1.首先将中文ner项目克隆到本地

项目地址：https://github.com/ProHiryu/albert-chinese-ner

2.去ALBERT下载中文模型

地址：https://github.com/brightmart/albert_zh

解压后放入项目下新建的 albert_base_zh 文件夹中

3.安装gpu运行环境

建议使用tensorflow1.15.5，因此需要下载并安装cuda10.0 和 cudnn7.6（如果没有显卡的话不用安装这两个）

4.配置虚拟环境

# gpu训练
pip install tensorflow-gpu==1.15.5# 没有显卡安装这个
pip install tensorflow==1.15.5

5.创建命令执行脚本

目录下新建run.py文件，内容如下

import oscmd = ' '.join(['python albert_ner.py','--task_name ner','--do_train true',           # 训练'--do_eval true',           # 评估# '--do_predict true',       # 预测'--data_dir data','--vocab_file ./albert_config/vocab.txt','--bert_config_file ./albert_base_zh/albert_config_base.json','--max_seq_length 128','--train_batch_size 16','--learning_rate 2e-5','--num_train_epochs 3','--output_dir albert_base_ner_checkpoints'
])os.system(cmd)

先注释掉预测，执行训练、评估，
然后再注释掉训练、评估，进行预测就好了

6.补充说明

1.dev.txt是待评估文件
train.txt是待训练文件
test,txt是待预测文件

2.预测结果在label_test.txt中

3.项目来自 github，贡献者如下

中文命名实体识别（ner）迁移学习相关推荐

在线中文命名实体识别 ( NER ) 的工具
在线中文命名实体识别( NER )的工具命名实体识别(Named Entity Recognition,简称NER),又称作"专名识别",是指识别文本中具有特定意义的实体,主要包 ...
中文命名实体识别NER
命名实体识别(英语:Named Entity Recognition),简称NER,是指识别文本中具有特定意义的实体,主要包括人名.地名.机构名.专有名词等,以及时间.数量.货币.比例数值等文字.目前 ...
逐行讲解CRF实现命名实体识别(NER)
文章标题本文概述 NER介绍代码详解任务导入库加载数据集构造特征字典数据处理模型训练模型验证模型参数备注随机搜索RandomizedSearchCV 本文概述使用sklear ...
nlp 命名实体识别算法_中文命名实体识别算法 Lattice LSTM
中文命名实体识别 (NER) 算法按照输入的类型,可以大致分为 Character-based (字符) 和 Word-based (单词) 两种.这两种方法都存在一些缺陷,Character-bas ...
【论文笔记】《基于深度学习的中文命名实体识别研究》阅读笔记
作者及其单位:北京邮电大学,张俊遥,2019年6月,硕士论文摘要实验数据:来源于网络公开的新闻文本数据:用随机欠采样和过采样的方法解决分类不均衡问题:使用BIO格式的标签识别5类命名实体,标注11 ...
python中文命名实体识别工具包_中文命名实体识别工具（NER）比较
既然中文分词.词性标注已经有了,那下一步很自然想到的是命名实体识别(NER,Named-entity recognition)工具了,不过根据我目前了解到的情况,开源的中文命名实体工具并不多,这里主要 ...
Python深度学习-NLP实战：命名实体识别(NER)之分词与序列标注、实体识别任务简介
系列文章目录 Python深度学习-NLP实战:深度学习系列培训教程 Linux服务器软件的简单使用 Linux命令的简单使用训练集.测试集.验证集的介绍及制作字向量的训练与生成文本分类之SVM ...
【nlp学习】中文命名实体识别（待补充）
提示:文章写完后,目录可以自动生成,如何生成可参考右边的帮助文档文章目录前言一.中文分词二.命名实体识别 1.数据处理 2.训练 3.使用预训练的词向量 4.测试训练好的模型 5.准确度判断 ...
【命名实体识别(NER)】(1)：命名实体识别综述
什么是命名实体识别? 命名实体识别(Named Entity Recognition,简称NER),又称作"专名识别",是自然语言处理中的一项基础任务,应用范围非常广泛.命名实体一 ...
用CRF做命名实体识别——NER系列（三）
在上一篇文章<用隐马尔可夫模型(HMM)做命名实体识别--NER系列(二)>中,我们使用HMM模型来做命名实体识别,将问题转化为统计概率问题,进行求解.显然,它的效果是非常有限的. 在深度 ...

中文命名实体识别（ner）迁移学习

文章目录