最近尝试了bert来处理中文的NLP任务，发现效果很好。本人应用的主要方式是调用腾讯AILab 实验室开源的bert-as-service代码，bert-as-service 的git地址该项目的api和demo 非常详细。按照过程能很快完成bert的调用。下面说一下我的使用流程。

环境配置

安装tensorflow

安装package

pip install bert-serving-server
pip install bert-serving-client

下载中文bert预训练的模型预训练模型下载地址
启动 bert-server 启动代码为
- ```
 bert-serving-start -model_dir dict/chinese_L-12_H-768_A-12 -num_worker=1 -max_seq_len=100 & 
```
  其中具体参数根据自己需要来配置，可以直接取句子向量，也可以取字向量和词向量，默认是句子向量

调用 bert 进行自己的应用

from bert_serving.client import BertClient
bc = BertClient(ip='localhost',check_version=False, check_length=False)
vec = bc.encode(['CSDN中文IT知识服务集团，业务有IT信息传播、技术交流、教育培训和专业技术人才服务。旗下有网络社区、学习平台和交流平台。'])
print(vec)

上面的例子是直接取句子向量的过程

bert 调用方式的优化：

分享一种既能在linux使用也能Windows使用的方法,具体网址：https://blog.csdn.net/renyuanfang/article/details/101223521

Bert 中文使用方式相关推荐

Google BERT 中文应用之《红楼梦》中对话人物提取
点击上方"迈微AI研习社",选择"星标★"公众号转载自:PaperWeekly 庞龙刚之前看到过一篇文章,通过提取文章中对话的人物,分析人物之间的关系,很 ...
在线部分：werobot服务、主要逻辑服务、句子相关模型服务、BERT中文预训练模型+微调模型（目的：比较两句话text1和text2之间是否有关联）、模型在Flask部署
日萌社人工智能AI:Keras PyTorch MXNet TensorFlow PaddlePaddle 深度学习实战(不定时更新) 智能对话系统:Unit对话API 在线聊天的总体架构与工具介绍 ...
bert中文分类模型训练+推理+部署
文章预览: 0. bert简介 1. bert结构 1. bert中文分类模型训练 1 下载bert项目代码代码结构 2 下载中文预训练模型 3 制作中文训练数据集 2. bert模型推理 1.te ...
【NLP】Kaggle从零到实践：Bert中文文本分类
Bert是非常强化的NLP模型,在文本分类的精度非常高.本文将介绍Bert中文文本分类的基础步骤,文末有代码获取方法. 步骤1:读取数据本文选取了头条新闻分类数据集来完成分类任务,此数据集是根据头条 ...
bert 中文代码谷歌_BERT系列文章汇总导读
以下是AINLP公众号BERT相关文章的系列导读,感兴趣的同学可以参考. BERT相关论文.文章和代码资源汇总张俊林博士系列解读: 放弃幻想,全面拥抱Transformer:自然语言处理三大特征抽取 ...
bert 中文基于文本的问答系统
bert 中文基于文本的问答系统 # -!- coding: utf-8 -!- import torch if torch.cuda.is_available():device = torch.de ...
bert中文使用总结
目录一.bert的中文模型: 1.chinese_L-12_H-768_A-12 2.chinese_wwm_ext_pytorch 二.将google谷歌bert预训练模型转换为pytorch版本 ...
bert 中文代码谷歌_从字到词，大词典中文BERT模型的探索之旅
导语: BERT模型自诞生以来统治了各项NLP任务的榜单,谷歌也针对中文给出了基于字的模型.然而我们知道词是语言最重要的组成部分,因此,一个自然的想法就是做基于词的BERT模型.但是受限于显存,谷歌原 ...
BERT中文实战（文本相似度）
个人 github BERT本质上是一个两段式的NLP模型.第一个阶段叫做:Pre-training,跟WordEmbedding类似,利用现有无标记的语料训练一个语言模型.第二个阶段叫做:Fin ...

Bert 中文使用方式

环境配置

bert 调用方式的优化：

Bert 中文使用方式相关推荐

最新文章

热门文章