Chatbot-1-笔记

分类

Rules-base机器人

最稳定，用规则制定好

Retrieval-based

提取为基础。使用KE(知识网络/专家引擎) 建立index
存在问题检索速度/精确度
引入：intent(意图) 同一意图归于一个节点。(文本分类器)

Generative

生成模型
电影对白+It support 两组对话。/机器人对话更加平滑同时能解决问题/chatterbot库/python =glue language/英语有空格 == 中文分词库

知识框架

	Retrieval-based	Generative
open domain	impossible	General AI(Hardest)
closed domain	Rules-Based	Smart Machine(hard)

问题

语境

语言语境：这句话在说什么内容？(语言的embed。word vector)Building End-To-End Dialogue Systems Using Generative Hierarchical Neural Network
Models（Lulian et al., 2015）
物理语境：这句话在那时说的？(where when)Attention with Intention for a Neural Network Conversation Model
(Yao, 2015)

统一的语言个性

电影对白不是一个人说的，一堆人说的。人力清洗/高质量。A Persona-Based Neural Conversation Model (Li et al., 2016)
persona->obj function [BIG5 性格]

模型验证

Rules-based简单。
生成模型–》正误需要人类智慧解读
How NOT To Evaluate Your Dialogue System: An Empirical Study of
Unsupervised Evaluation Metrics for Dialogue Response Generation（Liu,
2016）

多样性

很多都回答一个答案/无多样性
A Diversity-Promoting Objective Function for Neural Conversation
Models（Li et al. 2015）

key

tokenize 切分词：把字符串变为词串

分词

1.启发式Heuristic（查字典）A.最大匹配法B.最短路径法C.最大概率法 jieba
2.机器学习/统计方法（从数据中学习）：（HMM、CRF）公式计算P（可能），（NN，LSTM，RNN）黑盒
分词面对的问题：
1.分词歧义(交集/组合/混合型歧义) 真/伪歧义
2.未登录词（OOV）

英语归一化

Inflection变化: walk => walking => walked
不影响词性 (时态)

derivation 引申: nation (noun) => national (adjective) => nationalize (verb)
影响词性

通过查表
Stemming 词⼲提取：⼀般来说，就是把不影响词性的inflection的⼩尾巴砍掉
walking 砍ing = walk
walked 砍ed = walk

Lemmatization 对词进行内部结构和形式分析：词形归⼀：把各种类型的词的变形，都归为⼀个形式
went 归⼀ = go
are 归⼀ = be

为了更好实现lemma 引入POS(part of speech)文语转换Tag 没有POS Tag 默认NN名词(先POS 后lemma)–检索过程慢

虚词表(stopwords)

对于注重理解文本【意思】的应用场景来说歧义太多增加复杂度
英文stopwords
中文stopwords
百度stopwords

文本分类-向量化

TF-IDF

语义–>占位符
占位符–>数字化–>特征工程

Chatbot-1-笔记相关推荐

【ChatBot开发笔记】聊天机器人准备工作——初识NLTK库、语料与词汇资源
目录简述一.NLTK 1.安装 2.搜索 3.词统计二.语料与词汇资源 1.举例 2.类似的语料库还有: 3.语料库的通用接口: 4.其他词典资源: 5.加载自己的语料库结语简述 2021. ...
【ChatBot开发笔记】语料预处理——tokenize
GPT2模型的期望粒度是字而非词,故建立字典,通过tokenize完成两件事: 切分语料,以[CLS]标志语料开头,以[SEP]划分说话对象完成字到字典id(tokenize_id)的转变 def ...
【ChatBot开发笔记】使用LTP（语言技术平台）进行自然语言处理
目录准备工作测试示例测试代码 1.ltp.py run.py 测试结果及分析中文分词词性标注依存语句分析命名实体识别语义角色标注语义依存 (依存树) 分析语义依存 (依存图) 分析 ...
AliMe Chat: A Sequence to Sequence and Rerank based Chatbot Engine论文笔记
摘要阿里小蜜是开放域的问答系统,是检索式问答系统和生成式问答系统的结合体. 框架直接上流程图,比较清晰用户输入一个问题q,先采用IR(Information Retrieval)模型检索出一些数 ...
资源 | 史上最全机器学习笔记
本文由LCatro整理机器学习机器学习算法原理 https://github.com/wepe/MachineLearning 机器学习实战原书内容与批注 https://github.com/a ...
笔记 | 吴恩达Coursera Deep Learning学习笔记
向AI转型的程序员都关注了这个号☝☝☝ 作者:Lisa Song 微软总部云智能高级数据科学家,现居西雅图.具有多年机器学习和深度学习的应用经验,熟悉各种业务场景下机器学习和人工智能产品的需求分析.架 ...
NLP专题论文解读：从Chatbot、NER到QA系统...
来源:PaperWeekly 本文长度为2721字,建议阅读4分钟本文为你分享NLP专题论文笔记,涵盖对话系统.命名实体识别(NER)和QA系统. 本期NLP 专题论文笔记,涵盖对话系统.命名实体识 ...
NLP 专题论文解读：从 Chatbot 到 NER | PaperDaily #11
在碎片化阅读充斥眼球的时代,越来越少的人会去关注每篇论文背后的探索和思考. 在这个栏目里,你会快速 get 每篇精选论文的亮点和痛点,时刻紧跟 AI 前沿成果. 点击本文底部的「阅读原文」即刻加入社区 ...
Chapter7-12_Controllable Chatbot
文章目录 1 Chatbot面临的问题 2 控制Chatbot的输出 2.1 直接Finetune 2.2 输入添加控制特征 2.3 只有独白 3 展望本文为李弘毅老师[Controllable C ...
深度学习课程笔记（七）：模仿学习（imitation learning）
深度学习课程笔记(七):模仿学习(imitation learning) 2017.12.10 本文所涉及到的模仿学习,则是从给定的展示中进行学习.机器在这个过程中,也和环境进行交互,但是,并没有显 ...