Causal Language Modeling和Conditional Generation有什么区别
和ChatGPT一起学习！
因果语言建模（Causal Language Modeling，简称CLM）和条件生成（Conditional Generation）是自然语言处理（NLP）和深度学习中的两个相关概念。尽管它们在某种程度上有所重叠，但它们在目标和方法上有一定的区别。
- 因果语言建模（Causal Language Modeling）：
因果语言建模关注于根据给定的上下文生成文本序列。在这种建模方法中，模型试图预测给定上下文中的下一个单词，该上下文通常包括在当前单词之前的所有单词。这种建模方法遵循因果原则，即当前单词只受到其前面单词的影响，而不受后面单词的影响。
因果语言建模的一个经典应用是GPT（如GPT-2和GPT-3），它主要用于生成连贯的文本。在这种建模方法中，模型接收一个输入序列，然后生成一个自然且语法正确的输出序列。
代表模型：GPT2、Bloom、OPT、GPT-Neo、GPT-J、LLaMA、ChatGLM。
- 条件生成（Conditional Generation）：
条件生成关注于生成满足特定条件或约束的文本序列。在这种建模方法中，模型根据给定的输入（可能是文本、图片等）生成符合条件的输出。与因果语言建模不同，条件生成不仅仅关注于给定上下文的连贯性，还关注于满足预定的任务要求。
条件生成的应用包括但不限于机器翻译、文本摘要、图像描述等。这些任务通常需要模型在输入和输出之间建立复杂的映射关系。在这种建模方法中，模型可以是一个encoder-decoder结构，如序列到序列（seq2seq）模型，也可以是基于自回归的方法，如T5模型。
代表模型：BART、T5。
总之，因果语言建模主要关注于生成连贯、自然的文本，而条件生成关注于生成满足特定条件或任务要求的文本。这两种建模方法在某些场景下可能会互相使用和结合，以实现更复杂的自然语言处理任务。
Causal Language Modeling和Conditional Generation有什么区别相关推荐
- Paper简读 - ProGen: Language Modeling for Protein Generation
欢迎关注我的CSDN:https://spike.blog.csdn.net/ 本文地址:https://blog.csdn.net/caroline_wendy/article/details/12 ...
- Transformers预训练模型使用：语言建模 Language Modeling
语言建模是一个将模型拟合到一个语料库的任务,这个语料库可以是特定领域,也可以是通用领域.所有主流的.基于transformer的模型(跟这个包transformers不是一个东西)都使用了语言建模的变 ...
- Neural Language Modeling for Contextualized Temporal Graph Generation翻译
摘要 本文介绍了使用大规模预训练的语言模型来自动生成文档的事件级时间图的研究.尽管NLP任务中神经预训练方法取得了巨大成功,但其对事件图中时间推理的潜力并未得到充分探索.部分原因是难以获得具有人类标注 ...
- LLMs：《PaLM: Scaling Language Modeling with Pathways》翻译与解读
LLMs:<PaLM: Scaling Language Modeling with Pathways>翻译与解读 导读:这项工作介绍了Pathways Language Model(Pa ...
- 青源Seminar丨NAACL专场：Language Modeling Summarization
NAACL是自然语言处理领域的顶级学术会议,为了进一步促进国际间学术交流,青源会将于8月4日上午09:00-12:20举办「青源Seminar丨NAACL专场线上分享会」,召集人为青源研究组成员.耶鲁 ...
- 《Character-Level Language Modeling with Deeper Self-Attention》文献阅读
本博文基于<Character-Level Language Modeling with Deeper Self-Attention>这篇文章进行讲解,该文章发表在2019年的AAAI会议 ...
- 【论文阅读笔记1】：Pre-trained Language Models for Text Generation: A Survey
前言 博客得主要目的是记录自己的学习收获,排版.行文都会比较随意,内容也主要以自己能理解的方式描述,还希望各位看客见谅. 本文为中国人民大学发表在IJCAI2021上的预训练语言模型文本生成综述论文. ...
- Chapter1-7_Speech_Recognition(Language Modeling)
文章目录 1 为什么需要Language Model 2 N-gram 3 Continuous LM 3 NN-based LM 4 RNN-based LM 5 合并LAS和LM 5.1 shal ...
- 【李宏毅2020 ML/DL】P76 Generative Adversarial Network | Unsupervised Conditional Generation
我已经有两年 ML 经历,这系列课主要用来查缺补漏,会记录一些细节的.自己不知道的东西. 这是我的李宏毅老师 GAN 系列第3篇笔记,GAN 系列: 1:Basic Idea 2:Conditiona ...
最新文章
- win下使用QT添加VTK插件实现点云可视化GUI
- Science首发奥密克戎突刺蛋白分子水平分析，揭秘2大传染性增强原因，柳叶刀：全球大流行有望3月结束...
- 【Java】多线程编程（并发编程）基础（上）
- ScheduledThreadPoolExecutor详解
- 《终于有人说出来了——Java不适合于作为主要编程教学语言》我的看法
- C++实现tree234树(附完整源码)
- P1337-[JSOI2004]平衡点/吊打XXX【模拟退火】
- Deque - leetcode 【双端队列】
- LeetCode 1798. 你能构造出连续值的最大数目
- 一个易用、易部署的Python遗传算法库
- python换源还是不行_浅析Python3 pip换源问题
- ExtJS的extend（Ext Designer的使用）
- POJ 2480 Longge#39;s problem 积性函数
- 中英文对照 —— 航空航天航海、交通运输工具
- 长春工业大学计算机组成原理考试开卷考吗,计算机组成原理期末复习资料
- android NDK如何解决Please define the NDK_PROJECT_PATH variable to point to it
- 数据结构习题集1-8：总结篇
- 【数据库】数据库错题集（一）
- UVM factory机制 override机制详解
- hyper-v开启与关闭