Facebook开源新NLP框架:简化部署流程,大规模应用也OK
铜灵 编译整理
量子位 出品 | 公众号 QbitAI
今天,Facebook开源了一个基于PyTorch的深度学习库PyText,想容易地构建和部署NLP系统。
Facebook在博客中介绍说,新框架具有多个特性,不仅能简化流程更快部署,还能调取众多预构建模型和程序方便大规模部署。
PyText开源的消息经Yann LeCun转推后,短时间引发了高额的点赞转发,一些网友称这是个“鹅妹子嘤”的项目。在Github今日热榜上,PyText排名第四。
核心功能
构建PyText的初衷,是想解决当前NLP任务中时间紧且需要大规模部署之间的矛盾。研究人员的大致思路分两步。
一是通过为模型组件提供简单可扩展的接口,二是导出模型用于推理。目前,PyText的核心功能有以下几点:
内含各种为NLP/NLU任务准备的模型
(如文本分类、序列标注、连接意图-槽位模型和上下文意图-槽位模型等。)
支持基于PyTorch 1.0中新的C10d后端构建的分布式训练
可以轻松创建新模型和任务的可扩展组件
支持整体训练
为了适应研究和生产的需要,Facebook还强调了框架的稳健性和低延迟性,目前,PyText已经应用于Facebook网站上,你和朋友视频/音频中的字幕生成功能就是它的功劳。每天可执行超过10亿次预测。
可以看出,模块化也是PyText的一大亮点,不仅支持从头创建新的pipeline,还可以修改现有的工作流程。除了分布式训练外,还支持一次训练多个模型。
传送门
官方博客地址:
https://code.fb.com/ai-research/pytext-open-source-nlp-framework/
GitHub代码:
https://github.com/facebookresearch/pytext
在论文PyText: A seamless path from NLP research to production中,研究人员详细介绍了PyText的原理:
https://research.fb.com/wp-content/uploads/2018/12/PyText-A-seamless-path-from-NLP-research-to-production-using-PyTorch3.pdf?
不花一分钱,你也能拥有Facebook同款框架了~
— 完 —
活动报名
加入社群
量子位AI社群开始招募啦,欢迎对AI感兴趣的同学,在量子位公众号(QbitAI)对话界面回复关键字“交流群”,获取入群方式;
此外,量子位专业细分群(自动驾驶、CV、NLP、机器学习等)正在招募,面向正在从事相关领域的工程师及研究人员。
进专业群请在量子位公众号(QbitAI)对话界面回复关键字“专业群”,获取入群方式。(专业群审核较严,敬请谅解)
诚挚招聘
量子位正在招募编辑/记者,工作地点在北京中关村。期待有才气、有热情的同学加入我们!相关细节,请在量子位公众号(QbitAI)对话界面,回复“招聘”两个字。
量子位 QbitAI · 头条号签约作者
վ'ᴗ' ի 追踪AI技术和产品新动态
Facebook开源新NLP框架:简化部署流程,大规模应用也OK相关推荐
- Pytext支持分布式训练,Facebook AI基于PyTorch的NLP框架,简化部署流程
向AI转型的程序员都关注了这个号
- Spark 开源新特性:Catalyst 优化流程裁剪
摘要:为了解决过多依赖 Hive 的问题, SparkSQL 使用了一个新的 SQL 优化器替代 Hive 中的优化器, 这个优化器就是 Catalyst. 本文分享自华为云社区<Spark 开 ...
- ruoyi框架服务器部署流程
参考b站视频连接 ruoyi框架git网址 一.参数修改 1.application-druid.yml数据源配置 2.logback.xml日志配置 修改日志存放路径.日志编码格式 mkdir -p ...
- 《Flowable流程引擎从零到壹》引入日志框架和部署流程定义
14天学习训练营导师课程: 邓澎波<Flowable流程引擎-基础篇[2022版]> 邓澎波<Flowable流程引擎-高级篇[2022版]> 学习笔记<Flowable ...
- Facebook开源NLP建模框架PyText,从论文到产品部署只需数天
选自code.fb 作者:AHMED ALY HEGAZY.CHRISTOPHER DEWAN 机器之心编译 参与:淑婷.张倩 Facebook AI Research(FAIR)今天宣布推出 PyT ...
- 百度开源联邦学习框架 PaddleFL:简化大规模分布式集群部署
百度开源联邦学习框架 PaddleFL:简化大规模分布式集群部署 作者 | 钰莹近两年,联邦学习技术发展迅速.作为分布式的机器学习范式,联邦学习能够有效解决数据孤岛问题,让参与方在不共享数据的基础上联 ...
- Pytext简介:facebook的基于PyTorch的NLP框架
自然语言处理(NLP)在现代深度学习生态中越来越常见.从流行的深度学习框架到云端API的支持,例如Google云.Azure.AWS或Bluemix,NLP是深度学习平台不可或缺的部分.尽管已经取得了 ...
- 170个新项目,579个活跃代码仓库,Facebook开源年度回顾
作者 | Dmitry Vinnik 译者 | 泓礼 编辑 | 夕颜 出品 | AI科技大本营(ID:rgznai100) [导读]过去一年对于Facebook的开源工程师来说是繁忙的一年.在2019 ...
- 各种NLP操作难实现?谷歌开源序列建模框架Lingvo
各种NLP操作难实现?谷歌开源序列建模框架Lingvo 自然语言处理在过去一年取得了很大进步,但直接关注 NLP 或序列建模的框架还很少.本文介绍了谷歌开源的 Lingvo,它是一种建立在 Tenso ...
最新文章
- 一致性 hash 算法( consistent hashing )
- web.config配置
- TCP拥塞控制算法内核实现剖析(二)
- SQL分割字符串,SQL按照指定字符分割字符串,SQL处理字符串...
- NTU 课程笔记 CE7454(2) 概率论
- 数据库菜鸟不可不看 简单SQL语句小结
- boost::hana::min用法的测试程序
- jolokia_Hawtio和Jolokia的Hibernate统计
- [Vue.js]实战 -- 电商项目(三)
- jq双击放大图片_痘痘肌肤反馈图片,平时注意这3个就可以
- 向爸爸借了500,向妈妈借了500,买了双皮鞋用了970。剩下30元,还爸爸10块,还妈妈10块,自己剩下了10块,欠爸爸490,欠妈妈490,490+490=980。加上自己的10块=990。还有1
- 图卷积网络详细介绍(三)
- javascript模式 (3)——工厂模式和装饰模式
- Android/iOS 终端快速截屏技巧
- java8 32位和64位资源分享 Windows 版本:8u311
- Python爬虫基础:验证码概述及打码平台
- 关于deepin-wine或wine更换字体方法
- linux安装java7_Linux安装jdk-7u25-linux-i586
- CodeForces - 1324 D. Pair of Topics 思维+多解法
- 网络空间安全中国学科排名——2021软科
热门文章
- 生物学家、钢管舞、全栈工程师,女程序员如何活得漂亮
- c语言按键中断程序,单片机C语言代码:外部中断,按下中断按键LED不亮,LED1正常亮...
- android布局时长分析,Android性能优化:布局优化 详细解析(含、、讲解 )
- 字节跳动社招面试记录,javaspring框架详细设计模板
- 第 16 章 垃圾回收相关概念
- linux qt 系统时间,QT在linux环境下读取和设置系统时间
- mysql 8.0远程连接_mysql8.0 安装 修改密码 允许远程连接
- 执行环境及作用域分析
- lisp用entmake生产圆柱体_投石科技圆柱体全息幻象装置
- docker from指令的含义_volume_from指令-docker撰写