我遇见了我 | 虚拟数字人养成,FaceGood 虚拟数字人开源技术研讨会
2022开年,Magic Data 和虚拟数字人制作公司FaceGood,以及清华大学,思必驰等机构,举办了一场虚拟数字人开源技术研讨会。Magic Data 创始人兼CEO张晴晴博士受邀出席论坛。在论坛上,就虚拟数字人驱动技术、软组织动作捕获跟踪技术、交互技术、数据处理技术进行了热烈的交流。
Magic Data 多模态数据处理系统Annotator®5.0,为虚拟数字人的底层架构提供了基础重要的多维度数据支撑。
不断涌现的虚拟数字人
在元宇宙的巨大的市场中,高精智能的虚拟数字人仿佛一夜之间渗透到了各行各业,正吸引着海内外厂商加速布局元宇宙赛道。能在另一个宇宙中遇见不同声音、样子甚至不同性别的自己,这让生活在现实中的人们产生了真实的期待。
虚拟数字人需要多模态的技术驱动和丰富的数据支撑,才能让数字人“立体”起来。过去的数字人,更多的是只是一种感官存在的“物品”。他们会微笑,会说话,会唱歌,但他们没有情感,不会和人交流。
情感人机交互 ——“对话式AI”技术与数据
人工智能的终极形态是情感需求,虚拟数字人能够刺激到人类的情感需求,前提是他们必须做到与人交互,“对话式AI”技术与数据,能够实现虚拟数字人与人类交流相处。
“对话式AI”需要全流程的准确和高效,将用户语音转换为文本,理解文本含义,搜索符合语境的最佳应答,最后使用文本转语音工具提供应答。
在技术层面,对话式 AI涉及语音识别、自然语言理解和语音合成等核心技术。想要通过这些技术实现人和机器之间更自然的对话,面临两点技术挑战:
一是个体语言体系的差异化。由于所处地域、文化、教育背景的不同,每个人的语言表达都是独特的,这种个性化在人与人之间的沟通中都难免出现理解偏差,更何况是一台机器。对于AI而言,中文不是一种语言,而是13亿种语言。
二是对话式口语常常会有语序颠倒、犹豫、迟疑产生的停顿。在复杂的多人交互场景中,也不可避免会出现语句打断、抢话、交叠音等问题,这些语音特征为 AI 建模带来了很大困难。
真实的对话数据和多语种语料库建设是解决上述问题的关键,为机器注入知识图谱、中文、方言、外语等多种语料,才能让机器像人一样理解自然语言。
1、语音识别技术和数据
语音识别,主要是将人类语音中的词汇等内容转换为计算机可读的输入,这是计算机学习人类语言的第一步,上述提及到的千人千面的个性化表达以及对话口语颠倒、犹豫、迟疑等,这些被输入的“内容”对于机器来说都是非常重要的学习要素。
2、语音合成技术和数据
语音合成,主要是将计算机产生的文字(自己的或者外部输入的)转变为人类可以听得懂的、流利的汉语口语的输出。人类在语言表达的时候总是附带着语气与感情,语音合成的音频是为了模仿真实的人声,所以需要对文本进行韵律预测,什么地方需要停顿,停顿多久,哪个字或者词语需要重读,哪个词需要轻读等,实现声音的高低曲折,抑扬顿挫。
3、自然语言理解技术和数据集
自然语言理解,主要是计算机通过对输入数据的理解和分析,让人类与机器能够用自然语言进行有效地通讯交流,不仅让机器能够“听懂人话”,更能让机器“讲人话”。
更多数据集样例可在MagicData官网进行查看:
https://www.magicdatatech.cn/datasets
希望未来虚拟人不仅可以和人交流,还可以千人千面,能够真的和“我”一样,有一样的动作习惯,有常用的表情,有熟悉的语气等等。在人机交互过程中,机器要想感知人的情感色彩,光靠声音是不够的,更多信息传递蕴含在面部表情或语言内容中,情绪感知是一个多模态综合评价的结果。而这些,需要定制化对每个个体进行多模态的数据采集和刻画。
Magic Data 多模态数据处理系统Annotator®5.0,为虚拟数字人的构建提供了最基础最重要的多维度数据支撑。在Annotator®5.0底层结构上,借助了大量AI技术,通过对数据的预处理,捕获基础刻画能力,再通过人工后期精细化加工的方式,进一步优化特征,从而最大程度保证了对每个个体的刻画能力。
pc端试用链接:
https://www.magicdatatech.cn/
数据是人工智能的基础建设,不论元宇宙还是虚拟数字人,一切有关人工智能的构建都离不开数据,合理有效的使用数据,才能让机器更好地理解人类,让人类更好地探索未知。
我遇见了我 | 虚拟数字人养成,FaceGood 虚拟数字人开源技术研讨会相关推荐
- 武汉城区虚拟形象代言人发布,虚拟数字人引领城市形象代言新趋势
武汉市汉阳城区形象代言双生虚拟人"知小音""汉小阳"1月1日正式发布.这是武汉首个城区虚拟形象代言人创造项目,作为汉阳"文化创意城"原创虚拟 ...
- 史上最强型人养成秘籍: 90 天肥仔变型男实录
史上最强型人养成秘籍: 90 天肥仔变型男实录[12P] 这是一篇最近很火的帖子.主人公B.K ,是一个从来没有看见过自己腹肌的 三十三岁中年普通男人,就是因为青春易逝的危机感,让他下定决心给自己一个 ...
- 如何实现元宇宙数字分身自由?带你走近数字分身养成记
疫情时期,很多线下活动不得不转到了线上,人们对互联网的使用日趋依赖和频繁,现实生活大规模向数字世界迁徙,AV.VR.云计算.5G等技术的进步也为元宇宙的发展孕育了土壤,元宇宙重新定义了人与空间的关系, ...
- Unity工业数字孪生、汽车数字孪生、手术虚拟培训,数字孪生应用场景有哪些?
对传统工业来说,当下似乎有些困难.特别是近几年,影响全球的新冠疫情削弱了组织的生产力,破坏了传统供应链.事实上这只是行业诸多挑战的一个缩影和集中体现.如果说新冠疫情是个突发事件,那么还有更多不可逆的趋 ...
- 电子沙盘数字沙盘M3D GIS虚拟三维大数据人工智能无人机倾斜摄影三维全景建模课程第47课
电子沙盘数字沙盘M3D GIS虚拟三维大数据人工智能无人机倾斜摄影三维全景建模课程第47课 设置system.ini 如下内容 Server=122.112.229.220 user=GisTest ...
- 走进未来的工厂:数字孪生车间、虚拟车间和数字化车间的前沿应用
数字孪生车间.虚拟车间和数字化车间是在工业领域中用于数字化转型的概念.它们有着不同的定义.应用和特点.下面从几个方面帮助大家理解一下三者的区别和联系: 一.定义 数字孪生车间是指通过数字技术将实际的工 ...
- 璞华助力“数字人社”,为成都市人社数字化建设提供多方位的产品与技术支持!
新的时期,人力资源和社会保障事业进入新一轮的制度创新和加快发展阶段.把对各项人力资源和社会保障业务的支持和服务纳入信息化建设,通过 "数字人社"信息化建设项目,是充分利用新一代信息 ...
- 淘晶驰串口屏入门(二)文本、字库、滚动文本、滑动文本、数字、变量与虚拟浮点数
软件左侧为控件栏,点击可以快速创建控件 一.文本控件 1.点击文本控件,快速创建一个文本控件 2.屏幕上出现了一个文本控件,注意:t+数字开头的为文本控件,这是控件的名称,你可以自己修改 3.选中文本 ...
- 7-114 谁先倒 (15分) 划拳是古老中国酒文化的一个有趣的组成部分。酒桌上两人划拳的方法为:每人口中喊出一个数字,同时用手比划出一个数字。如果谁比划出的数字正好等于两人喊出的数字之和,谁就输了
划拳是古老中国酒文化的一个有趣的组成部分.酒桌上两人划拳的方法为:每人口中喊出一个数字,同时用手比划出一个数字.如果谁比划出的数字正好等于两人喊出的数字之和,谁就输了,输家罚一杯酒.两人同赢或两人同输 ...
最新文章
- 多视图几何三维重建实战系列- Cascade-MVSNet
- 中文速读微生物组(宏基因组)前沿文献——这个可以有
- Linux加法简单程序,Android应用程序的开发目录——简单的加法计算示例
- Azure 命令行工具大混战,都是什么,该选哪个?
- 乘法原理的例题和答案_吃透高考数学17个必考题型,基础再差也能考130!(内附解题技巧+例题解析)...
- Dubbo 集成 ZooKeeper 注册中心实现服务调用
- 快速排序总结,Python版
- 面试准备每日五题:C++(十)——mapset、set查找、迭代器实现、set低层原理
- CentOS 6下SSH限制IP和用户登录
- vue页面乱码_项目部署到weblogic后页面乱码问题
- Windows:win 10系统麦克风没有声音,无法使用
- 如何用Excel制作甘特图?专业教程教你快速解决问题
- 第1章练习题-SQL基础教程
- TensorFlow中的通信机制——Rendezvous(一)本地传输
- 计算机图片显示简单原理
- 用 Python 轻松将懂车帝视频转换为文本
- 1号店详情页(共5页)
- 火狐打不开12306购票网站解决办法
- java中ceil_Java ceil()方法
- 关于设定校园二手租赁系统的计划、功能及建议
热门文章
- 本地调试邮件可发送,linux服务器邮件发送报错javax.mail.MessagingException: 501 5.5.4 Invalid argument
- 中国移动网上商城有多坑?
- 怎么聊微信才能让她喜欢你
- Discuz 论坛模块全部帖子和评论爬取
- 华为 BGP认证功能
- 解决 Fragment null must be a public static class to be properly recreated
- 技术赋能教育直播,保利威玩转“5G+AI”
- 混沌加密算法python_基于混沌Logistic加密算法的图片加密与还原
- Cadence PSpice 模型10:ABM库的控制源型模型介绍与使用方法图文演示
- 八大医疗电子实用案例合集