UWP 手绘视频创作工具技术分享系列 - 有 AI 的手绘视频
AI（Artificial Intelligence）正在不断的改变着各个行业的形态和人们的生活方式，图像识别、语音识别、自然语言理解等 AI 技术正在自动驾驶、智能机器人、人脸识别、智能助理等领域中发挥着越来越重要的作用。
那么当手绘视频遇到 AI，有 AI 的手绘视频领域，有 AI 的 UWP 手绘视频创作工具，会发生些什么呢？我们从12月23日的一次发布会开始讲起吧：
2018年短视频新生态峰会暨来画新品发布会
在本次发布会上，来画视频发布了正式上线的 iOS Android 手绘视频 App 和一系列新功能，二更、同道大叔、Prezi 创始人等也带来了短视频行业的精彩分享，而在 AI 方面，更是发布了两大核心功能：智能配音和智能绘画。
众所周知，在视频中，图像和声音是最重要的两个因素，而对应到手绘视频中，则是配音和手绘素材：
1. 配音
首先来说配音，在配音方面，来画与科大讯飞进行了深度合作。科大讯飞是国内外语音识别和语音生成领域领先的人工智能公司，而本次合作也是科大讯飞在短视频领域的首次尝试，双方都对本次合作寄予了很高的期待。过往大家想制作一个短视频时，配音需要专业配音人员完成。因为我们很多人的声音或者对语速、语音的控制完成不了专业的要求。但依靠来画和科大讯飞完成的智能配音功能，如下图的操作方式，用户只需要输入简单的文字以及你想使用谁的声音。比如葛优、林志玲或者其他人的声音，可以设置基本语速，还可以做相应停顿，就可以一键生成视频中需要的配音，把它结合到手绘视频中。
由于手绘视频不像拍摄视频那样对配音的音画同步要求那么严格，我们在实现时更多的是针对手绘视频的每个分镜头进行配音生成，让每个分镜头的配音是和当前画面同步的。针对每个分镜头，可以设置不同的语音来源，不同的语速，配合转场动画设置不同的停顿时间。
在技术实现上，借助科大讯飞的 tts 技术，获得每个分组的 mp3 语音文件，在手绘视频预览和生成时，把多个 mp3 文件合成到视频文件的音轨中，设置不同的音量和语音开始时间、语音长度等信息。为保证语音生成的成功率（时长和同步方面），在输入文字后，可以根据文字数量，以及设置的语速和停顿时间，来预估语音的时长，减少反复转换尝试。
2. 手绘素材
在技术实现方面，智能识别是图像识别的深度学习，具体说是手绘草稿的识别范畴；在算法模型的训练方面，我们对接近 400 个分类的 4000w 个 SVG 数据进行了数据清洗和标注、训练，目前算法对于常见图形的识别效果很好，随着这一功能的上线，后面也会加强更多分类的数据采集和训练工作；而智能优化和智能生成，除了对于草稿的图像识别，还有对于绘制图形的路径理解和目标图形的路径理解，这也是后面突破的重点方向。
结合了配音功能和手绘素材智能识别的 UWP 来画视频将会在接下来发布，欢迎大家下载使用，多提宝贵意见。
对这两个方面感兴趣的朋友，欢迎和我交流，谢谢！
UWP 手绘视频创作工具技术分享系列 - 有 AI 的手绘视频相关推荐
- UWP 手绘视频创作工具技术分享系列 - 手绘视频导出
原文:UWP 手绘视频创作工具技术分享系列 - 手绘视频导出 手绘视频最终的生成物是视频文件,前面几篇主要讲的是手绘视频的创作部分,今天讲一下手绘视频的导出问题.主要以 UWP 为例,另外会介绍一些 ...
- UWP 手绘视频创作工具技术分享系列 - 位图的绘制
UWP 手绘视频创作工具技术分享系列 - 位图的绘制 原文:UWP 手绘视频创作工具技术分享系列 - 位图的绘制 前面我们针对 SVG 的解析和绘制做了介绍,SVG 是图片的一种形式,而另一种很重要的 ...
- UWP 手绘视频创作工具技术分享系列 - 文字的解析和绘制
本篇作为技术分享系列的第二篇,详细讲一下文字的解析和绘制,这部分功能的研究和最终实现由团队共同完成,目前还在寻找更理想的实现方式. 首先看一下文字绘制在手绘视频中的应用场景 文字是手绘视频中很重要的表 ...
- 下载网页视频的方法：网站视频下载方法技术分享 或者用遨游5浏览器(下载视频)...
http://www.pc6.com/infoview/Article_68373.html 这是我多年做开发的经验,你不需下载专业软件,几步就可以拿到视频资源.在度娘搜索的时候,大多数方法都是去缓存 ...
- 火山引擎工具技术分享：用 AI 完成数据挖掘，零门槛完成 SQL 撰写
动手点关注 干货不迷路 在使用 BI 工具的时候,经常遇到的问题是:"不会 SQL 怎么生产加工数据.不会算法可不可以做挖掘分析?" 而专业算法团队在做数据挖掘时,数据分析及可视化 ...
- 《视搭》开源视频创作工具，保姆级搭建教程，短视频创作利器
新媒体创作少不了制作短视频,市面上有的创作工具都是收费的,今天给大家推荐一款良心的开源视频创作工具--<视搭>,用鼠标拖拽就可完成动画制作,导出视频就可以了. <视搭>是一个视 ...
- 视频直播技术分享：一文读懂主流视频直播系统的推拉流架构、传输协议等
本文由蘑菇街前端开发工程师"三体"分享,原题"蘑菇街云端直播探索--启航篇",有修订. 1.引言 随着移动网络网速的提升与资费的降低,视频直播作为一个新的娱乐方 ...
- 自媒体视频搬运，技术分享给大家！
朋友,你是否在找赚钱项目,今天我把我自媒体视频搬运技术分享给大家,做好的话月赚10万都是少的.但此项目尽量保密,做的人多了就成了红海不赚钱了. 自媒体视频搬运项目 大家如果了解自媒体的话,肯定知道自媒 ...
- 必看，短视频创作工具大全（电脑端）
经常看到很多朋友说想做短视频,但又不知道该做些什么准备,有什么工具需要提前学习的,其实短视频运营很简单,下面就给大家介绍一些短视频创作必备的工具(电脑端工具),帮助各位新手快速入行: 01 素材搜集- ...
最新文章
- mysql三范式和反三范式_数据库三范式和反三范式
- python opencv 识别角度_OpenCV入门之获取图像的旋转角度
- 网页服务器和mysql服务器_实现Web服务器之间使用同一个MYSQL和相同的网页配置文件的方法...
- 系统什么时候会执行adapter的getview函数
- js使用深度优先遍历实现getElmentById(id)
- 搞生物的速看！有了它，30分钟可以把一天的工作都给干完！
- iphonex如何关机_历时一个月，跨越一千里，我找回了在澳门被偷的iphoneX
- 倾心家教安卓案例开发代码_开发一个APP多少钱？
- python包管理工具ports_如何从自制程序,分发,macports,pip卸载所有软件包？
- 人工神经网络到底能干什么？到底在干什么？
- ES6学习笔记三(字符串)
- java long 1 000_Java-基本数据类型
- Floyd算法（matlab实现）
- 支付接口被阻拦，支付宝提示ILLEGAL_EXTERFACE
- C#敏感词汇过滤(不是正则)
- go语言webSocket框架——gorilla
- WPS内嵌图片怎样使用Java获取图片？
- Android校园社区平台 校园通 校园生活服务平台app
- 扫雷游戏软件测试,软件测试-扫雷游戏（10页）-原创力文档
- ClickHouse（十四）ClickHouse技术分享ppt