智能多媒体内容设计在阿里巴巴的应用

http://idi.zju.edu.cn/wp-content/uploads/2020/11/59a1dff68908308effc05fb811f9b0ed.pdfhttp://idi.zju.edu.cn/wp-content/uploads/2020/11/59a1dff68908308effc05fb811f9b0ed.pdf淘宝网 - 淘！我喜欢https://alidesign.taobao.com/work.htm#/iframe/wantoo

1.介绍

分类，定位，检测以及分割技术发展使得机器可以深入理解素材乃至平面内容设计结构。GAN，字体生成，素材风格迁移，人体姿态迁移，文本内容理解和摘要提取等自然语言技术的应用，能够降低视频匹配字幕的成本。音乐风格迁移，音乐生成以及音效联动技术的探索，可以使音乐的选择、音效的调整更加灵活方便。基于多模态信息的特征学习是得视频内容的理解更加准确，跨媒体关系的建模使得多媒体信息的使用更加便利和广泛。

2.阿里巴巴多媒体内容生成

2.1 分析

该环节主要根据参数、脚本等配置信息对原始素材进行解析。是人工智能技术各原子能力应用较多的一个环节。

2.2 处理

在历届输入素材的基础上，该环节基于素材的情况及业务需求对其进行必要的处理加工，如图像的美化、修复、抠图，视频的剪切等。从而将原始素材处理成可进一步使用的原子素材。

2.3 生成

基于结构化的素材信息，结合GAN。

2.4 渲染

本环节根据预设的脚本和参数，有效融合所有可使用的素材信息，使文字，声音，图像，视频流等元素的展示协调一致，生成更富有表现力的广告，视频，页面，动效等产品，达到助力商业的目的。

2.5 评估

评价指标既包括图像美学，图像质量等算法指标，也包括商业应用指标，生成结果的用户使用率是比较常用的商业指标之一。评估结果对全流程各环节的优化起到积极作用，而对多媒体内容生产通常没有直接影响。基于对生成的多媒体内容和商业结果数据的分析，开发人员可以对相应模块进行迭代优化以达到更好的商业结果。

上面这个流程基本没什么问题，通常分析和处理被合成一个模块，做素材的预处理和解析，将数据解析成结构化数据，结构化数据是整个合成的核心数据结构，也是渲染中的脚本，生成这一步也是核心，生成其实还是比较复杂的，涉及到如何构建布局，对文案区域或者商品区域进行微调等。至于评估，目前来说，大部分生成图还是没有经过固定的评估模块去审核的，基本还是作为一个结果反馈机制，如果合成图那个地方不好，会根据评估的结果进行改动，尤其是电商图，美学意义上的图像质量评价并不一定在场景上合适。

3.抠图

抠图是整个智能创意的基础能力之一。

4.平面智能设计

鹿班在平面设计上实现了全流程自动化，不仅是一个平面设计的生产工具，还是一个平面设计的投放工具。基于对淘宝大数据以及用户行为的深入分析，能够基于不同用户的喜好，自动生成包含不同商品的个性化广告并投放给用户。

5.视频智能生成

通过分析用户提供的文案，在产品数据库或互联网上搜索匹配的图片或视频，并基于预设模板进行视频合成。

6.页面内容制造

AI-detail可以通过使用人工智能的技术对现有详情页进行结构化解析，并使用新语言或新风格模板自动批量重构新详情页。当详情图作为输入数据时，AI-detail首先对其进行分割以获得所有与组成元素，包括视频、图像位置、文本和表格等。基于分割出的各种素材，AI-detail可以识别品牌和场景，多角度分析模特姿态，捕捉商品细节。通过ocr技术，AI-detail不仅可以识别详情页的文字，也可以识别图片和视频帧中的文字。对详情页信息的结构化存储是AI-detail的核心功能。

智能多媒体内容设计在阿里巴巴的应用相关推荐

岗位内推 | 微软亚洲研究院智能多媒体组招聘实习生
PaperWeekly 致力于推荐最棒的工作机会,精准地为其找到最佳求职者,做连接优质企业和优质人才的桥梁.如果你需要我们帮助你发布实习或全职岗位,请添加微信号「pwbot02」. 我们属于微软亚洲研 ...
岗位内推 | 微软亚洲研究院智能多媒体组招聘计算机视觉算法实习生
PaperWeekly 致力于推荐最棒的工作机会,精准地为其找到最佳求职者,做连接优质企业和优质人才的桥梁.如果你需要我们帮助你发布实习或全职岗位,请添加微信号「pwbot02」. 我们属于微软亚洲研 ...
北京内推 | 微软亚洲研究院智能多媒体算法组招聘算法实习生
合适的工作难找?最新的招聘信息也不知道? AI 求职为大家精选人工智能领域最新鲜的招聘信息,助你先人一步投递,快人一步入职! 微软亚洲研究院我们属于微软亚洲研究院的智能多媒体(Intelligent ...
智能对话机器人设计全流程
智能对话机器人设计全流程(阿里小蜜) 8.1什么是对话机器人对话机器人模拟人类对话聊天形式并提供服务的程序,对话机器人之所以被广泛应用,是因为名称中的对话和机器人分别和用户和服务提供方都提供了价值 ...
天津大学计算机课程设计挂,《天津大学_智能装置课程设计报告》.doc
智能装置课程设计报告一.设计题目空调控制系统二.设计目的 1. 深入了解PIC16F877单片机的工作原理,熟练掌握汇编语言程序设计方法,熟练使用MPLAB-ICD仿真器及MPLAB-IDE仿真 ...
《智能家居产品从设计到运营》——第2章技术搭台——与智能家居相关的技术...
本节书摘来异步社区<智能家居产品从设计到运营>一书中的第2章,作者:邢袖迪,更多章节内容可以访问云栖社区"异步社区"公众号查看第2章技术搭台--与智能家居相关的技 ...
智能视频内容生产中专业视频数据导出工具的研发
点击上方"LiveVideoStack"关注我们随着智能视频生产时代的到来,专业视频的制作将会变得更智能.更简单.智能视频生产中主要包含三大模块,他们分别是:视频SDK底层能力. ...
【多媒体内容与体验创新】
在过去的一年中,我们可以看到多媒体特别是音视频技术的能力在严峻的挑战下,为各行各业带来了巨大的变化.疫情过后,又会有哪些多媒体新技术.新实践呈现在大众的视野当中?为行业的发展与应用带来哪些新的趋势与机 ...
SAP Marketing Cloud功能简述(三) 营销活动内容设计和产品推荐
Grace的前两篇文章: SAP Marketing Cloud功能简述(一) : Contacts和Profiles SAP Marketing Cloud功能简述(二) : Target Grou ...

智能多媒体内容设计在阿里巴巴的应用

智能多媒体内容设计在阿里巴巴的应用相关推荐

最新文章

热门文章