美图影像实验室MT Lab

+33 AI影响因子

比赛

比赛名称：ISIC

年份：2018

企业：美图

操作：竞赛

名次：1

比赛

比赛名称： ECCV

年份：2018

企业：美图

操作：竞赛

名次：1

论文

名称：ACM Multimedia

时间：2018

企业：美图

论文

名称：IEEE Transactions on Image Processing

时间：2018

企业：美图

论文

名称：IEEE Transactions on Circuits and Systems for Video Technology

时间：2018

企业：美图

更多相关

雷锋网(公众号：雷锋网)AI 科技评论按：美图近年来在 AI+影像领域频频发力，不但学术实力获得世界各大顶级人工智能会议的肯定，还将学术成果变为旗下产品的「助燃剂」，助力产品在海内外登顶各大应用榜单，并推动探索多元的商业化路径，更向外输出技术赋能合作伙伴。

今年 7 月以来，美图秀秀在海外突然开启了「霸榜」模式。在前后一个多月的时间里，先后在韩国、日本、泰国、埃及、沙特、蒙古等 6 国 App Store 总榜登顶。

这一切的幕后推手，是美图公司利用人工智能技术推出的绘画机器人 Andy。这是全球首款将人工智能用于绘画的产品，能够根据用户的自拍，生成插画风格的肖像。

而在刚刚过去的这个夏天，Andy 上线了新的绘画风格「summer 效果」，主打清凉甜美的夏日风。Andy 的绘画风格清新可爱，其「画工」甚至得到了专业漫画家的认证。日本漫画家石川润发日推晒照盛赞美图秀秀，评论区齐呼「卡哇伊」。

在人工智能的加持下，美图秀秀在海外多国圈粉无数，在应用市场的排名也持续飙升。

产品的优秀成绩自然不可小觑，而背后则是美图公司在学术领域的发力。在 2018 刚刚过去的 8 个月，美图公司就有 8 项人工智能的研究成果获得世界顶级学术会议的认可（详见文末）。这些学术成就在雷锋网旗下学术频道 AI 科技评论数据库产品「AI 影响因子」上有相应加分。

这些成绩的背后，是美图在人工智能（特别是在计算机视觉领域）上倾注的大量研发资源。公司在探索前沿的人工智能技术的同时，也将学术成果用于推动产品的革新与发展，并为公司探索多元的商业化路径。

美图人工智能的「名利双收」

在 AI 测肤上的创新与突破，是人工智能让美图「名利双收」的绝佳案例。

今年 8 月，美图影像实验室（MTlab）在 ISIC Challenge 2018 大赛斩获了皮肤癌病灶分割 Task1 冠军，充分展现了美图在 AI 测肤上的技术实力。要知道，同题比赛的还有腾讯优图、联想研究院、新加坡国立大学、威尔康奈尔医学院、南洋理工大学等知名科研院所和企业。

美图AI测肤技术

实际上，美图从 2017 年就开始着手 AI 测肤技术的研究，并以这一技术为核心，推出了电商平台「美图美妆」App。用户只需在素颜情况下用摄像头自拍，平台便能生成一份专属的皮肤质量报告，并给出针对性的护肤建议，及推荐合适的护肤产品，继而在平台完成下单购买。

这种「检测—推荐—购买」的独特美肤体验，是美图在竞争激烈的美妆电商脱颖而出的关键。根据美图 8 月的最新一期财报，美图美妆贡献的收入占比有所增加，用户转化率颇高。

早在去年底，美图的 AI 测肤技术已经在肤龄、肤色、黑头、黑眼圈、痘痘这五个领域实现了 95% 的准确率。它能够识别皮肤问题的类型：是痘印、黄褐斑，还是黑色素痣。

为了参加这次 ISIC Challenge 2018 的比赛，美图影像实验室（MTlab）又在其 AI 测肤技术的积累上，对经典分割检测网络进行大胆改进整合。在两个多月的时间里，美图的人工智能团队解决了病灶形态复杂、人体部位众多、不同专家参考标注差异等难题，仅仅使用 2500 张图片数据就训练出了效果优异的模型。

美图首先对病变大致区域进行检测，并将检测结果送入分割网络得到精细分割轮廓；对分割网络的设计中充分考虑了对病灶的细节特征和抽象语义特征的融合，使其能更好的结合图像局部全局信息，最终取得了分割精度 80.2% 的成绩（唯一精度在 80% 以上的队伍），在 80 多组参赛队伍中获胜。

美图也表示，此次获胜的技术也将用于更全面的皮肤问题诊断和修复产品的推荐中。

类似的案例还有美图的图像增强技术。在 ECCV 2018 图像增强技术比赛（Perceptual Image Enhancement on Smartphones, Track B）中，美图再次夺冠。并且美图影像实验室 (MTlab）提交的算法在主观质量、客观质量、计算速度、内存占用等指标几乎都是第一，综合分数大幅领先其他参赛团队。

美图开发图像增强技术的初衷，是为了让手机能够拍出接近单反画质的照片。美图旗下的美图手机，能够凭借「小而美」的体量在厮杀惨烈的智能手机市场占有一席之地，自研的图像增强技术的加持功不可没。而美图手机优异的拍照效果与体验，则成功帮助公司变现，贡献了现阶段稳定的现金流。

从赋能自己到赋能合作伙伴

此前，美图给人的印象更多是一个产品型的公司，而非技术型的公司。实际上，美图在过去的 10 年间积累了领先的影像技术，并从 2010 年开始耕耘人工智能。

在美图今年 3 月的财报中，外界可以直观地看到人工智能技术对美图各项业务的加分，比如公司已将人工智能技术融合到新的应用功能，美图秀秀里的绘画机器人 Andy 及美拍的百变背景，这些功能已经获得用户超过 10 亿次使用。

另外，美图的视频识别技术中亦采用了人工智能，有助于平台了解上传至美拍的视频背景。这构成美图提高用户活跃度的推荐算法的重要输入数据。据3月的财报估计，在 2017 年下半年，推荐算法的改进令每位用户的互动（例如为精选视频点评及点赞）较 2017 年上半年增加 50%。

至于智能手机部分，美图已采用人工智能及 3D 重建技术，使用户拍摄出的照片具备专业影棚级的打光效果。公司相信，采纳顶尖技术将会继续通过拍摄出更高质量、个性化和创意十足的照片，让美图智能手机从竞争中脱颖而出。

除了 10 年的影像技术经验、数亿的用户基础，技术与艺术的交融也是美图在人工智能领域的一大优势。

从 2018 年起，美图的技术开始向 B 端输出，赋能合作合作伙伴。今年下半年美图投资了消费医疗平台更美 App，并利用自身的人工智能技术赋能更美，帮助后者建立医疗美学智能引擎。此外，主打 AI 虚拟试妆的产品「美图魔镜「一经推出，就成为国际美妆品牌的首选，为 DFS 及 Dolce & Gabbana Beauty (DG Beauty) 的线下门店提供虚拟试妆服务。

美图在今年 3 月的财报中强调，「我们将继续投资人工智能，进一步提升我们的用户活跃度及商业化潜力。」相信它在未来也会利用更多人工智能的研发成果，落地商业合作及技术应用。

附录：

在 2018 年的前 8 个月，美图有 8 项人工智能的研究成果获得世界顶级学术会议的认可

1、美图获 ISIC 2018 皮肤癌病灶的分割任务冠军

链接：https://challenge2018.isic-archive.com/leaderboards/

2、美图在 ECCV 2018 图像增强技术比赛（Perceptual Image Enhancement on Smartphones, Track B）中夺冠

链接：http://ai-benchmark.com/challenge.html

3、Hierarchical Nonlinear Orthogonal Adaptive-Subspace Self-Organizing Map based Feature Extraction for Human Action Recognition(AAAI), 2018,Oral

链接：https://www.leiphone.com/news/201803/4P5vQiW1tRvVbBNA.html

4、Interaction-aware Spatio-temporal Pyramid Attention Networks for Action Classification, (ECCV), 2018

链接：https://www.leiphone.com/news/201807/uSouSPIZzGQ7vp6O.html

5、RGCNN: Regularized Graph CNN for Point Cloud Segmentation, (ACM Multimedia), 2018

链接：https://arxiv.org/abs/1806.0295

6、Human Conversation Analysis Using Attentive Multimodal Networks with Hierarchical Encoder-Decoder (ACM Multimedia), 2018, Oral

7、Joint Denoising/Compression of Image Contours via Shape Prior and Context Tree, (IEEE Transactions on Image Processing), 2018

链接：https://ieeexplore.ieee.org/document/8318677/

8、Reversible Data Hiding with Automatic Brightness Preserving Contrast Enhancement, (IEEE Transactions on Circuits and Systems for Video Technology), 2018

链接：https://ieeexplore.ieee.org/document/8463590/

雷锋网AI科技评论