6.18上午CVPR直播 | 清华三维视觉研究团队：三维人体重建与渲染、高精度人脸生成

⚡由将门-TechBeat人工智能社区主办的CVPR 2022云际会将携手21位分享嘉宾、4个技术团队举行5场在线交流活动，云端实时开讲，让你建立属于自己的能量级学术网络，同时一次性解锁学术的101种姿势。

⏰北京时间6月18日(本周六)上午10点，清华三维视觉研究团队的刘烨斌老师和同学们将率先分享他们在本次CVPR 2022的工作，三维人体重建与渲染、高精度人脸生成。

TechBeatTechBeat是荟聚全球华人AI精英的成长社区，每周上新来自顶尖大厂、明星创业公司、国际顶级高校相关专业在读博士的最新研究工作。我们希望为AI人才打造更专业的服务和体验，加速并陪伴其成长。https://datayi.cn/w/GR4vQ82o

点击卡片预约，

及时收到开播提醒！

▽

直播回顾将在视频号和TechBeat(www.techbeat.net)上架

团队介绍

▽

刘烨斌

清华大学三维视觉研究团队

清华大学三维视觉研究团队由刘烨斌副教授牵头，隶属由戴琼海院士领导的清华大学自动化系成像与智能技术实验室。团队围绕光场成像与处理、三维感知与重建、人体运动捕捉与全息交互等前沿理论与关键技术进行研究，发表CVPR/ICCV/ECCV/SIGGRAPH等顶会论文50篇，其中CVPR/ICCV口头报告论文10篇。关键技术近三年吸引20家国内外知名企业横向课题资金逾5000余万。获得2012年国家技术发明一等奖，2019年中国电子学会技术发明一等奖。

团队主页：www.liuyebin.com

刘烨斌，清华大学长聘副教授。分别于2002年和2009年在北京邮电大学、清华大学自动化系获得工学学士和工学博士学位。主要研究方向为三维视觉，发表计算机视觉与图形学领域顶级会议和期刊论文近50篇。担任CVPR 2021及ICCV 2021 Area Chair，SIGGRAPH Asia 2019, SIGGRAPH Asia 2020 Committee Member。任中国图象图形学会三维视觉专委会副主任，人工智能学会人机融合智能专委会副秘书长。获2012年国家技术发明一等奖（排名3），2013年度清华大学学术新人奖，2015年国家自然科学基金优秀青年基金，2019年中国电子学会技术发明一等奖（排名1）。

活动议程 + 报名

互动抽奖

活动中将进行互动抽奖，

在视频号和B站直播间各抽取1位幸运同学

送出Cherry机械键盘和Beats Flex蓝牙耳机！

工作及分享嘉宾

▽

①

结合隐式表面场和神经辐射场的高质量人体重建与渲染

DoubleField: Bridging the Neural Surface and Radiance Fields for High-fidelity Human Reconstruction and Rendering

人体三维重建以及自由视点渲染是三维视觉中的热点问题，也是元宇宙数字人实现的关键技术。为实现这个目标，本文提出了一种新的双重场表达以及多视角transformer架构，一方面能够将隐式场SDF和神经辐射场NeRF结合起来，另一方面可以有效地融合提取多视角高分辨率的图片信息，进而同时实现稀疏视角下人体几何的高精度重建和纹理高质量渲染。因为我们的网络同时学习两种场的先验，所以不仅能够提高人体渲染的质量还可以通过快速finetune进一步优化几何结果。我们的方法不依赖人体模板smpl，是首个general的人体稀疏视角高质量重建和高分辨渲染系统，并在数据集和现实数据上都取得了不错的效果。

Paper链接：

http://www.liuyebin.com/dbfield/assets/main.pdf

邵睿智 | 清华大学自动化系在读博士生

清华大学自动化系二年级博士生。研究方向主要是多视角下三维人体的重建与神经渲染，包括多视角高精度多人隐式重建以及高质量人体自由视点神经渲染。截至目前，本人以第一作者身份在CVPR/ICCV发表论文共3篇。

个人主页：

https://dsaurus.github.io/saurus.github.io/

②

基于结构化局部神经辐射场的可驱动虚拟人体建模

Structured Local Radiance Fields for Human Avatar Modeling

从RGB视频中创建一个可设置动画的穿着衣服的人类头像非常具有挑战性，特别是对于宽松的衣服，这主要是由于运动建模的困难。为了解决这个问题，我们在最近的神经场景渲染技术的基础上引入了一种新的表示方法。我们表示方法的核心是一组结构化的局部辐射场，这些辐射场锚定在统计人体模板上采样的预定义节点上。这些局部辐射场不仅利用了形状和外观建模中隐式表示的灵活性，还将布料变形分解为骨架运动、节点残差移和每个单独辐射场内的动态细节变化。为了从RGB数据中学习表示并促进姿势泛化，我们提出在条件生成潜在空间中学习节点平移和细节变化。总的来说，我们的方法无需预先扫描模板，就能够为各种类型的衣服自动构建可动画的人类化身，并且可以生成具有新颖姿势的动态细节的真实图像。

Paper链接：

https://liuyebin.com/slrf/assets/main.pdf

郑泽荣 | 清华大学自动化系在读博士生

清华大学自动化系四年级博士生，本科毕业于清华大学自动化系。曾在美国南加州大学和Facebook Reality Lab实习。研究方向聚焦于三维视觉，主要围绕三维人体建模展开，研究内容包括了三维人体的运动捕捉、单图像三维人体重建、三维数字化身学习。截至到目前，本人已在CVPR/ICCV/ECCV/TPAMI发表论文13篇，其中一作5篇，二作3篇，口头报告6篇。

个人主页：

https://zhengzerong.github.io/

③

Interacting Attention Graph for Single Image Two-Hand Reconstruction

我们探索了在单视角下RGB输入下的双手紧密交互重建。并首次在该任务下使用图卷积算法实现了实时的重建。为了解决双手交互中复杂的相互遮挡和接触的问题，我们提出了两个基于注意力机制的网络模块PIFA和CHA，两个模块分别编码了重建模型与输入图片之间的关系以及两只手之间的交互关系。我们的算法在公开数据集InterHand2.6m上大幅超过了现有的算法，并且现实场景中取得了不错的实时重建效果。

李梦成 | 清华大学自动化系在读博士生

清华大学自动化系四年级博士生，本科毕业于清华大学物理系。研究方向主要是人手的动态捕捉与三维重建。包括单视角单手、双手交互、手与物体交互的重建等。截至目前，本人以第一作者身份在CVPR发表论文共1篇。

④

FENeRF: 利用神经网络辐射场进行人脸编辑

FENeRF: Face Editing in Neural Radiance Fields

之前的人像图像生成方法大致分为两类：2D GAN 和 3D感知 GAN。 2D GAN 可以生成高保真人像，但视角一致性较差。 3D 感知 GAN 方法可以保持视角一致性，但不支持人脸局部编辑。为了克服这些限制，我们提出了 FENeRF，一个 3D 感知生成器，可以生成视角一致和可局部编辑的三维人脸肖像。我们的方法使用两个相互解耦的隐式编码在具有共享几何且空间对齐的3D 体中生成相应的面部语义和纹理。受益于这种底层的 3D 表达，FENeRF 可以联合渲染边界对齐的RGB图像和语义分割图，并使用语义分割图通过 GAN 逆映射来编辑 3D人脸。我们进一步表明，可以从广泛的单目图像和语义分割图对中学习这种 3D 表达。此外，我们发现联合学习语义分割和图像渲染有助于生成更精细的几何细节。我们的实验表明，FENeRF 在各种面部编辑任务中优于最先进的方法。

Paper链接：

https://arxiv.org/pdf/2111.15490.pdf

孙景翔 | 清华大学自动化系在读博士生

清华大学自动化系准一年级博士生，硕士毕业于伊利诺伊大学香槟分校。主要研究方向是图像生成和编辑，神经网络渲染等。截至目前以第一作者在CVPR发表论文一篇。

个人主页：

https://mrtornado24.github.io/

⑤

FaceVerse：基于融合数据集的细节可变的高精度三维人脸模板

FaceVerse: a Fine-grained and Detail-controllable 3D Face Morphable Model from a Hybrid Dataset

大量高精度三维人脸数据的采集具有很高的成本和难度，而对于高质量三维人脸模板的构建，这又往往是必不可少的。为解决这一难题，我们提出了 FaceVerse，一种从混合数据集中构建的高质量三维人脸神经模型。这一混合数据集包含60K的RGB-D人脸图像和2K高精度三维头部扫描模型。针对这一数据集，我们提出了一种分层结构：在基础表达模块中，我们从大规模RGB-D图像生成基础参数化人脸模板，该模型在不同性别、年龄的数据分布下都能有很好的拟合能力；然后细节优化模块中，我们提出了一种基于StyleGAN和UV展开图的表达方式，使得最终生成的人脸模型能够表达丰富精细的面部几何和纹理细节。与以前的方法不同，因而FaceVerse的基本属性和面部细节是可以独立编辑的。此外，我们提出了一种基于可微渲染的单图像拟合框架。我们的实验表明，我们的方法在单图像人脸重建中优于时下最先进的方法。

Paper链接：

https://arxiv.org/abs/2203.14057

王立祯 | 清华大学自动化系在读博士生

清华大学自动化系四年级博士生，本科毕业于清华大学物理系。研究方向主要是人脸的三维重建和生成，包括三维人脸模板的构建、单视角三维人脸重建与跟踪、高清二维人脸生成与驱动。截至目前，本人以第一作者身份在CVPR/ECCV发表论文共2篇。

个人主页：

https://lizhenwangt.github.io/

报名 + 入群

扫码填写下方报名表，工作人员将会把你拉入「 CVPR 2022活动交流群」

▽

关于将门创投

▼

将门是一家以专注于发掘、加速及投资技术驱动型创业公司的新型创投机构，旗下涵盖将门创新服务、将门-TechBeat技术社区（TechBeat）以及将门创投基金。

将门成立于2015年底，创始团队由微软创投在中国的创始团队原班人马构建而成，曾为微软优选和深度孵化了126家创新的技术型创业公司。

如果您是技术领域的初创企业，不仅想获得投资，还希望获得一系列持续性、有价值的投后服务，欢迎发送或者推荐项目给我“门”:

bp@thejiangmen.com

6.18上午CVPR直播 | 清华三维视觉研究团队：三维人体重建与渲染、高精度人脸生成相关推荐

微软亚研院 CVPR 2021 9篇视觉研究前沿进展
本文转载自微软研究院AI头条. 编者按:作为世界顶级的 AI 会议,CVPR 一直引领着计算机视觉与模式识别技术领域的学术与工业潮流.今年的 CVPR 于6月19日至25日在线上举办.在此,为大家精选 ...
港中深、华为联合培养，韩晓光课题组招收三维视觉数字人方向博士生
来源:机器之心学校简介香港中文大学(深圳)以创建一所立足中国.面向世界的一流研究型大学为己任,办学特色是国际化的氛围.中英并重的教学环境.书院制传统.通识教育.新型交叉学科设置和以学生为本的育人理 ...
机器人三维视觉技术及其在智能制造中的应用
点击上方"小白学视觉",选择加"星标"或"置顶" 重磅干货,第一时间送达摘要:三维视觉技术是智能机器人的一个热点研究方向,它是智能机器人进 ...
旷视三维视觉Workshop | 3D组组长与你畅聊三维技术新动态
在张祥雨博士与各位同学畅聊Model设计的新视角以及高产论文的独家秘籍后为满足广大同学的需求我们将在这个暑期大量放送不同主题的线下Workshop! 为你缓解CV焦虑感,斩获CV幸福感! 本 ...
三维视觉系统在顶盖激光焊接生产线上的应用案例
目前国外汽车公司的白车身焊装线一般都采用自动化和柔性化程度较高的机器人焊装线,主要有电阻点焊接和激光焊接两种焊接方式.激光焊接在焊装生产线上应用的一个非常大的局限性是对车身零件的定位精度有较高的要求, ...
CVPR 2021|三维视觉相关论文汇总
作者丨Tom Hardy@知乎来源丨https://zhuanlan.zhihu.com/p/355149511 编辑丨3D视觉工坊 1.GDR-Net: Geometry-Guided Direc ...
CVPR 2022 3月3日论文速递（19 篇打包下载）涵盖网络架构设计、姿态估计、三维视觉、动作检测、语义分割等方向
以下CVPR2022论文打包合集:下载地址神经网络架构设计 [1] An Image Patch is a Wave: Quantum Inspired Vision MLP(图像补丁是波浪:量子启 ...
浙大三维视觉团队提出 Neural Body，单目RGB视频重建人体三维模型，无需预训练网络...
点击蓝字关注我们 AI TIME欢迎每一位AI爱好者的加入! 今天,我们介绍一篇2021 CVPR的人体自由视角合成的论文:Neural Body: Implicit Neural Represen ...
北京内推 | 京东AI研究院计算机视觉实验室招聘三维视觉算法研究型实习生
合适的工作难找?最新的招聘信息也不知道? AI 求职为大家精选人工智能领域最新鲜的招聘信息,助你先人一步投递,快人一步入职! 京东 AI 研究院京东 AI 研究院(https://air.jd.co ...
浙大三维视觉团队提出Animatable NeRF，从RGB视频中重建可驱动人体模型 (ICCV'21)
关注公众号,发现CV技术之美本文经作者授权转载自知乎: https://zhuanlan.zhihu.com/p/421072327 我们介绍一篇2021 ICCV的人体重建论文:Animatabl ...

6.18上午CVPR直播 | 清华三维视觉研究团队：三维人体重建与渲染、高精度人脸生成

6.18上午CVPR直播 | 清华三维视觉研究团队：三维人体重建与渲染、高精度人脸生成相关推荐

最新文章

热门文章