Skip to content
Artwork for 每日AI
每日AI · Monday · 24 min

NVIDIA - Lyra:视频扩散模型的生成式3D场景重建 单图重构3D物理世界

Lyra 框架,这是一种无需真实世界多视角数据即可直接从单张图像或视频中生成高质量静态和动态 3D场景 的创新方法。通过采用独特的 自蒸馏技术,该研究将强大的 视频扩散模型 转化为“教师”角色,从而有效监督并训练一个能输出显式 3D高斯喷洒(3DGS) 的“学生”解码器。这一方法不仅在压缩的潜在空间中高效处理多视角信息,还极大地消除了对昂贵多视角训练集的依赖。实验结果表明,该框架在单图3D和单视频4D场景生成任务中均达到了业界领先的性能水平。

0:00-24:07

transcript

No transcript — this publisher did not publish one.

show notes

Lyra 框架,这是一种无需真实世界多视角数据即可直接从单张图像或视频中生成高质量静态和动态 3D场景 的创新方法。通过采用独特的 自蒸馏技术,该研究将强大的 视频扩散模型 转化为“教师”角色,从而有效监督并训练一个能输出显式 3D高斯喷洒(3DGS) 的“学生”解码器。这一方法不仅在压缩的潜在空间中高效处理多视角信息,还极大地消除了对昂贵多视角训练集的依赖。实验结果表明,该框架在单图3D和单视频4D场景生成任务中均达到了业界领先的性能水平。