Stability AI发布新模型Stable Video 3D(SV3D),可以通过单张照片生成出360°环绕视角的轨道视频(orbital videos),以及在指定的摄像机路径上创建3D视频,视频的品质与视角一致性都有大幅提升。Stable Video 3D现在可以通过Stability AI会员资格用于商业目的。对于非商业用途,则可以在Hugging Face上下载模型权重并参考其研究论文。

SV3D是基于Stable Video Diffusion的生成模型,包含2的变体,SV3D_u及SV3D_p。

SV3D可通过输入单一对象形象,输出该对象的新颖的多视图再利用这些视图生成3D视频。

官方表示,与先前的Stable Zero123相比,SV3D不仅提供多视角及提高品质,同时也优于其他开源替代方案,如Zero123-XL。

不同于先前常常受限于视角和输出不一致性的方法,SV3D的新视角合成(novel view synthesis, NVS)能够以熟练的泛化能力,从任何角度提供一致的视角,不仅增强姿势控制性,还能确保物体在多个视角下的外观一致性,进一步提高真实和准确3D生成的关键方面。

使用SV3D获得的3D网格结果,与EscherNet和Stable Zero123生成的输出进行比较。

另外,为了改善直接重新视角生成的3D网格的品质,Stability AI设计了一种新的遮罩分数蒸馏抽样损失函数(Masked Score Distillation Sampling Loss),以进一步提高在预测视图中不可见区域的3D品质;还采用解耦光照优化(Disentangled Illumination Optimization)减少固定照明的问题。

Stability AI会员可使用SV3D进行商业用途,而非会员则可以在开源社交媒体平台Hugging Face上下载模型权重,及查看公开的研究论文。

数据源:Stability AI