机器之心专栏
机器之心编辑部
animate124,轻松将单张图片变成 3d 视频。
近一年来,dreamfusion 引领了一个新潮流,即 3d 静态物体与场景的生成,这在生成技术领域引发了广泛关注。回顾过去一年,我们见证了 3d 静态生成技术在质量和控制性方面的显著进步。技术发展从基于文本的生成起步,逐渐融入单视角图像,进而发展到整合多种控制信号。
与此相较,3d 动态场景生成仍处于起步阶段。2023 年初,meta 推出了 mav3d,标志着首次尝试基于文本生成 3d 视频。然而,受限于开源视频生成模型的缺乏,这一领域的进展相对缓慢。
然而,现在,基于图文结合的 3d 视频生成技术已经问世!
尽管基于文本的 3d 视频生成能够产生多样化的内容,但在控制物体的细节和姿态方面仍有局限。在 3d 静态生成领域,使用单张图片作为输入已经能够有效重建 3d 物体。由此受到启发,来自新加坡国立大学(nus)和华为的研究团队提出了 animate124 模型。该模型结合单张图片和相应的动作描述,实现了对 3d 视频生成的精准控制。
- 项目星空体育网站入口官网手机版主页: https://animate124.github.io/
- 论文地址: https://arxiv.org/abs/2311.14603
- code: https://github.com/helioszhao/animate124
核心方法
方法概括
根据静态和动态,粗糙和精细优化,本文将 3d 视频生成分为了 3 个阶段:1)静态生成阶段:使用文生图和 3d 图生图扩散模型,从单张图像生成 3d 物体;2)动态粗糙生成阶段:使用文生视频模型,根据语言描述优化动作;3) 语义优化阶段:额外使用个性化微调的 controlnet,对第二阶段语言描述对外观造成的偏移进行优化改善。
图 1. 整体框架
静态生成
本文延续 magic123 的方法,使用文生图(stable diffusion)和 3d 图生图(zero-1-to-3)进行基于图片的静态物体生成:
对于条件图片所对应的视角,额外使用损失函数进行优化:
通过上述两个优化目标,得到多视角 3d 一致的静态物体(此阶段在框架图中省略)。
动态粗糙生成
此阶段主要使用文生视频扩散模型,将静态 3d 视为初始帧,根据语言描述生成动作。具体来说,动态 3d 模型(dynamic nerf)渲染连续时间戳的多帧视频,并将此视频输入文生视频扩散模型,采用 sds 蒸馏损失对动态 3d 模型进行优化:
仅使用文生视频的蒸馏损失会导致 3d 模型遗忘图片的内容,并且随机采样会导致视频的初始和结束阶段训练不充分。因此,本文的研究者们对开始和结束的时间戳进行过采样。并且,在采样初始帧时,额外使用静态函数进行优化(3d 图生图的 sds 蒸馏损失):
因此,此阶段的损失函数为:
语义优化
即使采用了初始帧过采样并且对其额外监督,在使用文生视频扩散模型的优化过程中,物体的外观仍然会受到文本的影响,从而偏移参考图片。因此,本文提出了语义优化阶段,通过个性化模型对语义偏移进行改善。
由于仅有单张图片,无法对文生视频模型进行个性化训练,本文引入了基于图文的扩散模型,并对此扩散模型进行个性化微调。此扩散模型应不改变原有视频的内容和动作,仅对外观进行调整。因此,本文采用 controlnet-tile 图文模型,使用上一阶段生成的视频帧作为条件,根据语言进行优化。controlnet 基于 stable diffusion 模型,只需要对 stable diffusion 进行个性化微调(textual inversion),即可提取参考图像中的语义信息。个性化微调之后,将视频视为多帧图像,使用 controlnet 对单个图像进行监督:
另外,因为 controlnet 使用粗糙的图片作为条件,classifier-free guidance (cfg) 可以使用正常范围(10 左右),而不用与文生图以及文生视频模型一样使用极大的数值(通常是 100)。过大的 cfg 会导致图像过饱和,因此,使用 controlnet 扩散模型可以缓解过饱和现象,实现更优的生成结果。此阶段的监督由动态阶段的损失和 controlnet 监督联合而成:
实验结果
作为第一个基于图文的 3d 视频生成模型,本文与两个 baseline 模型和 mav3d 进行了比较。与其他方法相比,animate124 有更好的效果。
可视化结果比较
图 2. animate124 与两个 baseline 比较
图 3.1. animate124 与 mav3d 文生 3d 视频比较
图 3.1. animate124 与 mav3d 图生 3d 视频比较
量化结果比较
本文使用 clip 和人工评价生成的质量,clip 指标包括与文本的相似度和检索准确率,与图片的相似度,以及时域一致性。人工评价指标包括与文本的相似度,与图片的相似度,视频质量,动作真实程度以及动作幅度。人工评价表现为单个模型与 animate124 在对应指标上选择的比例。
与两个 baseline 模型相比,animate124 在 clip 和人工评价上均取得更好的效果。
表 1. animate124 与两个 baseline 量化比较
总结
animate124 是首个根据文本描述,将任意图片变成 3d 视频的方法。其采用多种扩散模型进行监督和引导,优化 4d 动态表征网络,从而生成高质量 3d 视频。
特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。
notice: the content above (including the pictures and videos if any) is uploaded and posted by a user of netease hao, which is a social media platform and only provides information storage services.