AI 资源精选
  首页 >图像和视频 >i2vEdit
访问数:124
i2vEdit

厂家:

简介:

扩散模型显著的生成能力促使人们在图像和视频编辑方面进行了广泛的研究。与在时间维度上面临额外挑战的视频编辑相比,图像编辑见证了更多样、更高质量的方法和更强大的软件(如Photoshop)的发展。鉴于这一差距,我们介绍了一种新的通用解决方案,通过使用预训练的图像到视频模型将编辑从单个帧传播到整个视频,将图像编辑工具的适用性扩展到视频。

  详细介绍 - i2vEdit

作者在论文中表示:我们的方法被称为I2VEdit,根据编辑的程度自适应地保持源视频的视觉和运动完整性,有效地处理全局编辑、局部编辑和适度的形状变化,而现有方法无法完全实现这些功能。我们的方法的核心是两个主要过程:粗运动提取,用于将基本运动模式与原始视频对齐,外观细化,用于使用细粒度保持匹配进行精确调整。我们还加入了跳过间隔策略,以减轻多个视频片段中自回归生成的质量下降。实验结果证明了我们的框架在细粒度视频编辑方面的卓越性能,证明了它能够生成高质量、时间一致的输出。


可视化效果:

1、虚拟试穿

使用I2VEdit,您可以编辑源视频中的可穿戴对象。


videoframe_531.png

videoframe_632.png

videoframe_3513.png

videoframe_5195.png

videoframe_5338.png

2、主题替换

使用I2VEdit,您可以替换源视频的主题。

videoframe_902.png

videoframe_1045.png

videoframe_1900.png


3、风格转换

使用I2VEdit,您可以更改源视频的风格。

videoframe_179.png

videoframe_403.png

videoframe_791.png

videoframe_2028.png

videoframe_2330.png

4、比较

i2vEdit与其它类似模型的生成对比。

基于图像指导的实现对比

videoframe_284.png

videoframe_619.png

videoframe_887.png

videoframe_1053.png

videoframe_1606.png

基于文字指导的实现对比

videoframe_673.png

videoframe_814.png

videoframe_1923.png

--文 by AixTong.com--
相关资讯 / AI资源