ai：你总要高清视频，它来了|清晰度|摄像机|滤波器|高分辨率-欧洲杯足彩官网

机器之心报道

机器之心编辑部

以后，就算是跑着拍视频，fma-net也能给你处理得非常满意。

magnific 图像超分 & 增强工具还正在火热体验中，它强大的图像升频与再创能力收获一致好评。现在，视频领域也有了自己的 magnific。

拍摄的街道视频一片模糊，仿佛高度近视没戴眼镜一样：

与之相比，下面的视频清晰度高了很多：

视频画面两边形成鲜明的对比：左边视频已经模糊的看不清人脸，而右边视频建筑物的纹理也看得清清楚楚：

行驶的汽车仿佛从一个模糊的世界穿越到高清世界：

不同的方法进行比较，明显看到右下角的视频在微小的细节恢复方面更加清晰：

通过上述展示，我们可以看出，视频超分辨率（vsr）就像是给模糊的老电影穿上了高清新衣。比如上面展示的一段道路监控录像，由于画质太低，细节看起来像是被涂抹过一样。这时候就需要 vsr 技术出场了，它能够把这些低分辨率的视频变得更加清晰。

不过，这个过程并不简单。常常因为摄像机晃动或拍摄物体的移动，视频就像是被风吹过的湖面，波纹模糊。这时，我们不仅需要提升视频的清晰度，还得「摆平」这些模糊的干扰。这就需要视频超分辨率和去模糊的联合修复（vsrdb），它要在保持视频清晰度的同时，还得处理模糊，确保最后呈现出来的视频既清晰又流畅。

为了实现上述效果，来自韩国科学技术院（kaist）与中央大学的研究者们提出了 fma-net 框架。这个框架基于流引导的动态滤波（flow-guided dynamic filtering, fgdf）和迭代特征细化的多重注意力机制（iterative feature refinement with multi-attention, frma），旨在实现从小到大的运动表示学习，并具有良好的联合恢复性能（见图 1）。fgdf 的关键之处在于执行滤波时要注意运动轨迹，而不是拘泥于固定位置，这样就能用较小的核有效处理较大的运动。

• 论文地址：https://arxiv.org/abs/2401.03707
• 项目星空体育网站入口官网手机版主页：http://kaist-viclab.github.io/fmanet-site/
• 论文标题：fma-net: flow-guided dynamic filtering and iterative feature refinement with multi-attention for joint video super-resolution and deblurring

方法介绍

该研究的目标是同时实现视频超分辨率和去模糊（vsrdb）。对于一个模糊的 lr（低分辨率， low-resolution ）输入序列，式中 t = 2n 1、c 分别表示输入帧数和中心帧索引。vsrdb 的目标是预测一个清晰的 hr（ 高分辨率，high-resolution ）中心框架。如下图展示了 vsrdb 框架 fma-net。

fma-net 包括两部分：退化学习网络 net^d ；修复网络 net^r 。退化学习网络用于估计感知运动的时空变化退化核；修复网络利用这些预测出的退化核来恢复模糊的低分辨率视频。

其中，退化学习网络 net^d 用来预测运动感知的时空变化退化，而 net^r 以全局自适应的方式利用 net^d 预测的退化来恢复中心帧 x_c。

net^d 和 net^r 具有相似的结构，它们由 frma（ feature refinement with multiattention ）块和 fgdf（ flow-guided dynamic filtering ）块组成。

下图 4 (a) 显示了第 (i 1) 步更新时 frma 块的结构，图 4 (b) 为多注意力结构。

下图 2 展示了 fgdf 概念。fgdf 看起来类似于可变形卷积（dcn），但不同之处在于 fgdf 学习的是位置相关的 n×n 动态滤波器系数，而 dcn 学习的是位置不变的 n×n 滤波器系数。

此外，新提出的多注意力机制，包括以中心为导向的注意力和退化感知注意力，使得 fma-net 能够专注于目标帧，并以全局适应的方式使用退化核进行视频超分辨率和去模糊。

训练策略

该研究采用两阶段的训练策略来训练 fma-net。首先对 net^d 进行预训练，损失 l_d 为：

然后，为了提高性能，本文还提出了 ta 损失，即等式右侧的最后一项。

总的训练损失为：

实验结果

表 1 显示了在测试集 reds4 上的定量比较结果。从表 1 可以看出：

• 级联 sr 和去模糊的序列方法会导致先前模型的错误传播，导致性能显著下降，并且使用两个模型还会增加内存和运行时成本；
• 与序列级联方法相比，vsrdb 方法始终表现出优越的整体性能，表明这两个任务高度相关；
• fma-net 在 psnr、ssim 和 tof 方面显著优于所有 sota 方法，具体来说，fma-net 比 sota 算法 rvrt * 和 basicvsr * 分别提高了 1.03 db 和 1.77 db。

表 2 为定量比较结果。当对两个测试集进行平均时，fma-net 的性能分别比 rvrt * 和 gshiftnet * 提高了 2.08 db 和 1.93 db。

下图为不同方法对 ×4 vsrdb 的可视化比较结果，表明 fma-net 生成的图像比其他方法生成的图像在视觉上更清晰。

不同方法在 reds4、gopro 和 youtube 测试集上的可视化结果。放大观看效果最好。