慢慢行动焦点:快速准确的第一层空间和时间视频超分辨率(理论和推理)
我不知道你在说什么呢,是的,主讲网站:https://ieexpore.com/* 由于技术困难重新发布。 org/document/9157519
来源代码可在https://github.com上查阅。 此项目是我们特别报导全球之声(Global Voices.com/Mukosame/Zoming-Slow-Mo-CVPR-2020)的一部分。
这是CVPR 2020 视频超分层纸,这里有很多创意,研究得非常好!
一、摘要
这项工作调查空间和时间视频超分辨率飞行任务,目的是从低框架比率和低分辨率视频制作高分辨率(HR)慢动作影片。
为了解决两阶段办法的庞大和耗时模式问题,这项研究提供了一个单阶段时空视频超分辨率框架,直接从LFR、LR视频中合成人力资源慢动作影片。
3 为了了解当地的时间背景,我们首先利用拟议的功能时间插接网络,在缺失的LR视频框中插入LR框架特征。
为了更多地利用全球时间背景,提议设立一个可变的ConvLSTM,以同时统一和汇总时间信息。
为了预测HR慢动作视频框架,采用了一个深层重建网络。
二、前人研究
由于过去难以将视频输入以低分辨率和高分辨率自动制作现场视频序列的低框架率,大多数文献依赖人的正规化和假设。
首先,1 [30] 的空间和时间方向是平稳的。
2 [22] 假设静态像素的亮度波动不大。
深滚式神经网络在视频框架插头(VFI)[24]、视频超分辨率(VSR)[4]和视频模糊[32]等视频回收任务中表现出高度的效率和功效。
直接方法是直接结合视频框架插件方法的结果(例如,SepConv[25]、ToFlow[40]、DAIN[1]等)。
4 超高分辨率视频技术(例如DUF[11]、RBPN[8]、EDVR[37]等)。
三、本文创新点
这项研究提供了一个单一规模的时空超分辨率网络,能够在一个统一的架构中处理时塞和空间SR。
有人建议建立一个时间插接网络框架。对于基于中间LR框架的扭曲抽样,网络利用当地的时间环境。现在已有一个新的变量ConvLSTM模式。有效利用全球环境实现时间一致和趋同。同时,利用深层SR重建网络从综合LR特性重建HR视频框架。
第一级网络可以学习以顺序顺序方式将LR和LFR视频序列映射到其HR和HFR空间。
四、相关技术
(1) VFT(视频框架插件)
视频框架插件的目标是建立一个中间框架,在原始框架之间不存在。
1 基于阶段的框架插件法[21]。
2 使用编码器-编码器CNN直接预测中间框架[19]。
框架插件值被视为两个输入框的本地量,有线电视新闻网在每个像素学习空间中都用于对卷号进行自我调整,以实现高质量的框架合成[24,25]。
技术不足：
这些方法的共同问题是不准确和缺乏关于光流结果的信息。
本文采用技术优点：
本文的单一STVSR框架并不象VFI目前的做法那样综合中间LF框架,而是插入两个相邻LF框架的特征,即时合成失踪LF简介,而不需要明确的监督。
(2) 视频超分辨率(VSR)。
超分辨率视频的目的是从匹配的LR框架(参考框架)及其相邻的LR框架(支持框架)重建HR视频框架。
1 [4,34,26,36,40] 它首先用光流计算参考框架与每个支持框架之间的移动,使用光流进行可见的时间对齐。
2 RBPN建议将一张照片与VSR的多框架SR相结合,流程图与LR视频框立即连接。
技术不足：
准确的流量难以确定,因为变形可能会诱发调整框架中的假设。
本文技术优点：
对于空间和时间视频超分辨率,我们建议一个新的ConvLSTM结构纳入可见状态更新模块。
(3) STVSR(时空视频超分辨率)
1 [29] 将从以子像素和子框架获得的许多动态场景的视频序列中取得的信息与方向空间平滑的信息整合在一起。约束性不满由于 LR 框架没有像素, 并且只有几个完整的 LR 框架可用 。STVSR也是一个非常不道德的反向问题。
2 [22] 有人对重建STVSR表示关切,认为这是一个在机场的解决办法,[7] 利用最高测试后马可夫和切割[3]。
3 [33] 利用当地方向和运动,向导时间和空间返回内核。
4 [28] 建议先验利用自然视频中的时间和空间补丁进行STVSR。
技术不足：
这些方法在代表丰富和复杂的空间和时间视觉模型方面能力有限,其优化往往需要时间来计算。
本文技术优点：
为了发展快速和准确的STVSR,建议建立一个单阶段网络,立即学习LR观测与HR视频框架之间的绘图。
五、STVSR架构
该框架由四个主要部分组成:地物提取器、框架地物时间插件模块、可变的ConvLSTM、人力资源框架重建器。
直接重建连续的HR视频框架,而不是合成LR中框 F_tl。 使用典型的时间插件和双向变量ConvLSTM来更多地利用时间信息和管理重大动作。
1 最初,该特征将使用带有曲线层和K1碎片的特征提取器从输入视频框中提取。
2 使用特写地图作为输入,我们使用建议的框架特写插件模块合成LR特写地图。
为了更多地利用时间信息,我们使用可变的ConvLSTM来分析连续特征图,而不是常规的ConvLSTM来分析连续特征图,其中建议的可变的ConvLSTM可以同时同步和汇总。
最后,用缩写,我们重建 最初的慢动视频序列。
六、 结论
大量研究表明,我们的一阶段框架优于传统的两阶段网络,特效时插网和可变的ConvLSTM可处理极其困难的快速移动电影。
请看这纸的密码调试 ： https://blog.csdn.net/BingY_998/article/details/122244962?spm=1001.2014.3001.5501