Learning optical flow from still images
发表机构与时间 : CVPR 2021
第一作者:Filippo Aleotti, Department of Computer Science and Engineering (DISI)
University of Bologna, Italy
论文地址 :戳这里
源码地址 :无
泛读
导言:
问题:解决光流估计领域中真实图像的光流标签难以获取的问题
难点:
相关工作:光流领域
本文工作:
作者提出可以通过单张静态图像,利用现成的单目深度估计模型得到深度图,再通过已知的目标旋转和平移变换,就能同时得到视角变换后的新图像,以及对应的光流真值,作者称之为Depthstillation。在此过程中需要解决两个问题,一是冲突像素点,即变换后多个像素点对应同一个像素点,作者提出利用实例分割算法将静态图像中的动态目标检测出来,对这些目标进行运动变换;二是孔洞问题,即变换后存在较多没有对应点的黑色像素点。作者提出利用图像修补(inpaint)的方法对孔洞点进行填充。作者利用FlyingChairs,FlyingThings3D,COCO和DAVIS构建真实光流估计数据集,所提方法在Sintel和KITTI数据集上的实验表明在这些真实图像上利用构造的光流标签训练的性能比利用合成图像和无标签的视频流都要好。
阅读过程的疑问和感悟
特色:
精读
原理:
实验:
代码:
参考文献
[1] paperweekly
[2] 引用文章标题2
[3] 引用文章标题3