博客
关于我
ECCV18 Oral | MIT&谷歌视频运动放大让计算机辅助人眼“明察秋毫”
阅读量:106 次
发布时间:2019-02-26

本文共 893 字,大约阅读时间需要 2 分钟。

标题:视频运动放大技术:深度卷积神经网络助力计算机辅助人眼“明察秋毫”

引言:视频运动放大技术是一种从视频到视频的滤波处理技术,旨在放大视频中肉眼看不到的小型运动。这种技术在建筑健康监测和医疗环境中的人体生命信号检测等领域具有重要应用价值。然而,现有技术往往因滤波器设计不够理想而导致噪音和模糊效果,限制了其实际应用潜力。本文通过深度卷积神经网络(Deep Convolutional Neural Networks, DCNN)从样本中学习运动放大滤波器,提出了一种新方法,有效解决了这一问题。

本文的主要贡献:本文提出了一种基于深度卷积神经网络的视频运动放大方法。与传统手工设计滤波器的方法不同,本文采用了人工合成的数据集,能够更好地捕捉视频中的小型运动。通过对比实验,我们证明了学习得到的滤波器在真实视频处理中表现优于现有方法,显著降低了振铃伪像和噪声放大现象。

网络架构:我们设计了一种简洁高效的网络架构,包含输入层、特征提取层和输出层。输入层接收待处理视频帧,特征提取层通过深度卷积操作提取视频运动特征,输出层则生成最终的运动放大效果图。

数据合成方法:为训练高质量的运动放大模型,我们采用了MSCOCO数据集中的图像作为前景,结合PASCAL VOC数据集中的目标作为背景。通过合理设计运动系数和尺度系数等参数,我们成功构建了包含丰富运动特征的合成视频数据集。

处理结果示例:实验结果表明,本文方法在视频运动放大方面的性能显著优于传统方法。例如,在高速运动物体的处理中,我们的算法成功消除了一些伪影现象,同时保持了良好的视觉效果。

论文引用:该研究成果已发表在2018年欧洲计算机视觉会议(ECCV'18)口头报告中,论文标题为《Learning-based Video Motion Magnification》。我们也开源了相关代码,供研究人员和开发者参考。

如需了解更多细节,可以访问以下链接:

  • 论文页面:https://arxiv.org/abs/1804.02684
  • 代码仓库:https://github.com/12dmodel/deep_motion_mag

转载地址:http://uopz.baihongyu.com/

你可能感兴趣的文章
Openlayers高级交互(12/20):利用高德逆地理编码,点击位置,显示坐标和地址
查看>>
Openlayers高级交互(13/20):选择左右两部分的地图内容,横向卷帘
查看>>
Openlayers高级交互(14/20):汽车移动轨迹动画(开始、暂停、结束)
查看>>
Openlayers高级交互(15/20):显示海量多边形,10ms加载完成
查看>>
Openlayers高级交互(16/20):两个多边形的交集、差集、并集处理
查看>>
Openlayers高级交互(17/20):通过坐标显示多边形,计算出最大幅宽
查看>>
Openlayers高级交互(18/20):根据feature,将图形适配到最可视化窗口
查看>>
Openlayers高级交互(19/20): 地图上点击某处,列表中显示对应位置
查看>>
Openlayers高级交互(2/20):清除所有图层的有效方法
查看>>
Openlayers高级交互(20/20):超级数据聚合,页面不再混乱
查看>>
Openlayers高级交互(3/20):动态添加 layer 到 layerGroup,并动态删除
查看>>
Openlayers高级交互(4/20):手绘多边形,导出KML文件,可以自定义name和style
查看>>
Openlayers高级交互(5/20):右键点击,获取该点下多个图层的feature信息
查看>>
Openlayers高级交互(6/20):绘制某点,判断它是否在一个电子围栏内
查看>>
Openlayers高级交互(7/20):点击某点弹出窗口,自动播放视频
查看>>
Openlayers高级交互(8/20):选取feature,平移feature
查看>>