代码编织梦想

前言

Burst Image Restoration(突发图像恢复任务)是解决由于手持设备不稳定或者在运动的过程中产生的图像模糊、鬼影等问题,论文提出的方法可以将多个突发帧模糊图片有效进行结合,产生高质量的图像,从而达到去模糊的效果。论文中将这个方法应用在图像超分辨、低亮度下图像增强和去噪实验,都取得了非常不错的效果。本位创新点主要有三个:①提出了一个多帧边缘增强和校准网络,可以将多个模糊图片进行去模糊;②提出了一个多帧特征融合网络;③提出了一种用于渐进融合和提升的自适应分组上采样模块。

网络结构

提出的网络是一个多阶段的过程,主要分为三个阶段,第一个阶段是对多帧模糊图像进行去噪,第二个阶段是对多帧图像进行特征融合,第三个阶段是进行上采样从而应用于超分辨问题。

 Edge Boosting Feature Alignment Module

如上图,整个去噪校准模块有一个子模块,FPM负责对模型进行去噪,主要组成还是以CNN为主。

Pseudo-Burst Feature Fusion Module

 特征融合,其实就是将多张已经去噪校准之后的图片进行特征融合,先将每张图片分解成特征向量,生成伪突发特征图,然后经过多尺度特征提取之后将特征进行融合。

Adaptive Group Upsampling Module

上采样模块的目的就是从低分辨率的特征图中生成高分辨率的图片。上图b就是AGU模块,每一层分辨率变为原来的两倍,每个上采样单元如上图c,将特征分为四组,进行卷积和叠加最后得到高分辨率图像。

实验

实验部分主要分为三个部分,分别对超分辨、低亮度增强和降噪问题进行了实验。

超分辨

主要有两个数据集,第一个是利用相机的合成数据,另外一个是相机真实拍摄的数据:①Synthetic Burst数据集包括46,839个用于训练和300个用于验证的原始突发图片集,每个图片集有14个低分辨率的原始图片,每张是48×48分辨率,是由一张原始的RGB图像进行使用反转相机管道转换到原始空间,然后随机旋转和平移来生成的。②BurstSR数据集由200个图片集每个也是包含14张图片,是用用智能手机相机和单反相机捕捉LR图像和相应的(地面真实)HR图像。从200个突发图片集中,分成了5405个patch用于训练,882个用于验证。每个输入裁剪的大小为80×80像素。

 低亮度增强

SID数据集由在微光条件下用短相机曝光捕获的输入原始爆发图像及其对应的地面真实sRGB图像组成。SONY子集包含161、20和50个不同的突发序列,分别用于训练、验证和测试。只用了一层的AGU,因为该任务不需要上采样增大分辨率。

突发帧降噪

在原始图像上加入一定的高斯噪声,进行训练验证。

 超分辨消融实验

消融实验主要对比了所有模块中的重要性,但从结果来看,DAM和AGU对PSNR比较重要,第二个消融实验是在第一个或者第二个阶段使用其他的方法来看效果,目前来看都不如BIPNet结构得出的结果好。

总结

本文提出了一种新的多阶段方法来解决由于手持设备或者运动导致多帧图像模糊的问题,可以对图像进行去噪、低亮度增强和超分辨,区别于以往的直接对单张图像进行超分辨、去噪的模型来说,输入需要多帧当前图像,图像之间需要一定的关联性,但是出来的结果对比传统的方法来说确实也更加好,个人认为可能更偏向于应用端。虽然文中说模型参数其实不大,但是,其实模型上来说还比较复杂,分了三个阶段,每个阶段都有自己对应的任务,不过如果将其中的某个阶段拆开和其他的单图超分辨和去噪进行结合,可以尝试有没有更加好的结果。在模型设计来说原创性还是比较多,可以进行参考,尤其是上采样模块。但是文中给出的解释不多,需要自己去研究源码。

版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。
本文链接:https://blog.csdn.net/weixin_46872424/article/details/128813575

eccv 2018 完整论文集 -- list & 下载链接_hitrjj的博客-爱代码爱编程

下文列表为ECCV2018官网得到了今年接收论文列表,共779篇: 下文为ECCV2018的全部接收论文汇总 Oral: Convolutional Networks with Adaptive Co

eccv 2018 论文下载及分析(774篇全)_weixin_41783077的博客-爱代码爱编程

ECCV2018 收录论文整理,共774篇。 百度云链接:https://pan.baidu.com/s/1Mg0Kw9bepUK6_vqqVSOjNQ ,密码:mh97。 以下是下载后的文件: 以下是文件名对应的论文名称:   序号 文件名论文题目1Aaron_Gokaslan_Improving_Shape_Deformation_ECC

cvpr2019 | 论文分类汇总(190611 更新)_极市平台的博客-爱代码爱编程

原文链接:http://bbs.cvmart.net/topics/302/cvpr2019paper 本文论文链接较多,前往原文查看可以直接跳转 作为计算机视觉领域三大顶会之一,CVPR2019(2019.6.16-

近三年降噪论文整理-爱代码爱编程

一、近两年图像降噪比较好的论文 论文主要是面向真实噪声图像去噪,raw 或 sRGB,方法单帧、多帧。会持续更新,也会写一些论文的阅读分析和复现。 1、Unprocessing Images for Learned Raw Denoising(CVPR2019) 论文链接:https://arxiv.org/abs/1811.11127 项目链接:

CVPR 2020 论文大盘点-图像增强与图像恢复篇-爱代码爱编程

本文继上一篇 CVPR 2020 论文大盘点-去雨去雾去模糊篇 之后,继续盘点CVPR 2020 中低层图像处理技术,本篇聚焦于图像视频的增强与恢复,含如下四个方向: 图像与视频增强(Image&Video Enhancement)7 篇图像恢复(Image Restoration )5 篇图像与视频去噪(Image&Video

The Resource of Image Deblurring and Video Deblurring-爱代码爱编程

参考链接:https://github.com/CVHW/Deblurring A currated list of resources for Image and Video Deblurring Single-Image-Blind-Motion-Deblurring (non-DL) 2006-TOG - Removing camera sha

【ECCV2020】接收论文列表part1-爱代码爱编程

ECCV2020将于2020年8月23-28日在线上举行,今年共接受了1361篇论文,本文是接收论列表的第一部分,第二部见链接 Paper IDPaper TitleCategory267Quaternion Equivariant Capsule Networks for 3D Point CloudsOral283DeepFit: 3D

【ECCV2020】完整论文集part2-爱代码爱编程

ECCV2020将于2020年8月23-28日在线上举行,今年共接受了1361篇论文,本文是接收论列表的第二部分,第一部见链接 Paper IDPaper TitleCategory2515Temporal Aggregate Representations for Long Term Video UnderstandingPoster25

Papers with code in image denoising(Constantly updated)-爱代码爱编程

Papers with code in image denoising v5.18 Some Classic networks2D image denoisingVideo denoising★HSI denoisingPapers with code in other field以下是用matlab实现的network👇noise estimat

ECCV2020|图像重建/底层视觉(超分辨率,图像恢复,去雨,去雾,去模糊,去噪等)相关论文汇总(附论文链接/开源代码/解析)【持续更新】-爱代码爱编程

ECCV2020|图像重建相关论文汇总(如果觉得有帮助,欢迎点赞和收藏) 1.超分辨率(Super-Resolution)图像超分辨率Invertible Image RescalingComponent Divide-and-Conquer for Real-World Image Super-ResolutionSRFlow: Learning

ECCV 2020 论文大盘点-图像增强与图像恢复篇-爱代码爱编程

本文盘点 ECCV 2020 中底层图像处理方向相关的论文,包含:图像增强、图像恢复、去摩尔纹、去噪和质量评价论文,总计 29 篇,去摩尔纹 2 篇,去噪 10 篇,图像增强 7 篇,图像恢复 9 篇,质量评价 1 篇。 下载包含这些论文的 ECCV 2020 所有论文: ECCV 2020 论文合集下载,分类盘点进行中    去摩

计算机视觉论文-2021-06-08-爱代码爱编程

本专栏是计算机视觉方向论文收集积累,时间:2021年6月8日,来源:paper digest 欢迎关注原创公众号 【计算机视觉联盟】,回复 【西瓜书手推笔记】 可获取我的机器学习纯手推笔记! 直达笔记地址:机器学习手推笔记(GitHub地址) 1, TITLE: End-to-End Neuro-Symbolic Archite

计算机视觉--光流估计-爱代码爱编程

计算机视觉–光流估计 今天看了BURST IMAGE RESTORATION AND ENHANCEMENT(多帧图片修复和增强),提到了光流估计,所以想介绍这个运动评估技术。 光流的概念是Gibson在1950年首先提出来的。它是空间运动物体在观察成像平面上的像素运动的瞬时速度,是利用图像序列中像素在时间域上的变化以及相邻帧之间的相关性来找到上一帧跟

cvpr 2022 图像恢复论文_love_lqz的博客-爱代码爱编程

地址:https://openaccess.thecvf.com/CVPR2022https://openaccess.thecvf.com/CVPR2022_workshops/NTIRE Blind2Unblind: Self-Supervised Image Denoising With Visible Blind Spots CVF-SID:

cvpr2022oral专题系列(二):多帧图像合成与增强_程序猿老甘的博客-爱代码爱编程

目录​ 1. 简介 2. 特征对准 3. Pseudo-burst特征 4. 自适应上采样 5. 实验结果 总结 Reference 1. 简介 在本系列的上一篇博客中,我们已经介绍了一种低光图像的处理方法低光增强。对于一般性的手持拍照设备,受限于抖动以及被摄对象运动的影响,使得单帧图片会产生模糊。为了完成对

restormer: efficient transformer for high-resolution image restoration 论文笔记-爱代码爱编程

前言 本文也是结合Transformer设计出来的网络结构用作图像恢复领域,主要包括图像去雨、运动去模糊、失焦去模糊和图像降噪(其中又包括了高斯彩色/灰度图的降噪、真是图像降噪)。 创新点:①提出一种基于编码器-解码器的Restormer网络。 ②提出了一种新的局部transformer模块MDTA,可以加强局部和非局部有关联像素之间的联系。 ③一

【论文阅读】吴恩达分享的论文阅读方法-爱代码爱编程

Reading research papers 整合这个领域内比较有代表性的论文(不仅仅是论文,也可以是分享出来的blog)绘制一个资源表格,标记出自己阅读的进度,在阅读一篇论文的过程中如果发现这篇论文认可度低或者自己阅读

cvpr2021论文列表(中英对照)_stylemix: separating content and style for enhance-爱代码爱编程

Scale-Localized Abstract Reasoning 尺度本地化抽象推理 How Does Topology Influence Gradient Propagation and Model Performa

cvpr2022论文列表(中英对照)_cvpr2022论文汇总-爱代码爱编程

Cascade Transformers for End-to-End Person Search用于端到端人员搜索的级联变压器 Compositional Temporal Grounding with Structure

cvpr2020论文列表(中英对照)_counterfactual super region-爱代码爱编程

Conditional Channel Gated Networks for Task-Aware Continual Learning 用于任务感知持续学习的条件通道门控网络 Multimodal Categorizati