代码编织梦想

  • 原文链接:UCTGAN: Diverse Image Inpainting Based on Unsupervised Cross-Space Translation (CVPR 2020). Lei Zhao, Qihang Mo, Sihuan Lin, Zhizhong Wang, Zhiwen Zuo, Haibo Chen, Wei Xing, Dongming Lu [Paper]

本文创新点:

  1. 将修复后的图像和实例图像投影到低纬的流行空间,形成一对一映射,以确保多样性修复;
  2. 提出新的交叉语义注意层,利用已知区域和已修复区域之间的远程依赖关系,可以提高修复样本的真实性和外观一致性。 

网络结构

网络主要由三个网络模块组成:流形投影模块E1、条件编码器模块 E2和生成模块G。上面的分支由一个流形投影模块E1和一个生成模块G组成,主要作用是将实例图像所在的空间 Si和修复后的图像所在空间Scc投影到一个公共潜在流形空间中,以无监督的方式学习两个空间之间的一对一图像映射Sm。下面的分支由一个条件编码器模块 E2 组成,充当条件标签。

Cross Semantic Attention(交叉语义注意力)

掩码图像的特征与实例图像的特征通过1*1卷积投影到两个特征空间,计算交叉语义注意力。

其中,

最后,通过一个跳跃连接得到输出,

损失函数

Condition Constraint Loss(条件约束损失)

条件约束损失包括两个部分:外观和感知损失,主要作用是确保修复前后已知区域保持不变。

其中,为训练集,j为特征提取器。

KL Divergence Loss(KL散度损失)

目的是防止模型坍塌。

其中,Zc和Zm分别是多元正态分布空间中Ii和Im的潜在向量。

Reconstruction Loss.

低纬流行损失确保实例图像与对应的修复图像在低维流形空间中相同,

图像重构损失

总的重构损失

对抗损失

总体损失

 

总结

本文的多样性是由实例图像保证的,相当于在原有的gt基础上,加了一个额外的标签;而transformer中的多样性是通过采样实现的,以p-vqvae为例,从码本中进行特征替换时,选择可能性最大的K个,根据权重随机采样一个进行替换,然后重新计算注意力,再进行采样。

版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。
本文链接:https://blog.csdn.net/qq_51426525/article/details/128794135

论文阅读记录 1-50篇 20190410-20200316_trade off的博客-爱代码爱编程

2020-3-16 StarGAN v2: Diverse Image Synthesis for Multiple Domains Mark 多域instan-level style transfer (1)为了做多域,

基于视觉的机器人抓取: 论文及代码(vision-based robotic grasping: papers and codes)-爱代码爱编程

本文同步于微信公众号:3D视觉前沿,欢迎大家关注。 本文总结了基于视觉的机器人抓取的相关论文及代码,同步于 GitHub。 机器人抓取必需的信息是相机系下抓取器的6DoF位姿,包括抓取器的3D位置和抓取器的3D空间朝向。

CVPR 2020之117篇GAN论文分类汇总清单-爱代码爱编程

点击上方“机器学习与生成对抗网络”,关注"星标" 获取有趣、好玩的前沿干货! 前言:详细说明版可见:CVPR 2020最全GAN论文梳理汇总!,可后台回复 GAN 获取分类、按文件夹汇总好的论文集! 目录 1 虚拟试衣、时尚-妆容编辑2 姿势转换、人像合成3 卡通化、上色、风格迁移4 文本-图像生成5 主动学习6 强化学习7 自监

CVPR 2020 论文大盘点-图像修复Inpainting篇-爱代码爱编程

本文继 去雨去雾去模糊篇 和 图像增强与图像恢复篇 之后,继续盘点CVPR 2020 中低层图像处理技术,本篇聚焦于图像修复(Image Inpainting)。 示例如下图: 图片来自 https://sites.google.com/site/gachoncvip/projects/image-inpainting 上图中被污损的图

【ECCV2020】接收论文列表part1-爱代码爱编程

ECCV2020将于2020年8月23-28日在线上举行,今年共接受了1361篇论文,本文是接收论列表的第一部分,第二部见链接 Paper IDPaper TitleCategory267Quaternion Equivariant Capsule Networks for 3D Point CloudsOral283DeepFit: 3D

《论文阅读》UCTGAN: Diverse Image Inpainting based on Unsupervised Cross-Space Translation-爱代码爱编程

留个笔记自用 UCTGAN: Diverse Image Inpainting based on Unsupervised Cross-Space Translation 做什么 一幅图像中,通过已知区域修补未知区域。(未知区域位置已知) 做了什么 首先这里定义原始图片为Ig 附带遮挡的图片为Im 合成图片为Ic 生成的一系列Ic的集合称为空间

cvpr2020 人脸检测与识别_就CVPR2020的来看,目前人工智能的研究热点有哪些进展?未来的研究趋势会有什么变化?...-爱代码爱编程

CVPR 主打视觉CV吧,从趋势来看,越来越的“红”方向,比如,自监督/半监督/弱监督/无监督、少样本/单样本/零样本、可解释性、对抗样本/安全、多模态、3D等等~ 个人对GAN比较感兴趣,CVPR 2020上GAN的论文超110+篇之多,可见其非常之火。GAN也在积极往前面那些“红”方向靠拢,毕竟在数据、灵活性、可控性/可解释性、更广泛的应用性上,

计算机视觉论文-2021-03-31-爱代码爱编程

本专栏是计算机视觉方向论文收集积累,时间:2021年3月31日,来源:paper digest 欢迎关注原创公众号 【计算机视觉联盟】,回复 【西瓜书手推笔记】 可获取我的机器学习纯手推笔记! 直达笔记地址:机器学习手推笔记(GitHub地址)   1, TITLE: 3D AffordanceNet: A Benchmark

ICCV 2021可逆的跨空间映射实现多样化的图像风格传输:Diverse Image Style Transfer via Invertible Cross-Space Mapping-爱代码爱编程

Diverse Image Style Transfer via Invertible Cross-Space Mapping Haibo Chen, Lei Zhao∗ , Huiming Zhang, Zhizhong Wang Zhiwen Zuo, Ailin Li, Wei Xing∗ , Dongming Lu College of Com

CVPR 2021:110篇GAN论文(清单版)-爱代码爱编程

点击上方“机器学习与生成对抗网络”,关注星标 获取有趣、好玩的前沿干货!  戳我,查看GAN的系列专辑~! 等你着陆!【GAN生成对抗网络】知识星球! 下述论文已分类打包好!超110篇,事实上仍有一些GAN论文未被包含入内……可见GAN在CVPR 2021仍十分火热。后台回复 2021GAN (长按红字、选中复制)获取分类、按文件夹汇总好的论

Paper Reading-list-爱代码爱编程

Denoising  Self-Supervised Image Denoising via Iterative Data Refinement  CVPR22 (unsupervised ) paper: https://arxiv.org/abs/2111.14358 code: https://github.com/zhangyi-3/IDR S

CVPR2022论文速递(2022.3.30)!共48篇-爱代码爱编程

整理:AI算法与图像处理 CVPR2022论文和代码整理:https://github.com/DWCTOD/CVPR2022-Papers-with-Code-Demo 欢迎关注: StyleT2I: Toward Compositional and High-Fidelity Text-to-Image Synthesis 论文/Pa

【安卓】zoo for zotero && webdav 自动论文同步笔记-爱代码爱编程

前言 前言是我写这篇博客的动机,可以跳过直接从“准备”开始看 之前使用mendeley管理文献,它不仅可以同步文件,还跨平台(win、安卓等)。但是后面,mendeley停止了移动平台的支持,导致我不能用我的电纸书(本质是

【论文阅读】吴恩达分享的论文阅读方法-爱代码爱编程

Reading research papers 整合这个领域内比较有代表性的论文(不仅仅是论文,也可以是分享出来的blog)绘制一个资源表格,标记出自己阅读的进度,在阅读一篇论文的过程中如果发现这篇论文认可度低或者自己阅读

最新 iccv | 35个gan应用主题梳理,最全gan生成对抗论文汇总-爱代码爱编程

 戳我,查看GAN的系列专辑~! 在最新的视觉顶会ICCV 2021会议中,涌现出了大量基于生成对抗网络GAN的论文,广泛应用于各类视觉任务;本文在此做尽可能的梳理汇总! 下述论文已分类打包好!后台回复 ICCV (长按红字、选中复制)获取分类、按文件夹汇总好的论文集,gan起来吧!!! 梳理不易,麻烦各位看官,转发、分享、在看三连,多多

【cvpr2022】论文列表与下载——partthree-爱代码爱编程

CVPR2022将于6月22日召开🎉🎉🎉,本次会议共收录了2067篇论文。由于数量较多,本文将分四个子文章呈现,可直接点击论文标题获取文档。 📃第一部分, 📃第二部分, 📃 第四部分。 3. Part Th

cvpr2022论文列表(中英对照)_cvpr2022论文汇总-爱代码爱编程

Cascade Transformers for End-to-End Person Search用于端到端人员搜索的级联变压器 Compositional Temporal Grounding with Structure

cvpr2020论文列表(中英对照)_counterfactual super region-爱代码爱编程

Conditional Channel Gated Networks for Task-Aware Continual Learning 用于任务感知持续学习的条件通道门控网络 Multimodal Categorizati

imageinpaint:图像修复_image inpainting-爱代码爱编程

文章目录 前言传统方法深度学习论文研读方法网络结构 参考 前言 传统方法 YearProceedingTitleTag2000SIGGRAPH 2000Image Inpaintin