- · 《智库时代》栏目设置[06/28]
- · 《智库时代》收稿方向[06/28]
- · 《智库时代》投稿方式[06/28]
- · 《智库时代》征稿要求[06/28]
- · 《智库时代》刊物宗旨[06/28]
来稿应自觉遵守国家有关著作权法律法规，不得侵犯他人版权或其他权利，如果出现问题作者文责自负，而且本刊将依法追究侵权行为给本刊造成的损失责任。本刊对录用稿有修改、删节权。经本刊通知进行修改的稿件或被采用的稿件，作者必须保证本刊的独立发表权。 一、投稿方式： 1、 请从 我刊官网 直接投稿 。 2、 请 从我编辑部编辑的推广链接进入我刊投审稿系统进行投稿。 二、稿件著作权： 1、 投稿人保证其向我刊所投之作品是其本人或与他人合作创作之成果，或对所投作品拥有合法的著作权，无第三人对其作品提出可成立之权利主张。 2、 投稿人保证向我刊所投之稿件，尚未在任何媒体上发表。 3、 投稿人保证其作品不含有违反宪法、法律及损害社会公共利益之内容。 4、 投稿人向我刊所投之作品不得同时向第三方投送，即不允许一稿多投。 5、 投稿人授予我刊享有作品专有使用权的方式包括但不限于：通过网络向公众传播、复制、摘编、表演、播放、展览、发行、摄制电影、电视、录像制品、录制录音制品、制作数字化制品、改编、翻译、注释、编辑，以及出版、许可其他媒体、网站及单位转载、摘编、播放、录制、翻译、注释、编辑、改编、摄制。 6、 第5条所述之网络是指通过我刊官网。 7、 投稿人委托我刊声明，未经我方许可，任何网站、媒体、组织不得转载、摘编其作品。
【泡泡图灵智库】基于迭代置信度反馈和指导式
作者:网站采编关键词:
摘要：标题：High-Resolution Image Inpainting with Iterative Confidence Feedback and Guided Upsampling 作者:Yu Zeng, Zhe Lin, Jimei Yang, Jianming Zhang, Eli Shechtman, Huchuan Lu 机构：大连理工大学；Adobe Research 来源：ECCV 202
标题：High-Resolution Image Inpainting with Iterative Confidence Feedback and Guided Upsampling
作者:Yu Zeng, Zhe Lin, Jimei Yang, Jianming Zhang, Eli Shechtman, Huchuan Lu
机构：大连理工大学；Adobe Research
来源：ECCV 2020
编译 : 褚彤
审核：wyc
这是泡泡图灵智库推送的第 587篇文章，欢迎个人转发朋友圈；其他机构或自媒体如需转载，后台留言申请授权
摘要
大家好，今天为大家带来的文章是 High-Resolution Image Inpainting with Iterative Confidence Feedback and Guided Upsampling。
现有的图像修补方法在实际应用中修复大孔洞时通常会产生伪影。为了解决这一挑战，我们提出了一种具有反馈机制的迭代修复方法。具体来说，我们引入了一个深度生成模型，该模型不仅可以输出修复结果，还可以输出相应的置信度图。
使用此图作为反馈，它通过在每次迭代中仅信任孔内的高置信度像素来逐渐填充孔，并在下一次迭代中关注其余像素。由于它重复使用了先前迭代的部分预测作为已知像素，因此该过程逐渐改善了结果。此外，我们提出了一种指导式的上采样网络，以生成高分辨率的修复结果。我们通过扩展上下文关注模块以在输入图像中借用高分辨率特征块来实现这一目标。此外，为了模拟真实的对象移除场景，我们收集了一个较大的对象掩码数据集，并合成了更逼真的训练数据，可以更好地模拟用户输入。实验表明，我们的方法在定量和定性评估方面均明显优于现有方法。
背景与贡献
图像修复是重建图像中缺失区域的任务。在计算机视觉中，这是一个重要的问题，并且在许多成像和图像应用中。经典的修复方法通常依赖于已知区域或外部数据库图像中借用示例补丁并将其粘贴到孔洞中的原理，这些方法对于带有小孔或者均匀纹理背景的简单情况非常有效。他们还可以有效的处理高分辨率图像，但是，由于缺乏高层的结构理解和生成新颖内容的能力，当孔较大时，他们通常无法产生逼真的效果。
在本文中，作者实际解决为早高分辨率图像中填充大孔洞的挑战。作者提出了一种具有反馈机制的新颖的迭代修复方法。本文所提出的方法不仅输出修复结果，而且还输出相应的置信度图。为生成高分辨率的高质量修复效果，本文提出一种指导性的上采样网络作为后处理方法。
主要贡献如下：
1.提出一种具有置信度反馈循环的迭代循环方法，以应对在图像中出现较大缺失区域的挑战。
2.提出采用指导式上采样网络作为后处理步骤，生成高分辨率的修复结果。
3.引入新的过程综合训练数据，建立用于实际对象去除应用程序的深度生成模型。
1.数据生成
先前的修复方法通常破坏具有方形或高度不规则孔的原始图像构造训练或测试数据集，如图2中的前2列。带孔洞的图像是输入，但是在实际中，用户一般要除去的是区域的对象或场景，很少是正方形或高度不规则的形状。
为更符合修复场景，本文手机个对象掩码作为孔洞，数据集有两个来源：places2数据集和显着对象分割数据集，使用1000个带有显著对象的图像作为测试样本，剩余个图像与places2合并以进行训练和验证。对于places2的图像，本文随机采样孔的位置，使得他们可以出现在任何区域中并可能与主要对象重叠。
2.修复模型
本文采用基于生成对抗网络的生成方法，因此，模型具有生成器和鉴别器。图3a中是生成器的整体结构，由粗略网络和精细网络组成。粗略网络获取不完整的图像和相应的掩码图像作为输入，生成粗略的完整图像。然后将粗略结果传递到精细网络以生成最终的完整图像和置信度图。精细网络就有一个编码器和解码器：一个用于预测修复图像结果的图像解码器，一个用于返回预测图像的相应置信度的置信度解码器。
本文使用PatchGAN鉴别器进行对抗训练。它将修补图像或原始图像作为输入，并将输入图像的每个块分类为真实图像或者假的图像。输出是一个的粉土，而不是单个得分，其中每个元素对应于输入的图像中被感受野覆盖的局部区域。
其中x表示真实图像，z表示表示不完整图像，孔洞内的像素值为0，m表示孔洞掩码，其中值为1的像素是孔洞。G（·）表示图像解码器，圆圈表示逐元素乘法。修复的结果是由孔内生成的内容和孔外原始的内容组成。y表示图像解码器的输出，y = G（z），修复结果的损失为：
文章来源：《智库时代》 网址: http://www.zksdbjb.cn/zonghexinwen/2021/0225/921.html