Paper Reading:Image-to-Image Translation with Conditional Ad

1. Introduction

寻找一个统一的框架来处理从照片(图像到图像传输)生成图片的过程,该图中包括用标签图绘制的综合图片,用年龄图重新生成目标,以及彩色图像。

2. Related Work

有线电视新闻网对人工干预如何减少损失有疑问。 如果计算预测与真实图片之间的距离,结果会非常模糊,因为距离会将看来正确结果的平均值降到最低,导致结果模糊不清。

本文本以 CGAN 为基础, 并附带输入图片来创建与此相关的输出图像条件。 与先前的特派团特有结构不同, 本条款的框架可以完成许多类任务, 只要这些任务基于图像到图像。 org 。

在这一研究中,CGAN发电机使用U-Net,而识别码则使用PatchGAN分类器,这只惩罚图块规模上的结构。

3. Method

3.01 目标损失职能
在前一篇文章中,有人提议发电机不仅欺骗分隔器,而且还利用L2损失获取接近地面真实输出的图象,本文使用L1损失,而不是L2,因为L1可能会尽量减少模糊性。
L_L1(G) = E_x,y,z[ || y - G(x , z) ||₁]
发电机的最终目标损失是
G* = arg min(G)max(D) L_cGAN（G，D）+$\lambda$ L_L1(G).
随机噪声 z 输入是必要的 才能产生不确定的输出 。
然而,在整个实验过程中,人们发现模型在学习过程中直接忽略了最初的噪音,因此,噪音以辍学的形式发出,并放入不同层次的发电机,尽管如此,产出只是少量的随机性。
3.2 Network architectures
convolution-BatchNorm-ReLu
三、二.1 带白金跳跳的发电机
图像到图像的通信问题之一是,输入和输出都是高分辨率图像。在Encoder-Decoder网络中,做了大量工作。我们不会停止 直到我们完成。这个网络需要所有图片信息 通过网络的结构。包括大量低级信息。这是图片颜色上 可见的景色边缘的景象 。事实上,这种信息很容易通过互联网获得。而不是为他们提供一层网络接入。
因此,与U-Net一样,跳过连接旨在将连接添加到i和n-i层次,而i和n-i层次只是连接每个Channel。
3.2.2 PatchGAN
将L1和L2损失用于光生成会产生模糊的后果,尽管高频结构的结果很差,但低频结构却很好,因此,只有高频结构应该通过近似值确定,L1结构应该通过低频结构确定。
PatchGAN将每个N*N大小的图片块分割成真实的和假的,使用体积(滑动窗口),然后平均结果。
小帕奇甘的设置较少,但结果仍然很好而且很快,可以用于任何大小的图像。
3.3 Optimization and inference
LogD(x, G(x, z)) 应最大化。
在优化D的同时,损失分成两个部分,以降低D至G的学习率。
miniBatch SGD
Adam lr=0.0002 ,$\beta$ ₁=0.5 ,$\beta$ ₂=0.999
测试采用退学法进行,测试数据的平均数和间距用于分批分类,这种单一尺寸的批次(称为全球化实例)已经标准化,对创造工作很有用。
4. Experiments
4.1 Evaluation metrics
很难评价所制作图像的质量。

采用两种战略来改进对成果的总体评价。
第一种方法是使用自动取款机(Amazon机械土耳其)说出真相。在图片颜色和图像制作方面,最终目的是愚弄人们。这就是为什么自动取款机用来评估身份形成的原因。图片创建( 空中热热的表示) 和图像彩色
第二步是评价使用类似于信息系统的现有识别系统确定(特征或类别)的能力。
应当指出,自动取款机是指能够发挥诸如标签和识别等人工智能功能的人力资源。
4.1.1
自动取款机感应测试:每次测试期间,每个图片出现一秒，真实性以土耳其语(与身份识别的存在相同)为标志。每个省头十幅土耳其人的图象将得到评论(工人培训)。对最后40张图像没有反应。每个连接都只检查一个算法。每个土耳其人一次只能完成一个链接。每个算法都由一个50名土耳其人组成的小组审查。
真实的图片和随后的图片对颜色都有相同的灰度输入。
For our colorization experiments, the real and fake images were generated from the same grayscale input.
???Why do real images also need to be generated???
对于制作的特写图像而言,实际照片和图像生成并非由同一投入产生,目标是使这项工作更加困难,避免出现特写。256个图像,还有512个用于测试。从512到256的照片,然后被取样到256。256块留给土耳其人决定
照片的颜色在256处土耳其人隔离了256幅经过同一分辨率培训和测试的图像。
4.1.2 FCN-Score
FCN-8s结构与IS一样,用于语义识别,在城市地貌数据集方面接受培训,然后计算得分,即为适当类别评估的标签/所有标签的数目。

四. 目标职能分析
为了更多地了解目标功能中的L₁对损失项、更重要的GN损失项以及更有条件和无条件的分离器进行了拆散研究(消减试验)。
注:吸收实验:类似于控制变量的方法,其影响对许多变量的测试更为重要。
图4：

显示各种目标函数的结果。
只用L₁，结果会模糊；
光是CGAN本身,形象就更加清晰,但采用了一些不寻常的特点(没有在地面真相中看到)。
使用L₁+cGAN, 减少这些特性。
利用森林问题论坛的 " 核心 " 来评价这一模型。建立全球网络结构的目标非常崇高。显示它们所创造的图像结构更能辨别。实验还取代了有条件分离器的不附带条件的分离器。输入和产出之间的不匹配不受损失功能的制约(即图片是否或是否与所提供的条件形成),只有真实的画面看起来是真实的或不是真实的才重要。实验失败了不论输入什么图片，输出都几乎一样。

注意，添加L₁当L增加投入对产出的影响时,投入对产出的影响就会增加。₁处罚由符合输入标签的真实图像与制作的图像之间的距离确定,后者可能与输入标签不匹配,也可能与输入标签不匹配。
[Note, however, that adding an L₁term also encourages that the output respect the input, since the L₁loss penalizes the distance between
ground truth outputs, which correctly match the input, and synthesized outputs, which may not.]

图片上色
就像L₁它产生一种模糊的图像, 因为它不知道在哪里放置更突出的边缘, 并且它不理解像素应该有何种颜色, 因此产生的颜色没有cGANs那么丰富, 更有可能产生“平均颜色”。 L-L-L-L-L-L-L-L-L-L-L-L-L-L-L-L-L-L-L-L-L-L-L-L-L-L-L-L-L-L-L-L-L-L-L-L-L-L-L-L-L-L-L-L-L-L-L-L-L-L-L-L-L-L-L-L-L-L-L-L-L-L-L-L-L-L-L-L-L-L-L-L-L-L-L-L-L-L-L-L-L-L-L-L-L-L-L-L-L-₁通过选择该条件概率密度函数的中间值而不是可行的颜色来减轻损失。

4.3 生成器结构
U-Net结构作为发电机。
这个实验的解码器-解码器结构 无法产生现场视觉
不管是用L₁cGANs也遭受了损失,使用U-Net结构模型制作的照片更现实。

四.4 像素Gans、帕奇Gans和图像Gans
调查一个具有不同感官大小和N型蒸馏机的影响,从一个开始。286个像素干到一个像素干286 图像Gans,本案文其他部分的实验,除非另有说明,均使用70帕奇根斯,请使用L 这部分。₁+c CGAN损失功能。

L₁失去的图像相当模糊, 颜色饱和度非常低。

使用L₁+ cGans丢失,图像的颜色饱和度和清晰度得到改善,但出现了一些奇怪的结构。

7070,干得不错,286286人表现得令人钦佩,但没有70人参加FCN的比赛。7070707070707070707070707070707070707070707070707070707070707070707070707070707070707070707070707070707070707070707070707070707070707070707070707070707070707070707070707070707070707070707070707070707070707070707070707070707070707070707070707070707070707070707070707070707070707070707070707070707070707070707070707070707070707070707070707070707070707070707070707070707070707070707070707070707070707070707070707070707070707070707070707070707070707070707070707070707070707070707070707070707070707070707070707070707070707070707070707070707070707070707070707070707070707070707070707070707070707070707070707070707070707070707070707070707070707070707070707070707070707070707070707070707070707070707070707070707070707070707070707070707070707070707070707070707070707070707070707070707070707070707070707070707070707070707070707070707070707070707070707070707070707070707070707070707070707070707070707070707070707070707070707070707070707070707070707070707070707070707070707070707070707070707070707070707070707070707070707070707070

PixelGan的空间锐度没有显著提高,但它会增加颜色饱和度。
相配相像是图像处理中普遍存在的一个问题,像素Gans可以帮助找到一个简单的解决方案。

Fully-convolutional translation
PatchGans的好处是,固定尺寸的补丁可以适用于任何尺寸的图象。

4.5 Perceptual validation

4.6 语义分割

语义分割方面，在城市风景照的图片->标签任务中，只使用L₁Per-pixel-acc、per-Class-acc和IOU类损失大于CGANS损失。我们认为,在整个直观任务中,目标函数不如图片任务(图形任务)具体。因此L₁损失函数已足够。
猜想:对CGANs损失功能课以更重的罚款会导致降低测试精确度的结合?

四.7 参与性研究
我们的模型成功得被用于各种图像任务，包括轮廓画猫猫、黑色背景去除、调色板生成、素描->肖像、素描->宝可梦、“Do as I do 动作迁移”和fotogenerator。

5. 总结
   略。