唐嫣 白虎 基于一种条款熵距离处分的生成式抗击网络

GANs是由Goodfellow等东说念主[1]受博弈论中二东说念主零和博弈念念想的启发所提议的一种深度生成模子， 其网络结构主要由判别器网络和生成器网络所组成.判别器的方针是尽量正确地判断: 输入数据是来自真正数据漫衍如故来自生因素布; 而生成器的方针是尽量去学习与真正数据漫衍一致的漫衍， 并生成以伪乱真实样本.诚然GANs已世俗应用于图像生成[2， 3]、超分辨率图像合成[4， 5]、语义分割[6， 7]等多个鸿沟唐嫣 白虎， 但要生成高质地的样本还是该鸿沟的一个挑战.

为了提高GANs生成样本的质地， 出现了许多有针对性的算法[8]， 这些算法主要基于以下两个角度而提议.

在线数独

一是基于网络结构的算法商讨.由于GANs网络结构的生动性， 其判别器网络和生成器网络不错是任何类型的网络结构.深度生成式抗击卷积网络(deep convolutional generative adversarial network， 简称DCGAN)[2]便是其中一种典型的网络结构算法， 其判别器和生成器均使用卷积神经网络(CNN)， 同期转换梯度优化算法(Adam)[9]， 以及加入批量法式化(batch normalization， 简称BN)[10]层等计策， 以晋升GANs网络的相识性及举座性能.而后， 商讨者们将一些高性能网络模块镶嵌到DCGAN的网络结构中， 极地面晋升了GANs网络的性能， 如将残差模块[11]整合到WGAN-GP[12]中以生成文本， 将自凝视机制模块[13]整合到条款GANs中以生成图像[14]， 将Laplacian金字塔模块[5]融入到GANs采汇聚以提高手脸图像生成的质地[4]等.除此除外， 还有部分算法是针对特定的应用而提议不同结构的GANs算法， 如SGAN[15]、TripleGAN[16]、CycleGAN[17]、BigGAN[6]等.这些算法基本上都是从纯网络结构角度来贪图的， 并未辩论样本各类性问题.本文诓骗信息熵来掂量样本各类性， 并将其融入到算法中以提高GANs生成样本的质地.

二是基于指标函数的算法商讨.这类算法主要从两个方面张开商讨: (1) 转换指标函数的方法; (2) 处分指标函数.针对前者， Nowozin等东说念主[18]将原始GANs中的JS散度[19]实施到一般化的f型散度， 并提议f-GAN算法; 进一时势， Mao等东说念主[3]把柄原始GANs的抗击划定， 用正常失掉函数来代替GANs中的熵失掉函数， 从而提议LSGAN算法.除此除外， Arjovsky等东说念主[20]从微分流形的角度严格讲解了JS散度是导致GANs生成器梯度消失及查验不相识的主要原因， 由此他们提议用Wasserstein Ⅰ型距离[21]代替JS散度来掂量真正漫衍与生因素布之间的距离， 并提议WGAN算法[22].至于后者， Gulrajani等东说念主[12]诓骗1中心梯度处分手艺来贬责WGAN中Lipschitz条款的甘休， 并提议WGAN-GP算法以提高WGAN生成样本的质地.由此商讨道路， Hoang等东说念主[23]拓荒了零中心梯度处分的GANs算法(GAN-0GP).Miyato等东说念主[24]提议谱法式化的生成式抗击网络(SNGAN)， 他们诓骗法式化的谱范数来甘休判别器网络的Lipschitz常数， 使得网络的Lipschitz常数靠拢于1， 这特地于对判别器网络实施正则化.截止当今， 诚然有许多优秀的GANs算法极地面晋升了生成样本的质地， 但仍不成骄矜履行任务的需求， 亟需探索高性能的算法以提高GANs生成样本的质地.

基于对上述GANs算法商讨的探访， 本文提议一种条款熵距离处分的生成式抗击网络， 旨在进一步提高GANs生成样本的质地.咱们所提议的这一双抗网络与其他处分手艺最大的区别在于: 处分函数奏凯处分生成器， 而非判别器.率先， 诓骗条款熵构造一种距离， 可证此距离骄矜度量空间中的三大条款: 正定性、对称性及三角不等式.为了既能保证生成数据各类性与真正数据各类性的一致性， 又能迫使生因素布尽可能地靠拢真正漫衍， 本文奏凯用这个距离来处分GANs生成器.除此除外， 本文在DCGAN[2]网络结构的基础上， 进一步优化GANs网络结构及运行化计策， 主要的优化计策有: (1) 将批量法式化(BN)和谱法式化(SN)有机地融入到判别器采汇聚; (2) 删除生成器中的方法不变层(311层)， 即卷积核为3、步长为1以及加边数为1的卷积层; (3) 转换两个网络的运行化计策， 判别器和生成器均使用正走运行化[25].这么的网络结构贪图及运行化计策， 不但能放松网络的参数空间和缩小显存摧毁唐嫣 白虎， 何况还能提高网络的查验成果和性能.

本文第1节简要先容GANs基础常识.第2节构建一种距离， 优化网络结构， 并提议一种GANs处分算法.第3节是实验.第4节为本文纪念.

1 布景常识

GANs是一种有用而奏凯的深度生成模子， 其基本网络结构由判别器网络D和生成器网络G所组成.骨子上， GANs的优化问题是一个极小极大问题[1]， 其失掉函数分为两部分， 区分对应于判别器网络和生成器网络的失掉函数， 其失掉函数区分如下:

${L_D} = - {E_{x \sim {p_{data}}}}[\log D(x)] - {E_{z \sim {p_z}}}[\log (1 - D(G(z)))]$ (1) ${L_{{G_1}}} = {E_{z \sim {p_z}}}[\log (1 - D(G(z)))]$ (2)

其中， pdata和pz区分默示真正数据漫衍和隐漫衍(先验漫衍).为便于默示， 令$\boldsymbol{\hat {x}} = G(\boldsymbol{z})， $pG默示生因素布， 则有$\boldsymbol{\hat x}{\rm{ \sim }}{p_G}.$从表面上讲， GANs经过多轮迭代， 可使生因素布无尽靠拢真正漫衍[1].但在查验之初， 方程(2)中的失掉函数有可能达到足够， 无法传递有价值的信息， 使得两个漫衍无法靠拢.鉴于此， Goodfellow等东说念主[1]建议将足够的失掉函数(2)革新成非足够失掉函数， 于是有

${L_{{G_2}}} = - {E_{{\rm{z}} \sim {p_{\boldsymbol{z}}}}}[\log D(G(\boldsymbol{z}))]$ (3)

比拟方程(2)， 方程(3)中的失掉函数更能使GANs查验相识， 也因此有商讨者将原始GANs[1]称为非足够型GANs(non-saturating GANs， 简称NSGANs)[26].

GANs的查验流程分为两个阶段: 第1阶段查验判别器D， 第2阶段查验生成器G.当查验完判别器D之后， 传递真假信息给生成器G， 而生成器G把柄信息(实质上是梯度信息)的真伪， 退换更新计策， 尽量生成高质地的样本去“哄骗”判别器.于是， 产生了这么的抗击计策: 当查验判别器D时， 尽量使$D(G(\boldsymbol{z})) = 0;$而当查验生成器G时， 尽量使$D(G(\boldsymbol{z})) = 1.$通过这么的抗击计策， 判别器和生成器都在不停地晋升互相的判别能力和生成能力， 直到判别器无法判断生成器生成的样本是开头于真正数漫衍如故生因素布.图 1所示为GANs的查验框架图.

Fig. 1 The framework for training GANs: Training D in first stage (in the red dotted box) and training G in second stage (in the black solid line box) 图 1 GANs的查验框架: 第1阶段查验判别器D(红虚线框内)， 第2阶段查验生成器G(黑实线框内) 2 条款熵距离处分的生成式抗击网络

本节将详备证明本文所提议的处分算法.率先， 诓骗条款熵构建一种距离， 并将其奏凯处分于生成器的非足够失掉函数上， 即方程(3);其次， 在DCGAN网络结构[2]的基础上， 优化GANs的网络结构及超参拓荒， 转换生成器网络和判别器网络的运行化计策， 以此来晋升模子的查验成果及性能.

2.1 条款熵距离

信息熵是就地变量省略情进度的度量; 它亦然从平均意旨上描画就地变量所需信息量的度量.设X是破碎型就地变量， 其漫衍函数为${F_X}(x)， $则X的信息熵[19]为

$H(X) = - \sum\limits_{x \in \mathcal{X}} {{F_X}(x)\log {F_X}(x)} $ (4)

其中， $\mathcal{X} $默示就地变量X的取值空间.同理， 关于破碎型就地变量Y， 有$H(Y) = - \sum\nolimits_{y \in {\rm{Y}}} {{F_Y}(y)\log {F_Y}(y)} .$其中， ${F_Y}(y)$是就地变量Y的漫衍函数， $\mathcal{Y}$是Y的取值空间.关于在X给定的条款下， 就地变量Y的条款熵[19]可界说为

$H(Y|X) = - \sum\limits_{x \in \mathcal{X}} {\sum\limits_{y \in \mathcal{Y}} {F(x， y)\log F(y|x)} } $ (5)

其中， $F(x唐嫣 白虎， y)$和$F(y|x)$区分默示X和Y的王人集漫衍函数和条款漫衍函数.若要度量两个就地变量漫衍之间的距离， 可用它们之间的KL散度[19]来度量， 其界说如下:

${D_{KL}}({F_X}

• 唐嫣 白虎
• 距离
• 基于
• 一种
• 条款