人脸生成新SOTA?它还是GAN。
点击上方“机器学习与生成对抗网络”,关注"星标"
获取有趣、好玩的前沿干货!
这是份 论文速递。
众所周知,GAN可分为无条件无监督式、条件监督式两大类;前者不需要标签,后者相反;
现有的GAN应用大多是监督条件式的,需要大量带标签数据,以生成期望数据;
GAN用于数据生成,庞大充分的数据、以及繁杂的训练技巧下,获取良好的生成效果已渐为易事;
难还在于,如何精准地控制生成所需要的数据?如人脸编辑,现有方法大多基于大量人工的属性标签进行训练,如果缺乏标签,无监督式GAN的生成如何精准控制?
无监督生成Z->image中,Z往往是过于纠缠不清的,易“牵一发而动全身”,每个因子分别控制什么?
StyleGAN的基于style的生成器,通过对以往的Z进行深层次解耦学习:对不同尺度的特征进行干预,(在类似解码的过程中)由于低层控制了高级的语义,高层控制了细微的语义,在不同尺度干预下完成语义解耦。也主要因此而大获成功。
即便如此,无监督式的解耦、真正的精准控制,仍然远未完成。
Z的可解释性和控制,如何做到更好?对Z如何进行进一步干预和分解?
前言
前几天看到一些公众号在推送一篇 《人脸合成效果媲美StyleGAN,而它是个自编码器》,以为是一个什么异于GAN的新生成模型……
今日一看,这不还是一个用了对抗损失的GAN变体吗?
[CVPR2020] Adversarial Latent Autoencoders
https://github.com/podgorskiy/ALAE
https://arxiv.org/abs/2004.04467
要点
自编码网络结合了生成和表征的特点;那它能不能和GAN一样,拥有强大的生成能力,或者进一步地、解耦表征能力呢?这尚未得知。
本文提出的Adversarial Latent Autoencoder (ALAE)是一种更具通用性的、利用GAN方法的架构,它可以进行更“解耦”的表征学习。
ALAE不仅可以生成可以和StyleGAN媲美的1024大图,还可以对真实image进行重建、编辑等。
动机
自编码结构通常作假设:潜在空间应该是具有匹配对应先验的概率分布的;而现有的SOTA的GAN(比如StyleGAN)表明中间的潜在空间,它与直接输入距离得足够远,往往可以(学习)到更好的解耦属性;
由此,作者设计自编码结构,它可以从现有数据分布中学习得到潜在分布,以更好进行解耦;
结合GAN优秀的策略,即对抗的方法获取输出;
当然,自编码的图像重建层面的loss往往都是次优选择,故本文在潜在空间进行对抗约束,即所谓“Adversarial Latent Autoencoder”。
方法
把常规的生成器和判别器分拆如下,并作假设,和、和之间的潜在空间是相同。
网络结构
实现
实验结果-略
公众号近期荐读:
CVPR2020之MSG-GAN:简单有效的SOTA CVPR2020之姿势变换GAN:图像里谁都会劈叉? CVPR2020之多码先验GAN:预训练模型如何使用? 两幅图像!这样能训练好GAN做图像转换吗? 单图训GAN!如何改进SinGAN? 有点夸张、有点扭曲!速览这些GAN如何夸张漫画化人脸! 见微知细之超分辨率GAN!附70多篇论文下载! 天降斯雨,于我却无!GAN用于去雨如何? 脸部转正!GAN能否让侧颜杀手、小猪佩奇真容无处遁形? 容颜渐失!GAN来预测? 强数据所难!SSL(半监督学习)结合GAN如何? 弱水三千,只取你标!AL(主动学习)结合GAN如何? 异常检测,GAN如何gan ? 虚拟换衣!速览这几篇最新论文咋做的! 脸部妆容迁移!速览几篇用GAN来做的论文 【1】GAN在医学图像上的生成,今如何? 01-GAN公式简明原理之铁甲小宝篇