🔥 热搜 🔥
上海习近平新疆鄂州父女瓜乌鲁木齐疫情H工口小学生赛高习明泽芊川一笑图包印尼排华
分类
社会娱乐国际人权科技经济其它
🔥 热搜 🔥
百度今日热点微信公众平台贴吧opggdnf私服百度贴吧知乎dnf公益服百度傻逼
分类
社会娱乐国际人权科技经济其它
查看原文
其他

强数据所难！SSL（半监督学习）结合GAN如何？

bryant8 机器学习与生成对抗网络 2022-04-22
收录于合集 #生成对抗网络应用 101个

欢迎点击上方蓝字，关注啦~

相关阅读：

GAN整整6年了！是时候要来捋捋了！ 

数百篇GAN论文已下载好！搭配一份生成对抗网络最新综述！

有点夸张、有点扭曲！速览这些GAN如何夸张漫画化人脸！

天降斯雨，于我却无！GAN用于去雨如何？

脸部转正！GAN能否让侧颜杀手、小猪佩奇真容无处遁形？

容颜渐失！GAN来预测？

弱水三千，只取你标！AL（主动学习）结合GAN如何？

异常检测，GAN如何gan ?

虚拟换衣！速览这几篇最新论文咋做的！
脸部妆容迁移！速览几篇用GAN来做的论文
【1】GAN在医学图像上的生成，今如何？
01-GAN公式简明原理之铁甲小宝篇

对于只有少量的带标签数据、大量的无标签数据的场景，是很常见的。

众所周知，标注工作往往费时耗力甚至不可行。而类似深度学习等的机器学习方法，在缺乏带标签数据下，效果大打折扣甚至无法施展。
 
针对这种有标签数据加大量无标签数据混合的训练数据的难题，半监督学习（Semi-supervised Learning）得到大量研究。当然，目前绝大多数的半监督学习研究还是带有局限、具有很强的假设性的。比如，无标签的数据分布应该和带标签的数据分布一致或高度类似、无标签数据类别应该属于带标签中某一类、甚至无标签数据应该类别平衡等等。
 
传统的半监督学习方法此不述。而半监督深度学习近年似乎大热（据说），主要有使用无标签数据预训练网络后使用带标签数据微调、带标签数据训练网络后用得到的特征做半监督算法设计等等。今天主要了解的是半监督深度学习中的基于生成模型GAN的一类论文。
 

1. 2016-UNSUPERVISED ANDSEMI-SUPERVISED LEARNING WITH CATEGORICAL GENERATIVE ADVERSARIAL NETWORKS

本文提出了一种从未标记或部分标记的数据中学习判别式分类器的方法（分类生成对抗网络CatGAN）,它基于一个目标函数，权衡了观察到的样本与预测的分类类别分布之间的互信息，而在对抗模型中提高了分类器的鲁棒性。得到的算法可以看做为生成对抗网络（GAN）框架的泛化，或者看做为正则化信息最大化（RIM）的扩展。对合成数据以及具有挑战性的图像分类任务进行评估，证明了分类器的鲁棒性。同时进一步定性地评估与鉴别分类器一起学习的生成器生成的样本的保真度，并确定CatGAN目标和鉴别聚类算法（例如RIM）之间的联系。


从未标记或仅部分标记的数据中学习非线性分类器是机器学习中长期存在的问题。从未标记数据中学习的前提是，训练样本中的结构包含可用于推断未知标签的信息。也就是说，在无监督学习中，我们假设输入分布p(x)包含关于p(y|x)的信息（其中y∈1,…,K表示未知标签）。通过学习来自数据分布的带标签和不带标签的样本，得到其中共享结构的表示信息。这样的表示可以帮助分类器仅使用少数标记样本训练，而且泛化到同样来自该数据分布的其他部分。


传统上，该任务被形式化为聚类（类别）分配问题，可以分为两种类型：（1）生成聚类方法，如高斯混合模型，k均值和密度估计算法，它们直接尝试对数据分布p(x)（或其几何性质）进行建模; （2）判别聚类方法，如最大边缘聚类（MMC）或正则化信息最大化（RIM），通过一些分类机制将未标记数据直接分组到分好的类别，并不明确地建模p(x)。虽然后者更直接地对应于我们学习分类的目标，但很容易过拟合，特别是与强大的非线性分类器（如神经网络）结合使用时。

最近，神经网络已经探索了用于无监督和半监督学习任务的各种方法。这些方法通常涉及训练生成模型或自动编码器网络，因为它们通过重建输入样本显式建模数据分布，所有这些模型都与生成聚类方法相关，并且通常仅用于预训练分类网络。这种基于重建的学习方法的一个问题是，为了追求重建良好，而去学习了可以保留输入样本中所有信息的表示。事实上，这种希望完美重建的目标通常与学习分类器的目标相反。分类器是建模p(y|x)，因此它只保留预测类标签所必需的信息（对不重要的细节不关心）。


分类生成对抗网络（CatGAN）框架的想法是结合生成和判别两个角度。

 
判别器的角度：它应该（i）对样本的类别可以确定，（ii）对生成的样本的类别难以确定（分不清），（iii）平等地使用所有类别。

生成器的角度：它应该（i）生成使得判别器具有高度确定的类别的样本，（ii）在所有K类中平均分配样本。
 
 

2. 2016-Semi-Supervised Learningwith Generative Adversarial Networks


本文将生成对抗网络（GAN）拓展到半监督学习：通过强制判别器来输出类别标签。在一个数据集上训练一个生成器 G 以及一个判别器 D，输入是N类当中的一个。在训练的时候，D被用于预测输入是属于 N+1的哪一个，这个+1是对应了G的输出。这种方法可以用于创造更加有效的分类器，并且可以比普通的GAN 产生更加高质量的样本。
 

3. 2017-Good Semi-supervisedLearning That Requires a Bad GAN

基于生成对抗网络（GAN）的半监督学习方法获得了很强的实证结果，但尚不清楚：1）鉴别器如何从与生成器的联合训练中受益； 2）为什么良好的半监督分类性能和良好的生成器无法同时获得。 本文从理论上证明给定鉴别器的目标，好的半监督学习确实需要一个不好的生成器，并提出了首选生成器的定义。
……
待更。

（以下附上和GAN做半监督学习相关的40多篇论文）


001  (2019-11-19) SSAH  Semi-supervised Adversarial Deep Hashing with Self-paced Hard Sample Generation

     https://arxiv.xilesou.top/pdf/1911.08688.pdf


002  (2019-10-18) Semi-supervised Learning using Adversarial Training with Good and Bad Samples

     https://arxiv.xilesou.top/pdf/1910.08540.pdf


003  (2019-09-19) Fine-grained Action Segmentation using the Semi-Supervised Action GAN

     https://arxiv.xilesou.top/pdf/1909.09269.pdf


004  (2019-09-15) Understanding and Improving Virtual Adversarial Training

     https://arxiv.xilesou.top/pdf/1909.06737.pdf


005  (2019-08-11) Semi-Supervised Self-Growing Generative Adversarial Networks for Image Recognition

     https://arxiv.xilesou.top/pdf/1908.03850.pdf


006  (2019-08-12) Particle Swarm Optimization for Great Enhancement in Semi-Supervised Retinal Vessel Segmentation with Generative Adversarial Networks

     https://arxiv.xilesou.top/pdf/1906.07084.pdf


007  (2019-06-14) Multi-Adversarial Variational Autoencoder Networks

     https://arxiv.xilesou.top/pdf/1906.06430.pdf


008  (2019-06-9) Semi-supervised Complex-valued GAN for Polarimetric SAR Image Classification

     https://arxiv.xilesou.top/pdf/1906.03605.pdf


009  (2019-05-24) Semi-supervised GAN for Classification of Multispectral Imagery Acquired by UAVs

     https://arxiv.xilesou.top/pdf/1905.10920.pdf


010  (2019-05-16) Semi-supervised learning based on generative adversarial network  a comparison between good GAN and bad GAN approach

     https://arxiv.xilesou.top/pdf/1905.06484.pdf


011  (2019-05-7) Adversarial Variational Embedding for Robust Semi-supervised Learning

     https://arxiv.xilesou.top/pdf/1905.02361.pdf


012  (2019-03-27) Small Data Challenges in Big Data Era  A Survey of Recent Progress on Unsupervised and Semi-Supervised Methods

     https://arxiv.xilesou.top/pdf/1903.11260.pdf


013  (2019-05-22) GANs for Semi-Supervised Opinion Spam Detection

     https://arxiv.xilesou.top/pdf/1903.08289.pdf


014  (2019-04-25) Semi-Supervised Multitask Learning on Multispectral Satellite Images Using Wasserstein Generative Adversarial Networks (GANs) for Predicting Poverty

     https://arxiv.xilesou.top/pdf/1902.11110.pdf


015  (2019-02-27) Semi-supervised GANs to Infer Travel Modes in GPS Trajectories

     https://arxiv.xilesou.top/pdf/1902.10768.pdf


016  (2018-12-19) Semi-Supervised Deep Learning for Abnormality Classification in Retinal Images

     https://arxiv.xilesou.top/pdf/1812.07832.pdf


017  (2019-09-3) Generalizing semi-supervised generative adversarial networks to regression using feature contrasting

     https://arxiv.xilesou.top/pdf/1811.11269.pdf


018  (2018-11-11) Semi-supervised Text Regression with Conditional Generative Adversarial Networks

     https://arxiv.xilesou.top/pdf/1810.01165.pdf


019  (2018-09-1) Semi-supervised Learning on Graphs with Generative Adversarial Nets

     https://arxiv.xilesou.top/pdf/1809.00130.pdf


020  (2018-07-11) Manifold regularization with GANs for semi-supervised learning

     https://arxiv.xilesou.top/pdf/1807.04307.pdf


021  (2018-06-20) Semi-supervised Seizure Prediction with Generative Adversarial Networks

     https://arxiv.xilesou.top/pdf/1806.08235.pdf


022  (2019-05-6) Sdf-GAN  Semi-supervised Depth Fusion with Multi-scale Adversarial Networks

     https://arxiv.xilesou.top/pdf/1803.06657.pdf


023  (2018-03-8) GONet  A Semi-Supervised Deep Learning Approach For Traversability Estimation

     https://arxiv.xilesou.top/pdf/1803.03254.pdf


024  (2018-02-7) SCH-GAN  Semi-supervised Cross-modal Hashing by Generative Adversarial Network

     https://arxiv.xilesou.top/pdf/1802.02488.pdf


025  (2018-01-29) Classification of sparsely labeled spatio-temporal data through semi-supervised adversarial learning

     https://arxiv.xilesou.top/pdf/1801.08712.pdf


026  (2018-01-22) DiscrimNet  Semi-Supervised Action Recognition from Videos using Generative Adversarial Networks

     https://arxiv.xilesou.top/pdf/1801.07230.pdf



027  (2017-12-7) Semi-Supervised Learning with IPM-based GANs  an Empirical Study

     https://arxiv.xilesou.top/pdf/1712.02505.pdf


028  (2018-04-4) Generative Adversarial Positive-Unlabelled Learning

     https://arxiv.xilesou.top/pdf/1711.08054.pdf


029  (2017-10-27) A Self-Training Method for Semi-Supervised GANs

     https://arxiv.xilesou.top/pdf/1710.10313.pdf


030  (2017-11-18) Triangle Generative Adversarial Networks

     https://arxiv.xilesou.top/pdf/1709.06548.pdf


031  (2017-07-14) Guiding InfoGAN with Semi-Supervision

     https://arxiv.xilesou.top/pdf/1707.04487.pdf


032  (2017-10-26) Semi-Supervised Haptic Material Recognition for Robots using Generative Adversarial Networks

     https://arxiv.xilesou.top/pdf/1707.02796.pdf


033  (2017-07-7) Learning Loss Functions for Semi-supervised Learning via Discriminative Adversarial Networks

     https://arxiv.xilesou.top/pdf/1707.02198.pdf


034  (2017-11-3) Good Semi-supervised Learning that Requires a Bad GAN

     https://arxiv.xilesou.top/pdf/1705.09783.pdf


035  (2017-12-5) Semi-supervised Learning with GANs  Manifold Invariance with Improved Inference

     https://arxiv.xilesou.top/pdf/1705.08850.pdf


036  (2017-03-28) Semi and Weakly Supervised Semantic Segmentation Using Generative Adversarial Network

     https://arxiv.xilesou.top/pdf/1703.09695.pdf


037  (2017-11-5) Triple Generative Adversarial Nets

     https://arxiv.xilesou.top/pdf/1703.02291.pdf


038  (2017-02-8) An Adversarial Regularisation for Semi-Supervised Training of Structured Output Neural Networks

     https://arxiv.xilesou.top/pdf/1702.02382.pdf


040  (2017-08-21) Unlabeled Samples Generated by GAN Improve the Person Re-identification Baseline in vitro

     https://arxiv.xilesou.top/pdf/1701.07717.pdf


041  (2016-06-10) Improved Techniques for Training GANs

     https://arxiv.xilesou.top/pdf/1606.03498.pdf


042  (2016-10-21) Semi-Supervised Learning with Generative Adversarial Networks

     https://arxiv.xilesou.top/pdf/1606.01583.pdf

 

GAN&CV交流群，无论小白还是大佬，诚挚邀您加入！

一起讨论交流！长按备注【进群】加入：

更多分享、长按关注本公众号：

您可能也对以下帖子感兴趣

文章有问题？点此查看未经处理的缓存