IT Repository

Generative Adversarial Network (GAN)¶ Introduction에서 소개했던 아래 계층도를 기억하시나요? Generative models Explicit density Tractable density: 실제로 density를 계산할 수 있는 경우 NADE MADE PixelRNN/CNN Approximate density: density의 form을 알고 있고, 그를 통해 근사하는 경우 Variational (VAE) Markov Chain (Boltzman Machine) Impicit density: density의 form을 알 수 없고, 특정 분포로 전제하지도 않는 경우 Direct (GAN) Markov Chain (GSN) 우리가 지난번에 배웠던 VAE는 Explic..

참고. VAE는 이해하기가 수학적으로 조금 까다롭습니다. (정말 어렵습니다 ㅠ) 수학적인 내용을 최소화하면서 설명하나, 기본적인 통계지식은 조금 필요합니다. (여기서는 KL Divergence를 사용하여 VAE를 설명합니다. Jensen's inequality를 사용하여 ELBO를 설명하는 방법도 있으나 이 부분에 대해서는 다루지 않습니다.) Main Idea of VAE¶ 아래는 VAE의 모델구조를 수식학적으로 해석한 내용입니다. 두 개의 독립사건의 확률은 두 사건의 곱으로 표현할 수 있으므로 아래의 수식이 성립합니다. $p_\theta(x) = \displaystyle \int p_\theta(z) \cdot p_\theta (x|z) dz$ ($\theta$는 nn에 있는 파라미터들의 집합) (1)..

참고. 생성 모델은 다른 딥러닝 모델 구조에 비해 통계적인 부분에 이론적 베이스를 크게 두고 있습니다. 기본적인 통계 지식이 있는 상태에서 학습하시기를 권장합니다. Supervised vs Unsupervised Learning¶ 생성 모델(Generative Model)은 기존에 학습했던 MLP, CNN, RNN과 같은 모델을 학습하는 것과는 다른 방식으로 학습이 진행됩니다. 기존의 구조를 학습시키기 위해서 우리는 데이터(x)와 레이블(y)을 사용하여 손실값을 계산했습니다. 이러한 학습 방법은 Supervised Learning이라고 합니다. 그러나 생성 모델은 데이터(x)만을 사용해서 학습이 진행되는 Unsupervised Learning 입니다. 따라서 생성 모델에 대해 알아보기에 앞서 Superv..

이 카테고리에서는 Generative Model 에 대한 내용을 다룹니다. - VAE - Basic of GAN (Generative Adversarial Network) - cGAN (Conditional GAN) - cDCGAN (Conditional Deep Convolutional GAN) 위와 같은 목차를 계획하고 있으며 이후 추가될 예정입니다.