WGAN 논문 정리

• 왜 EM distance를 활용했는지 정리하기!

later….

                                                                          WGAN 알고리즘

• 알고리즘 정리하기
  1. sample batch 생성(real, fake 모두)
  2. gradient update
  3. RMSProp 적용 (왜????)
  4. Weight clipping 적용
• 왜 RMSProp을 사용했을까??

주로 사용하는 optimizer인 Adam은 RMSProp과 momentum을 합친 것이다.

momentum 기반의 optimizer로 critic을 학습했을 때, 학습이 불안정하게 된다고 한다!

→ critic의 loss가 nonstationary하기 때문

momentum 기반의 optimizer를 사용했을 때?

loss 확산 + sample 터짐 + Adam step과 기울기 사이의 cosine이 negative 값으로 바뀜

특히 cosine이 음수 값이 되면서 학습이 불안정하게 진행됨.

따라서 loss가 nonstationary하거나, learning rate가 매우 큰 경우에 좋은 성능을 보이는 RMSProp 사용!

• Weight clipping

Lipschitz constraint를 위해 Weight clipping을 사용하였지만…