画像生成 機械学習 深層学習

Wasserstein GANがすごいらしいので、調べてみた

はじめに

近年GAN(Generative Adversarial Network)による画像生成が流行っていますがWasserstein GANというのがすごいと聞いたので調べてみました。内容は、速報レベルです笑

Wasserstein GANについての情報

Wasserstein GANについての情報をまとめます。

• Arxivに載ってる論文https://arxiv.org/abs/1701.07875
• 共著者のSoumith Chintala氏によるツイート

  Wasserstein GANs: loss correlates with sample quality, fix mode dropping, improved stability, sound theory: https://t.co/ovLFxVQnFg pic.twitter.com/XFKeCjZV82

  — Soumith Chintala (@soumithchintala) 2017年1月30日

• Reditにて、GANの提案者であるIan Goodfellow氏がWasserstein GANについて議論している https://www.reddit.com/r/MachineLearning/comments/5qxoaz/r_170107875_wasserstein_gan/
• https://github.com/martinarjovsky/WassersteinGANに著者によるPytorch実装も公開されています。

所感

論文のアブストによると、今回のWasserstein GANでは、以下の様に嬉しいことがあるそうです。

1. GANは通常学習が安定しないことが知られますが、Wasserstein GANでは学習が安定する
2. mode collapseなどの問題が無くなる
3. 学習カーブが意味を持ち、ハイパーパラメータの調整がし易い
4. 加えて、対応する最適化問題は解きやすく、他の分布間距離の問題に発展させていける

と書いてありました。

アルゴリズムの新規性

アルゴリズムとして、通常のGANと異なる面は、通常Discriminatorで使う分布間距離のJensen-Shannon Divergenceでは無く、Critic(GANでのDiscriminatorに相当する部分)でWasserstein distanceを用いるそうです。そうすると、勾配消失問題が解消されるとか。 ちゃんと読めていませんが、時間が有る時に読めれば追記しようと思います。