[12] ViTGAN: Training GANs with Vision Transformers

[hyoseok1223]

Links

• Paper : https://arxiv.org/abs/2107.04589
• Github : -

한 줄 요약

• ViT를 GAN에 적용해 CNN-based GAN에 견줄만한 성능을 낸다.

선택 이유

• CNN-based GAN이 아닌 ViT를 GAN에 처음 적용한 논문이라 흥미로워서 읽어보았다.
• 또한, ViT를 GAN에 적용하며 생긴 불안정성을 해결하는 방법들도 알 수 있는 논문이다.

[omocomo]

[Review Link]
https://omocomo.tistory.com/entry/GAN-ViTGAN-Training-GANs-with-Vision-Transformers

[Summary]

• ViT를 GAN에 적용해, Transformer-based GAN을 제안한다.
• ViTGAN 학습을 안정화하고 잘 수렴할 수 있도록 하는 새로운 방법들을 제안한다.
• Discriminator → self-attention에서의 enforcing lipschitzness, improved spectral normalization, overlapping image patches
• Generator → self-modulated layer normalization과 implicit neural representation for patch generation

[Contribution]

• ViT를 GAN에 적용한 첫 논문이며, CNN-based GAN과 견줄만한 성능을 보여줬다.
• 앞으로의 연구를 통해 Transformer-based GAN을 더 발전시킬 수 있는 가능성이 있다.

[Comment]

• 아직 CNN-based GAN을 완전 뛰어넘지는 못했다.
• 또한, 32x32, 64x64 로 매우 작은 이미지만 결과로 생성했다.