Invertibilidad de un generador entrenado adversariamente

Las Redes Adversarias Generativas (GAN) han demostrado resultados excepcionales en el modelado de la distribución de imágenes naturales, aprendiendo representaciones latentes que capturan variaciones semánticas sin supervisión. Además de la generación de imágenes nuevas, es de especial interés explotar la capacidad del generador GAN para modelar el manifold de las imágenes naturales y, por lo tanto, generar cambios creíbles al manipular imágenes. Sin embargo, esta línea de trabajo está condicionada por la calidad de las reconstrucciones obtenidas sobre las imágenes reales al proyectarlas al espacio latente. Mientras que trabajos previos solo han considerado la inversión hasta el espacio latente, en este trabajo proponemos explotar la representación en las capas intermedias del generador, y mostramos que esto conduce a una mayor capacidad. En particular, observamos que la representación después de la primera capa densa, presente en todos los modelos GAN del estado del arte, es lo suficientemente expresiva como para representar imágenes naturales con gran fidelidad visual. Es posible interpolar entre estas imágenes obteniendo una secuencia de nuevas imágenes sintéticas de gran calidad que no se pueden generar desde el espacio latente. Finalmente, como ejemplo de aplicaciones potenciales que surgen de este mecanismo de inversión, mostramos que se puede explotar la representación aprendida en el mapa de atención del generador para obtener una segmentación no supervisada de imágenes naturales.