Controlnet, como domar la generación de imagenes con stableDiffusion

Pasados los primeros 5 minutos de emoción, la generación de imagenes con modelos generativos como Stable Diffusion se convierte en un gatcha, si bien los prompts ayudan positivos y negativos permiten tener resultados medianamente relacionados con lo que escribimos tener buenos resultados solo con eso depende mucho de la suerte.

Para obtener resultados mas controlados Controlnet es una de las herramientas fundamentales. Controlnet nos permite mas control sobre las condiciones iniciales de la generación de imagenes.

En el ejemplo anterior podemos ver el resultado del modelo lineart de Controlnet, que permite partir de un boceto y aplicar estilo y color.

Otro modelo muy util para Controlnet es Openpose. Este modelo nos permite extraer la pose de una imagen de referencia y luego trabajar con nuestro prompt para obtener nuestro resultado.