ControlNet: qué es y cómo funciona esta inteligencia artificial de dibujo que mejora Stable Diffusion

Por: Yúbal Fernández

Vamos a explicarte qué es y cómo funciona ControlNet, una tecnología de Inteligencia Artificial para crear imágenes super realistas. Se trata de una extensión creada para Stable Diffusion, que a día de hoy es uno de los sistemas de IA más avanzados para crear imágenes a partir de texto.

Nosotros vamos a intentar explicarte qué es exactamente esto de ControlNet de una manera sencilla de entender, repasando también qué es Stable Diffusion. Y luego, también intentaremos explicarte de forma básica cómo funciona para crear imágenes increíblemente realistas.

Qué es ControlNet

Para entender ControlNet, primero debes entender Stable Diffusion, que es un motor de inteligencia artificial diseñado para crear imágenes a partir de texto. Además de esto, también puede servir para generar imágenes a partir de otras imágenes que le des.

Ha sido creado por la empresa Stability AI, y es de código abierto, lo que permite que se creen mejoras como ControlNet. Stable Diffusion tiene un sistema de aprendizaje automático, lo que quiere decir que cuanto más la vas utilizando más va aprendiendo a dar resultados acertados, aprendiendo con el tiempo a afinar lo que te muestra.

ControlNet es una nueva estructura de red neuronal, creada para "controlar los grandes modelos de difusión preentrenados para que admitan condiciones de entrada adicionales". Esto quiere decir que es un sistema que modifica la salida de datos de Stable Diffusion, de forma que se ajuste a ciertas condiciones de control de modelos.

Esto quiere decir que en vez de dejar que Stable Diffusion cree las imágenes relativamente al hazar, ControlNet controla esta creación para que vaya dirigida a unas condiciones y modelos concretos. Vamos, que son como plantillas para dirigir lo que crea Stable Diffusion, y hace que los resultados sean todavía más alucinantes al tener un mayor control sobre ellos.

Cómo funciona ControlNet

Lo que hace ControlNet es utilizar su red neuronal para controlar los modelos de difusión creados por Stable Diffusion. Los modelos de difusión son los sistemas que crean imágenes de la nada, y lo que hace esta extensión es añadir condiciones adicionales a la creación de imágenes.

Si le pides a Stable Diffusion que cree una imagen, tendrá en cuenta los parámetros que le des en tu comando y generará con ellos una imagen de forma aleatoria. Vamos, que puede dibujar un hombre sonriente si se lo pides, pero habrá gestos y posturas que, a no ser que especifiques mucho, las decida al azar la propia IA.

Y es aquí donde entra en juego ControlNet, que le añadirá condiciones adicionales a tu modelo para que, dependiendo del modelo de ControlNet elegido, hará quie se parezca a algo concreto. Por ejemplo, puedes coger un modelo que sea el dibujo de una tortuga, y entonces Stable Diffusion hará su creación de la manera más parecida posible a este modelo que le hayas dicho.

ControlNet no influye en el proceso de creación del dibujo de Stable Diffusion, no hace que dibuje diferente. Lo que hace es algo parecido a ofrecerle unas plantillas para que la IA oriente la creación del dibujo para que se parezca a ella, y estas plantillas son los modelos preentrenados.

Ya hay varios modelos disponibles como Canny Edge, que detecta bordes, o un Open POSE que detecta las poses de una imagen que uses como referencia generando un "esqueleto" del original, y haciendo que Stable Diffusion se base en él. También hay un modelo llamado User Scribble,que permite dibujar un garabato y que se genere una imagen basada en él.

Todavía no hay ninguna solución para que un usuario sin conocimientos utilice esta tecnología. Sin embargo, todo el desarrollo y los modelos se están mostrando en la página de Github de ControlNet. Con ello, los desarrolladores expertos en IA pueden ir probando el funcionamiento de esta tecnología y mejorándola, e incluso quizá en poco tiempo crear páginas o modelos que puedas usar. De momento, todo está en fase experimental.