¿Qué es un depth map y por qué es útil en la generación de imágenes con IA?

¿Alguna vez has oído hablar sobre el uso de un depth map, o mapa de profundidad, en la generación de imágenes por inteligencia artificial?

Sí. Un depth map puede ser bastante útil cuando quieres conservar la geometría, perspectiva y composición de una imagen, pero cambiar su estilo, personajes o iluminación.

La idea básica es sencilla. En un mapa de profundidad:

• Blanco representa lo que está cerca.
• Negro representa lo que está lejos.
• Los grises representan profundidades intermedias.

Imagina una foto de una persona frente a una pared. La IA recibe dos informaciones distintas: «Esta es la apariencia que quiero» y «Esta es la estructura tridimensional que debes respetar».

Cómo funciona con ControlNet y modelos similares

Eso es especialmente interesante para sistemas como ControlNet Depth en Stable Diffusion, SDXL o Flux. Supongamos que tienes una fotografía de una habitación y quieres convertirla en una escena anime.

Sin depth: El modelo puede decidir libremente dónde colocar las cosas. Puede cambiar la perspectiva, mover la cama o alterar la posición de la persona.

Con depth: La IA tiene un esqueleto 3D aproximado de la escena. Puede cambiar textura, estilo artístico e iluminación, pero tiene mucha más dificultad para decir: «Ah, qué bonita habitación… voy a mover la cama tres metros hacia la izquierda».

Diferencia entre un depth map y un Canny/edge map

Es importante entender la diferencia. Un Canny/lineart simplemente dice: «Aquí hay un borde.» En cambio, un depth map dice: «Esto está delante de aquello».

Eso hace que el depth sea particularmente interesante cuando quieres conservar perspectiva y volumen. Mientras que un Canny solo captura contornos, el mapa de profundidad contiene información espacial detallada sobre la distancia relativa entre los objetos en la escena.

Aplicación en generación de video

Aquí viene lo interesante para lo que estás haciendo con generación de vídeo. Un depth map puede utilizarse como condicionamiento espacial para mantener una escena consistente.

Si tienes imágenes del sujeto, el escenario y la pose, puedes extraer el depth del escenario y utilizarlo como un tipo de «molde tridimensional».

La IA podría recibir algo conceptualmente parecido a esto:

• Prompt: Qué quiero ver.
• Pose/reference: Qué están haciendo los personajes.
• Depth: Dónde están situados espacialmente.

Para image-to-video puede ser todavía más interesante, porque la profundidad ayuda a que los movimientos respeten la estructura de la escena y reducen ciertos tipos de deformación. Si quieres, puedo explicarte también cómo sacar un depth map de una imagen y utilizarlo concretamente en ComfyUI.