Detección de descargas duplicadas y gestión de modelos en IA

¿Un programa mágico para detectar descargas duplicadas?

Sabemos que existen herramientas como los clientes torrent o el gestor de archivos Steam, pero ¿existe algo universal? La idea inicial sería lógica: si ya tengo un archivo idéntico en mi disco duro, ¿por qué volver a descargarlo? Sin embargo, la realidad técnica muestra que crear un programa capaz de hacer esto para todo internet es mucho más complicado.

Hay varios obstáculos importantes. El archivo podría tener otro nombre, como `ubuntu.iso` frente a `ubuntu-24.04-final.iso`, o incluso cambiar un solo byte debido a metadatos distintos y timestamps, lo que haría que la comparación falle. Además, escanear discos gigantes cada vez que se inicia una descarga sería extremadamente pesado para el sistema.

A pesar de esto, la deduplicación por contenido es fundamental hoy en día, especialmente con el auge de los datasets masivos para IA. Empresas enteras gastan fortunas simplemente en evitar descargar y almacenar los mismos terabytes repetidamente.

El problema real: Pinokio y ComfyUI

Hablando de una situación personal, recientemente reinstalé el programa Pinokio para usar inteligencia artificial. Esperaba que fuera la instalación rápida y simple como en versiones antiguas, pero al instalar ComfyUI a través de él, el sistema comenzó a descargar modelos de muchos gigas que ya tenía guardados en otro lado.

Esto es un problema común porque cada launcher o gestor actúa como si fuera el único programa del universo, instalando sus propios modelos en su propia estructura de carpetas. Terminamos con el mismo SDXL repetido varias veces y una colección de safetensors clonándose en distintos discos.

La solución: Centralizar y usar symlinks

No necesitas duplicar archivos manualmente. La solución más elegante es mover todos los modelos a una carpeta central y luego usar enlaces simbólicos o junctions para que cada programa acceda a ellos desde su ubicación esperada.

En Windows, esto se puede lograr usando comandos como `mklink /J` para crear un junction. Por ejemplo, puedes hacer que la carpeta de modelos de ComfyUI apunte directamente a una biblioteca central compartida. De esta forma, el programa cree que los archivos están dentro de su carpeta local, pero en realidad residen en tu repositorio único.

Alternativamente, herramientas como ComfyUI permiten modificar archivos de configuración YAML para agregar rutas externas, permitiendo apuntar directamente a carpetas donde ya tienes tus modelos guardados. Así evitas el caos y la duplicación innecesaria.