Por qué los modelos FP8 no son mejores en una RTX 3090

Al explorar el ecosistema de modelos para IA local, es común encontrarse con versiones etiquetadas como FP8. A primera vista, parece lógico pensar que una precisión más baja significa un rendimiento superior o un ahorro inmediato en la memoria. Sin embargo, si estás utilizando una tarjeta gráfica NVIDIA de la serie 30—como la popular RTX 3090 o la RTX 3060—este razonamiento es incorrecto.

La razón fundamental es que las tarjetas de la serie 30 utilizan la arquitectura Ampere, la cual no incluye soporte nativo para FP8. Cuando intentas cargar un modelo cuantizado a FP8 en una RTX 3090, el software está obligado a reconverter esos datos a formatos como FP16 o BF16 antes de que la GPU pueda procesarlos. Esto introduce un overhead innecesario y elimina cualquier beneficio real de velocidad o ahorro de memoria.

FP8 vs. BF16: ¿Cuál elegir?

Dado que FP8 es inútil en hardware Ampere, la decisión real se centra entre FP16 y BF16. Para tareas como la generación de imágenes con Stable Diffusion o modelos de edición como Qwen Image Edit, FP16 suele ser la opción más segura y estable.

Mientras que BF16 es excelente para el entrenamiento de LLMs debido a su mayor rango dinámico, en la generación de imágenes el rendimiento práctico entre ambos es casi idéntico. Por lo tanto, si tienes un archivo como qwen_image_edit_2509_fp8_e4m3fn.safetensors, la estrategia correcta no es usarlo, sino buscar y descargar explícitamente su equivalente en FP16: qwen_image_edit_2509_fp16.safetensors.

Estrategia de archivado de modelos

Otro punto clave a considerar es qué versiones de los modelos merecen ser guardadas en tu disco duro. No todos los archivos son igual de valiosos. Los modelos canónicos, como el sd_xl_base_1.0 o el sd_xl_refiner_1.0, representan la referencia estándar y deben archivarse siempre.

Por otro lado, las variantes derivadas como sd_xl_turbo_1.0_fp16 son modelos de despliegue rápido que no necesitas guardar para el futuro. Curiosamente, notarás que archivos distintos pueden tener exactamente el mismo número de bytes; esto indica que comparten la misma arquitectura y precisión interna, independientemente de su nombre comercial.

En resumen, en una RTX 3090 debes priorizar los modelos FP16 sobre las versiones FP8. Evita archivar variantes derivadas y confía siempre en los checkpoints base para tener un ecosistema estable y eficiente.