¿Text encoders FP4 para una RTX 3090? La realidad de la precisión

¿Alguna vez has visto en el nombre de un text encoder la etiqueta fp4 y te has preguntado si funcionaría en una NVIDIA RTX 3090? Es una duda común, pero la respuesta corta es que esos modelos están pensados para hardware mucho más reciente.

Si ves text encoders con «fp4» en el nombre, casi seguro están diseñados para GPUs Blackwell o Hopper. En una RTX 3090 de arquitectura Ampere, eso es simplemente tentador y no funciona como uno quisiera.

¿Por qué la RTX 3090 no soporta FP4?

La realidad técnica es que la 3090 no tiene soporte nativo para FP4. Ampere maneja bien FP16, BF16 y FP32, pero el estándar FP4 no está ahí. Si intentas cargar un text encoder «fp4» en una 3090, normalmente ocurrirá uno de tres cosas: el modelo simplemente no va a cargar, se va a upcastear internamente perdiendo toda la ventaja del formato, o tendrás que usar kernels lentos y experimentales.

Cómo aprovechar realmente tu GPU

En lugar de buscar algo incompatible como FP4, lo que sí tiene sentido para una 3090 es aprovechar su memoria de 24 GB. Las opciones prácticas son usar CLIP o T5 en formato FP16, aplicar cuantización INT8 con herramientas como bitsandbytes, o incluso probar INT4 si el modelo lo soporta.

Si ves etiquetas como clip-fp4 o t5-fp4, es mejor pensarlas como modelos coquetos y modernos que no son para esta generación de hardware. Con una RTX 3090, el verdadero sweet spot sigue siendo el FP16 bien optimizado.