¿Por qué dos archivos MiniMax H3 pesan exactamente lo mismo?

Por curiosidad, te pregunto cómo es que estos modelos tienen exactamente el mismo peso. Están hablando de dos archivos específicos: minimax_h3_fl2va_pruned_int8_convrot.safetensors y minimax_h3_ref2va_pruned_int8_convrot.safetensors. Ambos pesan alrededor de 20.97 GB.

¿FL2VA o REF2VA? La misma arquitectura, distinto propósito

Aunque los nombres sugieren que son modelos de distintos tamaños, la lógica detrás de esto es bastante clara. En esos dos archivos, la diferencia principal no está en cuántos parámetros tiene uno u otro, sino en el comportamiento del modelo.

FL2VA corresponde al flujo de first/last frame para video, mientras que REF2VA está orientado al uso de referencias como imagen o audio. La capacidad adicional no viene necesariamente de tener más pesos; puede estar codificada en cómo están entrenados esos mismos bloques y en cómo el workflow interpreta las entradas.

Pruning e INT8 ConvRot: la clave del tamaño

Los dos son versiones pruned del mismo transformer H3 y están cuantizados de manera idéntica, utilizando INT8 y ConvRot. No es como tener un modelo de 20 GB y otro de 25 GB porque REF2VA «entienda más cosas».

Además, el formato safetensors no tiene una relación simple entre tamaño del archivo y número de parámetros. INT8 guarda los pesos cuantizados junto con escalas y otra información auxiliar; ConvRot introduce su propia estructura de cuantización por capa.

Conclusión: el tamaño del archivo no es la huella de memoria

Si ambos modelos tienen la misma arquitectura podada, las mismas dimensiones y prácticamente el mismo conjunto de tensores, es perfectamente posible que el archivo resultante tenga exactamente el mismo número de bytes.

Dado que son esencialmente dos especializaciones del mismo monstruo, no puedes inferir cuál de los dos es «más pesado» por el tamaño del .safetensors, ya que la diferencia real radica en qué entrada aceptan y qué comportamiento aprendieron.