Resumen
Sí, siempre que exista una pila de entrenamiento hecha para ello. En VIDRAFT preentrenamos VKORE-325M-NPU-Base (325,6 millones de parámetros) desde una inicialización aleatoria en la Rebellions ATOM-Max, una NPU comercial coreana lanzada en 2025 y diseñada para inferencia. Entrenamos el mismo modelo en una GPU B200 como referencia. En 1.024 ventanas de texto que ningún modelo vio durante el entrenamiento, la NPU obtiene una pérdida de 0,7993 y la GPU 0,7994. Los pesos de ambos y el script de evaluación son públicos.
¿Por qué se asume que una NPU de inferencia no puede entrenar?
El compilador y el entorno de ejecución de un acelerador de inferencia están hechos para ejecutar la pasada hacia adelante de un modelo entrenado en otro lugar. Preentrenar exige mucho más: retropropagación por todas las capas, estado del optimizador y actualizaciones estables durante decenas de miles de pasos. Nada de eso viene incluido.
La pregunta tiene consecuencias económicas. Las NPU de inferencia cuestan menos y consumen menos energía que las GPU de entrenamiento, y muchas organizaciones ya las tienen. Si también pueden entrenar, un solo tipo de chip cubre los dos trabajos.
¿Qué entrenamos exactamente?
| Elemento | Valor |
|---|---|
| Modelo | VKORE-325M-NPU-Base, Transformer solo decodificador |
| Parámetros | 325,6M (20 capas, ancho 1024, FFN 3584, GQA 8 consultas / 2 KV) |
| Vocabulario | 256, a nivel de byte |
| Datos | 5.000 millones de tokens de byte de FineWeb-Edu |
| Entrenamiento | 76.292 pasos, unos cuatro días, inicialización aleatoria |
| Pesos preentrenados usados | ninguno |
| Hardware | NPU Rebellions ATOM-Max (2025) |
¿Cómo se demuestra la "calidad de GPU"?
Con una referencia que solo cambie el hardware. Entrenamos el mismo modelo dos veces con la misma inicialización, los mismos datos, el mismo lote y el mismo calendario de tasa de aprendizaje: una vez en la NPU y otra en una sola GPU B200.
¿Coinciden las curvas de entrenamiento?
Se superponen durante todo el entrenamiento, de unos 5,8 a unos 0,80.
¿Y en texto que el modelo nunca vio?
El corpus de entrenamiento se construyó solo con los dos primeros fragmentos de FineWeb-Edu sample/10BT. Evaluamos ambos modelos publicados en 1.024 ventanas del fragmento 013, que nunca formó parte del entrenamiento.
| Modelo | Pérdida, texto no visto | Bits por byte |
|---|---|---|
| NPU Rebellions ATOM-Max | 0,7993 | 1,1531 |
| GPU B200 de referencia | 0,7994 | 1,1533 |
Comparando ventana por ventana, la diferencia media es -0,0001 (NPU menos GPU) con un error estándar de 0,0007, y la NPU es mejor en el 50,1 % de las ventanas. A esta resolución no se pueden distinguir.
¿Qué cambió respecto a VKORE-46M?
Lo difícil no fue la retropropagación, sino mantener estable un entrenamiento largo hasta el final. Esa técnica de estabilidad es propia y está en proceso de patente, por eso no la describimos.
¿Basta con comprar la NPU para entrenar?
No. La ATOM-Max y su software estándar están diseñados para inferencia. Entrenar en ella depende de nuestra propia pila de entrenamiento y de nuestra técnica de estabilidad. Comprar el chip no permite entrenar por sí solo.
¿Cómo reproducirlo?
from transformers import AutoModelForCausalLM npu = AutoModelForCausalLM.from_pretrained("FINAL-Bench/VKORE-325M-NPU-Base") gpu = AutoModelForCausalLM.from_pretrained("FINAL-Bench/VKORE-325M-NPU-Base", subfolder="b200_reference") El script evaluate_unseen.py del repositorio descarga el fragmento 013, toma las mismas 1.024 ventanas y muestra ambas pérdidas y la diferencia emparejada.
Preguntas frecuentes
¿Qué NPU se usó? La Rebellions ATOM-Max, una NPU comercial de inferencia lanzada en 2025.
¿El modelo de la NPU es tan bueno como el de la GPU? En texto no visto, sí: 0,7993 frente a 0,7994, con una diferencia emparejada de -0,0001 y error estándar de 0,0007.
¿Es un modelo de chat? No. Es un modelo base de 325M entrenado con 5.000 millones de tokens, publicado como resultado de hardware de entrenamiento.
¿Es abierto el método? Los pesos, la receta de datos y la evaluación son abiertos. La pila de entrenamiento y la técnica de estabilidad son propias y están en proceso de patente.
