TL;DR: VIDRAFT preentreno un modelo de lenguaje desde cero (from scratch), con retropropagacion real, en una NPU disenada solo para inferencia, sin ninguna GPU. El resultado, VKORE-46M-NPU, esta publicado en Hugging Face con pesos, tarjeta de modelo y datos de comparacion. Entrenado en condiciones identicas sobre una GPU, las trayectorias de perdida correlacionan a 0,99.
Por que entrenar en una NPU solo-inferencia es dificil
Las NPU de inferencia se construyen para el camino hacia adelante: grafos compilados de forma estatica, baja precision y pesos tratados como constantes. El entrenamiento necesita lo contrario: un grafo hacia atras con activaciones guardadas, estado del optimizador, estabilidad numerica para gradientes pequenos y sincronizacion de gradientes entre chips. Por eso se asumia que "las NPU no pueden hacer retropropagacion". Este trabajo la ejecuta directamente y entrena sin pesos previos.
La evidencia: mismo modelo, dos tipos de hardware
Se entreno el mismo modelo en condiciones identicas (inicializacion, datos y planificacion) en una NPU de 32 chips y en una GPU de referencia.
- Las trayectorias de perdida correlacionan a 0,99.
- El rendimiento (tokens por segundo) convergio a un nivel comparable.
Una curva de perdida que baja no prueba nada por si sola. Una correlacion de 0,99 con la referencia en GPU indica que la retropropagacion y las actualizaciones del optimizador hacen el mismo trabajo numerico.
Una sola NPU para todo el ciclo
Preentrenamiento desde cero, ajuste LoRA, aceleracion de inferencia (3,8x por usuario, 4,1x de rendimiento de servidor) y ejecucion de modelos cuantizados. VIDRAFT reune esto en una capa de software llamada VKORE: "CUDA para NPU", una capa de aceleracion independiente del hardware que reduce la dependencia de una GPU concreta y su ecosistema.
Por que importa
Los servidores GPU de gama alta son caros, tienen largas esperas y consumen mucha energia. Una NPU barata y de bajo consumo que ademas entrena permite a una empresa desarrollar su propio modelo en sus instalaciones, sin esperar GPU y sin enviar datos sensibles fuera.
El modelo publicado (46M, nivel de caracteres, TinyStories) es una prueba del camino de entrenamiento, no una afirmacion de calidad. Escalar a modelos grandes y datos reales es el siguiente paso. La tecnica central esta en tramite de patente y el codigo de entrenamiento se mantiene privado.
FAQ
Retropropagacion real en una NPU solo-inferencia?
Si, preentrenamiento desde cero en un chip disenado solo para inferencia.
Que significa 0,99?
La curva de perdida de la NPU casi coincide con una referencia en GPU entrenada en condiciones identicas.
