요약(TL;DR): 비드래프트가 추론 전용 NPU만으로 소형 언어모델을 0부터(from scratch) 사전학습하는 데 성공하고, 결과물 VKORE-46M-NPU를 허깅페이스에 모델·모델카드·비교자료와 함께 공개했다. "추론 전용 NPU는 역전파를 못 해 학습이 불가능하다"는 통설을 정면으로 뒤집은, 공개 문헌상 사실상 세계 최초 사례다. 같은 모델을 GPU에서 동일 조건으로 학습한 결과와 손실 궤적 상관계수가 0.99에 달했다.
왜 "추론 전용 NPU에서 학습"이 사건인가
추론 전용 NPU는 forward 추론에 맞춰 설계된다. 학습에는 역전파(backpropagation), 옵티마이저 상태, 다중 칩 동기화가 필요한데, 이 경로가 추론 스택에는 보통 없다. 그래서 업계에서는 LoRA 미세조정은 물론 사전학습은 구조적으로 불가능하다는 견해가 정설이었다. 비드래프트는 추론만 하도록 설계된 칩 위에서 역전파를 직접 수행해, 사전학습된 가중치 없이 처음부터 모델을 학습시켰다.
증거: 같은 모델, 두 하드웨어의 손실 곡선
가장 신뢰가 가는 부분은 검증 방법이다. 동일한 모델을 동일 초기화·데이터·스케줄로 NPU 32칩과 GPU에서 각각 0부터 학습시켜 비교했다.
- 두 학습의 손실 궤적 상관계수 0.99
- 처리량(tok/s)도 동급 수준으로 수렴
손실이 떨어지는 그림 한 장은 증명이 아니다. 저정밀 커널이 gradient를 뭉개면 GPU와 다른 궤적을 그린다. 같은 조건에서 GPU 레퍼런스와 손실 곡선이 0.99로 겹친다는 것은, 역전파와 옵티마이저 업데이트가 수치적으로 레퍼런스와 사실상 같은 일을 하고 있다는 강한 증거다.
구형 칩에서도 됐다
이번 성과는 최신 칩이 아니라 2025년 출시된 1세대 추론 전용 NPU(32칩)에서 이뤄졌다. 구형 하드웨어로도 가능했던 만큼 차세대 NPU에서는 성능 향상 여지가 크다.
이제 NPU 하나로 다 된다
- 사전학습(from scratch)
- LoRA 미세조정
- 추론 가속 (범용 공개 모델에도 적용 확인)
- 양자화 모델 구동·가속
비드래프트는 이 기술을 'VKORE'라는 NPU 전용 소프트웨어 계층으로 통합하고 있다. 엔비디아가 GPU 하드웨어보다 CUDA라는 소프트웨어 생태계로 지배력을 구축했듯, VKORE는 NPU에서 그와 같은 토대를 지향하는 'NPU판 CUDA'다. 특정 GPU와 그 소프트웨어 생태계 의존도를 낮추는 공통 가속 계층이다.
왜 중요한가
최신 GPU 서버는 매우 고가에 납품도 오래 걸리고 전력·상면 부담이 크다. 반면 저렴하고 전력이 적은 NPU를 추론뿐 아니라 학습까지 쓸 수 있으면, 기업이 고가 GPU를 오래 기다리지 않고도 사무실에 데스크톱처럼 설치해 자체 모델을 길러낼 수 있다. 민감 데이터를 외부로 내보내지 않고 자체 공간에서 학습·서비스까지 가능하다.
공개 모델은 공개 데이터셋으로 학습돼 짧은 영어 이야기를 생성한다. 핵심 학습 기법은 자체 개발해 특허 출원 중이며, 구체적 방식은 추후 논문으로 공개한다. 핵심 학습 코드는 지식재산 보호를 위해 비공개다.
자주 묻는 질문(FAQ)
정말 추론 전용 NPU에서 역전파를 돌렸나?
그렇다. 추론만 하도록 설계된 칩에서 역전파를 직접 수행해 0부터 사전학습했다.
손실 0.99는 무슨 뜻인가?
같은 조건으로 학습한 GPU 레퍼런스와 NPU의 손실 곡선이 거의 겹친다는 뜻으로, 학습이 수치적으로 정상 작동했다는 근거다.
규모는?
46M 초소형 모델로, 모델 품질 자랑이 아니라 NPU 학습 경로의 작동 증명에 초점이 있다. 대형 모델·실데이터 확장은 다음 단계다.
모델은 어디서 보나?
https://huggingface.co/FINAL-Bench/VKORE-46M-NPU
더 읽기
- 비드래프트 기술 노트: GPU 없이 돌리는 온디바이스 모델 POCKET
- 비드래프트 기술 노트: 생성 없이 판정하는 ZTC 구조
