디시전 AI 글로벌 벤치마크 'S1MB' 1위: 퍼플렉시티·클라우드플레어·메타 제친 Darwin-27B-ZTC-v5

요약(TL;DR): 비드래프트의 판정 엔진 Darwin-27B-ZTC-v5가 허깅페이스 공개 벤치마크 S1MB에서 152개 모델 중 종합 1위에 올랐다. 137개 벤치마크 순위를 점수로 바꿔 평균한 Borda 점수는 91.16으로, 2위 퍼플렉시티(88.66)를 2.50점, 타입세이프AI의 JEV 공식 모델(14위)을 9.72점 앞섰다. 상위 5위 안에 비드래프트 모델이 두 개(1위·4위) 들어갔다.

S1MB가 뭐고, 왜 중요한가?

S1MB(System One Mosaic Benchmark)는 '디시전 AI'를 겨루는 공개 리더보드다. 디시전 AI는 글을 생성하지 않고 판단만 내리는 AI다. 상황과 질문을 받으면 선택지마다 확률을 숫자로 돌려주기 때문에, 프로그램이 그 값을 바로 조건문에 넣어 쓸 수 있다. 사람이 순간적으로 내리는 '시스템 원' 판단에 해당한다. 137개 전문 벤치마크를 선택(Choice), 조건 판정(Noul), 점수 매기기(Score) 세 유형으로 묶어 평가한다.

누구를 제쳤나?

함께 겨룬 이름이 1위의 무게를 말해준다.

2위: 퍼플렉시티 pplx-decider-v1.1-27b (88.66)
9위: 제러드 파머의 kev-27b, 10위: 퍼플렉시티 공동창업자의 AutoJev-27B
14위: 타입세이프AI 공식 모델 Jev 1.13.0
17위: 클라우드플레어 Clef, 27위: 메타 Meta Encoder, 52위: 투게더AI Tev1-4B

'디시전 AI' 붐을 일으킨 타입세이프AI는 지난 10월 약 8억7000만 달러를 유치하며 75억 달러 기업가치를 인정받았다. 그 공식 모델을 9.72점 차로 앞선 것이다.

JEV 공식 모델과 얼마나 차이 나나?

S1MB 공개 데이터로 Darwin ZTC v5와 Jev 1.13.0을 직접 비교했다.

종합 Borda: 91.16 대 81.44 (+9.72)
과제 평균: 70.61 대 59.59 (+11.02)
점수 매기기(Score): 65.26 대 46.92 (+18.34)
일대일 비교 137개 중 97개 우세, 27개 열세, 13개 동률

가장 큰 차이는 '점수 매기기'에서 났다. 답변 품질이나 위험도를 단계로 평가하는 유형으로, AI가 만든 답변을 대량 채점하거나 위험도를 등급으로 나누는 실제 운영 업무에 직결된다.

왜 이 구조가 빠르고 싼가?

대부분의 대규모언어모델은 답을 토큰 단위로 생성한다. Darwin ZTC는 입력과 질문을 읽어 한 번의 순전파로 확률분포를 돌려준다. 생성 토큰이 0개라 디코딩 과정이 없고, 같은 입력에 같은 결과가 재현된다. 응답 채점, 난이도별 모델 분배(라우팅), 위험 출력 차단 같은 일은 하루 수백만 번 일어나는데, 호출당 순전파 한 번으로 끝나므로 대규모 운영에서 비용 우위를 가진다.