요약
AI 성능 주장은 넘칩니다. 중요한 것은 수치의 크기가 아니라 누가, 어떤 문제로 채점했느냐입니다. 이 글은 공인 리더보드 결과를 어떻게 읽어야 하는지, 자가 채점의 함정은 무엇인지, 그리고 비드래프트가 외부 기관이 운영하는 공개 리더보드에서 확인한 결과가 왜 의미 있는지를 엔지니어 관점에서 정리합니다.
왜 자가 채점은 믿기 어려운가
내가 만든 시험을 내가 풀고 내가 채점하면, 점수는 언제든 올릴 수 있습니다. 평가 문항을 학습에 넣거나, 여러 번 돌려 가장 잘 나온 것만 고르거나, 예비 경로가 조용히 답을 만들어 내면, 숫자는 오르는데 실체는 그대로입니다.
그래서 믿을 수 있는 지표의 조건은 세 가지입니다.
- 외부가 채점한다. 문제와 채점을 제3의 기관이 쥐고 있어야 한다.
- 문제가 암기를 거부한다. 검색으로 답이 안 나오는 대학원 수준 문제여야 변별력이 있다.
- 여러 보드에서 넓게 성립한다. 한 보드의 고득점은 운일 수 있지만, 서로 다른 독립 보드에서 폭넓게 1위면 꾸미기 어렵다.
공개된 결과를 그대로 적습니다
아래는 외부 기관이 운영하는 공개 평가에서 확인된 값입니다.
- AIME 2026, HMMT 2026년 2월: 경시 수학 문제 세트에서 만점.
- GPQA Diamond: 500B 이하 구간 93.43%. 검색으로 안 풀리게 설계된 대학원 수준 과학 문제.
- 폭: 허깅페이스 공인 벤치마크 11개 부문, 신약 예측 Polaris 리더보드 16개 부문에서 상위.
핵심은 숫자의 크기가 아닙니다. 문제를 남이 쥐고 있었고, 암기로 안 풀리며, 전혀 다른 분야에서도 같은 방법이 통했다는 점입니다. 하나의 고득점은 우연일 수 있지만, 독립된 보드 여럿에 걸친 폭은 우연으로 설명되지 않습니다.
수치를 읽는 실전 체크리스트
리더보드 결과를 볼 때 다음을 확인하면 과장과 실체를 가를 수 있습니다.
- 학습셋과 시험셋이 겹치지 않는가. 한 문항이라도 새면 그 상승은 착시다.
- 만점이면 먼저 시험이 너무 쉬운 건 아닌지 의심한다. 변별력부터 확인한다.
- 양수 차이는 이긴 게 아니다. 잡음 범위 안의 상승은 상승이 아니다. 짝비교와 구간을 본다.
- 가속 트릭을 켰다면 계수기부터 의심한다. 측정 도구가 먼저 틀릴 수 있다.
이 원칙은 우리 내부에서 결과를 발표하기 전에 스스로에게 먼저 적용하는 것들입니다.
왜 공개로 증명하는가
비공개 데모는 통제된 조건에서 얼마든지 좋아 보입니다. 공개 리더보드는 그 통제를 외부로 넘깁니다. 같은 문제, 같은 채점 아래에서 누구나 재현을 시도할 수 있습니다. 증명의 무게는 거기서 나옵니다.
자주 묻는 질문
만점이면 최고 아닌가요? 아닙니다. 만점은 시험이 변별력을 잃었다는 신호일 수도 있습니다. 기준선부터 봅니다.
한 보드 1위면 충분한가요? 한 보드는 운일 수 있습니다. 서로 다른 독립 보드에서 폭넓게 1위일 때 신뢰도가 올라갑니다.
수치는 어디서 왔나요? 외부 기관이 운영하는 공개 평가에서 확인된 값입니다.
자가 채점은 전부 무의미한가요? 개발 중에는 유용합니다. 다만 외부 채점을 대신할 수는 없습니다.
마치며
좋은 주장은 "우리 수치가 높다"가 아니라 "남이 쥔 시험에서, 암기로 안 풀리는 문제를, 여러 분야에 걸쳐 통과했다"입니다. 수치보다 조건을 먼저 보십시오.
