재귀적 자가개선(RSI)은 결국 무엇을 한다는 말인가?
TL;DR: RSI(Recursive Self-Improvement, 재귀적 자가개선)는 모델이 스스로 문제를 만들어 풀고, 그 풀이 중에서 정답이 확실히 확인된 것만 골라 다시 학습 데이터로 삼아 자신을 개선하는 방식입니다. 핵심은 세 가지입니다. 첫째, 문제는 반드시 검증 가능해야 합니다. 둘째, 채점에 사람 정답표를 쓰지 않습니다. 셋째, 통과한 자기 풀이만 다음 학습에 남깁니다.
보통의 학습은 사람이 만든 정답 데이터가 있어야 합니다. 질문과 모범답안을 짝지어 모델에게 보여주는 식입니다. 데이터를 모으고 라벨을 다는 일은 느리고 비쌉니다. RSI는 이 순서를 뒤집습니다. 모델 자신이 문제를 풀고, 그 결과를 스스로 검증하고, 맞은 것만 남겨 다시 배웁니다. 사람이 붙이는 정답 라벨이 0이라는 점이 가장 큰 차이입니다.
사람 정답이 없는데 어떻게 맞았는지 아는가?
비결은 검증 가능한 문제만 다룬다는 데 있습니다. 검증 가능한 문제란, 풀이가 맞는지를 정답표 없이도 기계적으로 확인할 수 있는 문제를 말합니다. 몇 가지 익숙한 예가 있습니다.
- 코드: 테스트를 돌려 통과하면 맞은 것입니다.
- 수학: 식을 다시 계산하거나 조건에 대입해 맞는지 봅니다.
- 형식 문제: 출력이 정해진 규칙을 지켰는지 검사합니다.
즉 채점 기준이 문제 안에 들어 있습니다. 모델이 내놓은 답을 다시 돌려보고, 통과한 풀이에는 합격, 실패한 풀이에는 불합격을 매깁니다. 사람이 앉아서 하나하나 맞다 틀리다를 적을 필요가 없습니다. 이 자동 채점이 RSI의 엔진입니다.
왜 맞은 풀이만 남기는 것이 중요한가?
모델이 만든 풀이에는 맞은 것과 틀린 것이 섞여 있습니다. 틀린 풀이를 그대로 다시 배우면 모델은 자기 실수를 정답으로 굳혀 버립니다. 오답을 합리화하는 법을 배우는 셈입니다. 그래서 RSI는 검증을 통과한 풀이만 골라 남깁니다. 걸러진 풀이는 버립니다.
이 선별 덕분에 학습은 한 방향으로만 움직입니다. 확인된 성공 사례가 쌓이고, 모델은 다음 바퀴에서 조금 더 어려운 문제를 풀 수 있게 됩니다. 그 결과를 또 검증해 남기고, 다시 배웁니다. 이 고리가 반복되기 때문에 재귀적이라는 이름이 붙었습니다.
매뉴얼을 고치는 자가개선과는 어떻게 다른가?
자가개선이라는 말은 두 층위에서 쓰입니다. 하나는 모델을 감싼 작업 틀, 즉 평가 하네스나 프롬프트 같은 바깥 장치를 모델이 다듬는 방식입니다. 이는 매뉴얼을 고치는 쪽에 가깝습니다. 다른 하나는 모델의 능력 자체를 끌어올리는 방식입니다. 비드래프트가 말하는 Model-level RSI는 후자, 즉 두뇌를 키우는 쪽입니다. 매뉴얼을 아무리 잘 써도 두뇌가 그대로면 한계가 있다는 관점입니다.
정리
RSI를 한 문장으로 줄이면 이렇습니다. 채점이 자동으로 되는 문제만 골라, 모델이 스스로 풀고, 통과한 풀이만 다시 배우는 순환입니다. 사람 정답에 의존하지 않기 때문에 확장이 빠르고, 틀린 풀이를 걸러내기 때문에 방향이 흐트러지지 않습니다.
FAQ
Q. RSI는 사람이 전혀 개입하지 않나요?
문제의 종류와 검증 방식, 어떤 능력을 키울지는 사람이 설계합니다. 다만 개별 풀이에 정답 라벨을 다는 일은 하지 않습니다.
Q. 어떤 문제든 RSI로 학습할 수 있나요?
아닙니다. 풀이가 맞는지 자동으로 확인할 수 있는 검증 가능한 문제여야 합니다. 정답이 애매하거나 주관적인 문제는 이 방식에 맞지 않습니다.
Q. 틀린 풀이는 어떻게 되나요?
검증을 통과하지 못한 풀이는 학습에서 제외합니다. 이것이 모델이 자기 실수를 굳히지 않게 막는 핵심 장치입니다.
Q. 재귀적이라는 말은 무슨 뜻인가요?
풀고, 검증하고, 남기고, 다시 배우는 과정을 여러 바퀴 반복한다는 뜻입니다. 각 바퀴의 결과가 다음 바퀴의 출발점이 됩니다.
Q. 일반적인 지도학습과 가장 큰 차이는?
지도학습은 사람이 만든 정답표가 필요합니다. RSI는 자동 채점으로 정답표를 대신하므로 사람 라벨이 0입니다.
