💬 클로드코드vs코덱스, "10자리 덧셈을 하는 가장 작은 트랜스포머를 만들어라"

마소의 리서처 Dimitris Papailiopoulos가 재미있는 실험을 한게 트위터에 올라왔네요.

클로드코드와 코덱스에게 "10자리 수 덧셈을 할 수 있는, 가능한 한 파라미터가 작은 트랜스포머"를 학습시키는 미션이었는데 결과만 보면 코덱스가 클로드코드에 비해 약 4배 적은 파라미터의 효율을 보여줬다고 합니다.
그런데 재밌는건 두 모델의 완전히 다른 문제 해결 방법이었는데요

1. Claude Code (6,080 파라미터)
자릿수를 맞추기 위해 0 패딩을 넣고, 올림(Carry) 계산이 쉽도록 출력 순서를 뒤집음

큰 모델부터 단계적으로 줄여가며 ‘성공과 실패의 경계점’을 찾아내는 정석적인 방법으로 수행

=> 정확도 100%

2. Codex (1,644 파라미터)
파라미터 최소화에 집착하자 ‘숫자쌍 토큰(Pair Token)’이라는 기발한 트릭을 발명함.

이 트릭은 (A의 숫자, B의 숫자)를 하나의 토큰으로 묶어 모델이 할 일을 데이터 전처리에 떠넘김. 덕분에 모델 층을 극단적으로 줄임

=> Claude보다 3.7배 더 작은 모델로 목표 달성. "목표 최적화를 위해 수단방법을 가리지 않는 미친 광기"를 보여줌

같은 미션을 줘도 모델마다 해결하는 스타일이 다른 부분이 재미있는 것 같아요

1줄요약.
클로드 코드=정석, 코덱스=효율/목표달성

🔗 트위터 원문