- 오늘 공개된 Astra 모델의 벤치마크 점수 중 아마 사람들의 눈에 가장 띄었던 것은 99.9%를 찍은 ARC-AGI-3 점수일 것
- 그런데 Arc Prize 홈페이지를 가보면 Astra의 이번 점수는 두개로 나뉨
- 'Adapter harness' 모드에서는 99.9%, 'Standard harness' 모드에서는 62.7%인것
- Standard harness는 매 요청이 끝나면 내부추론과정은 버려지고 모델이 선택한 메모만 다음으로 넘기는 구조. 시험을 보는데 한 문제 풀 때마다 연습장을 지우고 요약 한줄만 남기는 것과 같음
- Adapter harness는 요청 사이에 불투명한 추론상태가 유지되고 대화가 길어지면 압축해서 이전 내용을 재사용. 연습장을 안지우고 계속 쓰다가 꽉차면 요약해서 옮기는 방식
- 즉 이전 작업 경험을 계속 기억하고 적용하는 방식에서 더욱 월등한 퍼포먼스가 나왔다는 것
- 이는 모델의 '지속학습'과 연결될 수 있는 중요한 내용
- '지속학습'은 매우 중요한 개념이라 향후 따로 포스팅할 예정