프론티어 모델이 새로 출시 될 때 마다 유튜버들의 콘텐츠 거리로 업로드 되곤 하는데, 보셨던 분도 계셨을 것 같아요.
말 그대로 AI모델들의 스타크래프트 플레이 성능을 통한 벤치이며 테스트된 모든 모델은 초보자 수준을 넘어서지 못했다고 합니다.
각 모델별로 플레이 성향(?)도 두드러졌는데, 코덱스는 정석보단 날빌,꼼수류. 클로드는 정석파. 그록은 그냥 플레이중에 멈춰버렸다고 하네요.
모델과 추론 설정의 모든 조합으로 라운드 로빈형태로 대전시켰다고 합니다. 자세한 내용은 원문 리포트를 참고해보세요
🥹 리더보드
1. Astra (xhigh) 18승 0패
2. Astra (medium) 16승 2패
3. Fable 15승 3패
4. Astra (low) 14승 4패
5. Sol (medium) 13승 5패
...
https://bw.swerdlow.dev/report