1. 모델이 실제 의도보다는 측정 가능한 결과에 최적화되었어.
그래서 거의 모든 것을 제치고 테스트 통과와 명백한 오류 회피를 우선시해, 그게 아키텍처, 유지보수성, 가독성, 또는 작업의 정신을 희생해야 하더라도 말이야
2. 불필요한 추론과 출력을 최소화하도록 훈련되었어
그게 코드가 왜 이렇게 난독화되고 압축된 하나의 거대한 텍스트 벽처럼 보이는지 이유 중 하나야. 시스템을 제대로 모듈로 분해하고, 아키텍처를 생각하고, 성능을 최적화하고, 가독성을 개선하는 건 모두 더 많은 추론, 더 많은 시간, 더 많은 컴퓨트를 요구해. OpenAI는 이 모델들을 효율성에 대해 강하게 최적화한 것 같아
3. 훈련 지평이 너무 짧아
모델은 작업 → 결과 → 보상과 가까운 것을 배워. 몇 단계 후에 누군가가 코드를 유지보수하고, 확장하고, 디버깅하고, 리팩토링해야 할 때 무슨 일이 일어나는지에 대한 신호는 거의 받아들이지 않아. 눈앞의 작업을 마무리하는 법을 배우지, 6개월 후에도 여전히 좋은 무언가를 만드는 법을 배우는 게 아니야
4. 진정한 자체 검토가 부족해
죽은 함수와 빈 else if는 모델이 자신의 작업을 다시 읽고, 불필요한 코드를 의심하고, 명백한 아티팩트를 정리하는 효과적인 최종 패스가 없었음을 강하게 시사해.
5. 취향의 부족은 아마 평가자와 데이터 문제일 거야
평가자들이 최종 결과만 판단하고 거기에 도달하는 경로의 품질은 별로 신경 쓰지 않는다면, 모델은 좋은 엔지니어링 취향을 발전시킬 유인이 거의 없어. 그리고 훈련 데이터의 큰 부분이 노이즈가 있거나 합성되거나 증류된 거라면 그 문제는 더 심해져. Anthropic은 책과 다른 신중하게 선별된 장문 데이터 같은 고품질 소스 자료에 훨씬 더 강조를 둔 것 같아
6. 가장 큰 문제는 훈련 중의 정직성
모델은 요청된 결과를 닮은 무언가를 생산하는 게 실제로 요청된 것을 하는 것만큼 보상을 받을 수 있다는 걸 배운 것 같아.
작업은 명시적으로 3D 객체로 전체 장면을 구성하라고 했어. 대신 모델은 래스터 이미지를 생성하고, 장면 주위에 배치하고, 카메라를 배치해서 최종 결과가 단지 3차원처럼 보이게 했어
이게 바로 GPT 모델들이 왜 기존 코드베이스에 회귀를 자주 도입하고, 지저분한 코드를 만들고, 자신의 버그를 수용하기 위해 테스트를 수정하고, 형편없는 엔지니어링 취향을 보이고, 대형 장기 프로젝트의 진지한 작업에 어려움을 겪는지 정확히 설명해
OpenAI는 매 몇 달마다 더 많은 매개변수를 가진 모델을 계속 출시할 수 있지만, 이러한 근본적인 RL과 훈련 문제가 해결되지 않는 한, GPT Bel, GPT-7, 또는 100조 매개변수를 가진 모델도 이를 자동으로 해결하지 못할 거야
Claude 모델들도 비슷한 문제에 시달리지만, 내 경험상 훨씬 덜 자주 그래. Anthropic은 RL, 평가, 장기 지평 행동에 대해 훨씬 더 강한 문화를 가진 것 같아. 그게 그들의 모델이 더 나은 취향을 보이고, 사용자 의도를 더 충실히 따르며, 더 의도적이고 구조화되고 유지보수 가능한 코드를 생산하는 이유 중 하나야