이번 Astra 모델이 Recurrent-depth transformer 구조를 채택했다는 카더라가 있는데,
이로 인해서 기존 추론을 무조건 output token으로만 하던 것을 내부 transformer 를 루프 돌면서 latent space 상에서 추론을 하는 방식으로 바뀐 것 같습니다.
그래서 같은 output token 이더라도 이미 내부에서 충분한 추론이 이미 이뤄진 상태라고 봐도 되겠네요.
gpt-5.6-sol 보다 가격이 두배가 넘지만 애초에 compute 자원을 훨씬 더 많이 먹기 때문에 납득이 됩니다. 애초에 output token을 이용해서 추론하는 영역이 많이 줄어서 thinking effort 도 많이 내려서 사용해도 될 것 같네요.
OpenAI System Card에 꽤 강한 내용이 나옵니다.
Astra는 reasoning=None, 즉 CoT를 사용하지 못하게 했을 때도 이전 모델보다 훨씬 복잡한 작업을 수행하며, OpenAI는 외부 평가를 인용해 “no-CoT time horizon이 약 한 자릿수(order of magnitude) 증가했을 수 있다”고 설명합니다.
앞으로는 어려운 문제더라도 effort 를 최대 high정도만 해도 충분하게 파워가 나오지 않을까 싶네요