🤔같은 AI 모델인데, 성능이 2배 차이 난다? #sponsored source

1. 2025년 8월, OpenAI의 gpt-oss-120b 모델을 대상으로 진행한 수학 벤치마크에서 흥미로운 결과가 나왔음. 똑같은 모델인데 어떤 업체를 통해 이용하느냐에 따라 정답률이 36.7%에서 93.3%까지 차이가 났던 것. 즉, 같은 모델이라고 같은 성능이 보장되는 건 아님

2. AI 모델은 이를 구동하는 제공업체의 환경에 따라 성능이 달라짐. 일부는 비용을 줄이기 위해 모델을 압축하거나, 설정을 제대로 반영하지 못하기도 함. 심지어 외부 도구를 호출하는 기능이 정상 작동하지 않는 경우도 있는데, 이용자 입장에서는 같은 모델 이름으로 제공되니 알기 쉽지 않음

3. 미라 네트워크가 출시한 Sterling은 이를 해결하기 위한 AI 추론 서비스임. 모델을 제공하는 업체들을 직접 테스트하고, 검증을 통과한 업체에 요청을 연결함. 답변 정확도 검증을 넘어, 실제 해당 모델이 맞는지, 도구 호출이 제대로 되는지, 컨텍스트 길이를 지키는지, 숨은 오류는 없는지 등도 검사함

4. 이용 방식은 기존 API 키와 접속 주소를 변경하는 방식으로 설계됨. 출시 혜택으로 Claude, GPT, Gemini 모델을 ~50% 저렴하게 제공하며, USDC(x402)와 $MIRA 결제도 지원함. 모델 성능 경쟁이 치열해지는 만큼, 그 성능을 제대로 제공하고 있는지 검증하는 서비스에도 수요가 생긴다는 점에서 흥미로움