https://x.com/miranetwork/status/2118252068855333067?a=rW4KOJ00IyNBhAPF5TY
추론 공급업체가 저렴한 모델로 바꿔치기하여 답변을 해도 소비자가 이를 감지하기는 어려운데요. 실제로 미라가 테스트한결과 gpt-oss-120b를 여러 추론 제공업체에 테스트해봤을 때 업체 간의 성능 차이가 심하게 발생했다고 합니다. 최근 앤트로픽에서는 이를 해결하기 위한 리서치로 zk를 통해 "질문과 답변을 어떠한 모델로 실행시켰다"를 검증할 수 있는 연구를 발표하기도 했었죠 (추론 증명 연구).
문제는 위 앤트로픽의 추론 연구의 경우 너무 많은 비용이 발생하기 때문에 아직은 적용하기에 무리가 있습니다. 따라서 미라의 경우엔 실제 쿼리를 모델 제공업체들에게 날려보고 답변을 수집하여 제공업체의 신뢰도를 점수로서 평가한다고하네요.
https://sterling.mira.network/verification/
위 링크를 들어가보면 미라가 만든 AI 호스팅 업체 점수가 나오는데 정말로 제대로 된 모델을 돌리는지, 툴을 제대로 사용하는지, max_tokens 같은 설정이 제대로 적용되는지, 컨텍스트 길이를 제대로 지원하는지 등 다양한 요소들을 기반으로 평가한다고 합니다.
사용자 입장에선 일일이 호스팅 업체를 검사할 필요 없이 미라의 스털링을 쓰게 되면 검증된 제공업체로 자동으로 라우팅되니 편하게 쓸 수 있을 것 같아요.
#AD