Sterling이란?
- AI 모델 제공업체를 직접 테스트하고 검증하는 추론 서비스
- 검증을 통과한 업체를 통해 AI 추론 요청을 처리
- 이용자가 업체별 성능을 일일이 비교하지 않아도 신뢰할 수 있는 서비스를 제공하는 것이 목표
같은 AI 모델인데 성능은 다르다?
- 동일한 AI 모델이라도 제공업체에 따라 실제 성능에 차이가 발생
- gpt-oss-120b 벤치마크에서 업체별 점수가 36.7%~93.3%로 큰 격차 발생
- 일부 업체는 더 작은 모델을 제공하거나 특정 기능을 제한하는 경우 있음
결국 같은 모델을 사용하더라도 실제로 어떤 성능을 제공받느냐가 중요한데, Mira는 모델 자체의 성능뿐아니라 서비스 제공 과정의 신뢰성에 주목하는중. AI 서비스가 많고 다양해지는만큼 앞으로는 모델 이름보다 실제 성능과 검증 여부가 더 중요해질듯합니다.
#kol