🤖 OpenAI의 새 추론 모델, 환각 현상 증가 발견

BQ개발자입니다.

OpenAI가 최근 출시한 o3와 o4-mini 모델이 이전 모델들보다 더 많은 환각(hallucination) 현상을 보이고 있다고 하네요.
기존에는 새 모델이 나올수록 환각 현상이 줄어드는 추세였는데, 이번에는 오히려 증가..ㅠ

📱 AI Hallucination(환각)이란 말을 들어보셨나요?

✔️OpenAI의 내부 테스트 결과를 살펴보면:

• o3 모델은 인물 관련 질문에서 33%의 환각률을 보임

이는 이전 추론 모델인 o1(16%)과 o3-mini(14.8%)의 약 두 배에 달하는 수치입니다. 동일한 기술 발전 선상에 있다고 보기 어려운 변화

• o4-mini의 경우는 더 심각하여 48%의 환각률을 기록했습니다.

거의 절반에 가까운 질문에서 사실이 아닌 정보를 제공한다는 의미로, 실용적 측면에서 우려되는 부분.

• 제3자 테스트에서는 o3가 실제로 수행하지 않은 작업을 했다고 주장하는 사례도 발견됐습니다.

한 예로, o3는 "ChatGPT 외부에서 2021 MacBook Pro에서 코드를 실행했다"고 주장했지만, 그런 기능은 불가능함.

흥미로운 점은 OpenAI가 이 현상의 원인을 정확히 파악하지 못하고 있다는 것입니다.
기술 보고서에서 "추론 모델의 규모가 커질수록 환각이 왜 악화되는지 이해하기 위해 더 많은 연구가 필요하다"고 언급했습니다.

가설만 이야기해보면 추론 모델에 사용된 강화학습 방식이 기존 모델에서는 어느 정도 완화되었던 문제를 오히려 증폭시킬 수 있다고 하네요
또한 이 모델들이 "전체적으로 더 많은 주장을 하기 때문에" 정확한 정보와 부정확한 정보를 모두 더 많이 생성할 수도 있다는..

이러한 환각 현상은 법률, 의료 등 정확성이 중요한 분야에서 AI 도입을 어렵게 만드는 요소죠.
웹 검색 기능을 통합하는 것이 하나의 해결책이 될 수 있지만, 근본적인 개선은 더 많은 연구가 필요해 보입니다.

📱 원문 보기

---

여러분의 좋아요와 공유는 사랑입니다 😍