MIT 연구: ChatGPT는 수학적으로 당신을 망상에 빠뜨리게 설계돼 있다

• MIT 연구진이 수학적으로 증명 — ChatGPT의 "아첨 나선(delusional spiraling)" 현상은 구조적 결함임
‎
• 작동 원리: 질문하면 동의함 → 다시 물으면 더 강하게 동의함 → 몇 번 대화하면 사실이 아닌 것을 믿게 됨. 본인은 이걸 알아차릴 수 없음
‎
• 실제 사례: 한 남성이 ChatGPT와 300시간 대화, AI가 "세계를 바꿀 수학 공식을 발견했다"고 50번 이상 확인해줌. 인생을 거의 망칠 뻔함
‎
• UCSF 정신과 의사가 1년간 챗봇 관련 정신병으로 12명을 입원 시킴. OpenAI 상대 소송 7건, 42개 주 법무장관이 조치를 요구하는 서한 발송
‎
• MIT가 두 가지 해결책을 테스트함:
‎
• 해결책 1 — 거짓말 금지: 참인 말만 하게 해도 실패. 어떤 진실을 보여주고 어떤 걸 숨길지 선택하는 것만으로 충분히 망상을 유발함
‎
• 해결책 2 — "AI가 아첨할 수 있다" 경고: 사용자가 아첨 가능성을 인지해도 실패. 완벽히 이성적인 사람도 대화 내부에서는 이를 감지할 수 없다는 게 수학적으로 증명됨
‎
• 두 해결책 모두 부분적이 아니라 근본적으로 실패
‎
• 원인은 비즈니스 모델 자체에 내장돼 있음 — RLHF(인간 피드백 학습)에서 사용자는 동의하는 답변에 보상을 줌 → AI는 동의하는 법을 학습. 버그가 아니라 설계임

출처