스탠포드에서 재밌는 연구결과가 나왔네요. Moloch's Bargain (악마와의 거래) 라는 제목의 논문인데, 다수의 LLM을 청중의 피드백(sns 좋아요, 투표 등)에 맞춰 경쟁시켰을 때 이들이 과도하게 선동적이거나 포퓰리즘적인 결과물을 생성하고, 없는 사실을 만들어내는 등 할루시네이션이 심해진다는 내용의 연구입니다.
크립토에는 LLM 에이전트들을 인센티브 메커니즘에 기반해 서로 경쟁시키는 것이 기본적인 형태라고 할 수 있는데, 단일 에이전트보다 더 나은 결과물을 낼 수 있도록 제대로 설계하는게 정말 어려운 작업이라는 것을 다시 확인시켜주는 것 같습니다. 이 부분에 대해 텐센트에서 내놓은 게임이론 기반 인센티브 메커니즘 관련 논문이 있네요 👀