안녕하세요, BQ개발자입니다.
지난 편에서 캐시로 비용은 관리했다고 했는데요, 이제 더 근본적인 문제가 남습니다.
📱 LLM 어플리케이션 4-2편: 캐시 - 똑똑함의 함정
"어제 우리가 얘기한 거 기억 안 나?"
🤔 똑똑한 AI가 기억 못 하는 황당한 상황
실제 사용자들이 가장 당황하는 순간입니다.
사용자: "어제 말한 그 프로젝트 일정 어떻게 됐지?"
AI: "죄송합니다. 어떤 프로젝트를 말씀하시는지 모르겠습니다."
사용자: "아까 추천해준 맛집 중에서 2번째 거 주소 알려줘"
AI: "어떤 맛집을 말씀하시는 건지 구체적으로 알려주세요."
GPT-4처럼 똑똑한 AI가 왜 이렇게 건망증에 걸린 것처럼 다 잊어버릴까요?
⚡ LLM은 본질적으로 상태가 없다
핵심은 LLM의 근본적 아키텍처에 있습니다.
LLM은 상태가 없는(stateless) 시스템입니다. 매번 완전히 백지상태에서 시작해요. 이전 대화가 있었다는 사실 자체를 모릅니다.
인간은 뇌에 기억이 축적되지만, LLM은 각 요청을 완전히 독립적으로 처리합니다. 마치 매번 처음 만나는 사람처럼 대화하는 거죠.
이건 버그가 아닙니다. 의도된 설계예요.
🧠 왜 이렇게 설계했을까?
1. 자원의 물리적 한계
상태를 유지하려면 모든 사용자의 모든 대화를 메모리에 계속 보관해야 합니다. 전 세계 수백만 명이 동시에 사용하는 상황에서 이는 불가능해요.
2. 동시 처리의 복잡성
상태가 있으면 한 사용자의 요청을 처리하는 동안 다른 요청을 처리하기 어려워집니다. 각 사용자별로 별도의 상태를 관리해야 하거든요.
3. 확장성의 한계
상태 없는 시스템은 수평 확장이 쉽습니다. 어떤 서버에서든 요청을 처리할 수 있거든요. 하지만 상태가 있으면 특정 서버에 묶이게 됩니다.
🎯 컨텍스트 윈도우라는 임시방편
"그럼 이전 대화를 계속 포함시키면 되잖아?"라고 생각할 수 있습니다.
실제로 ChatGPT 같은 서비스가 이 방법을 씁니다. 새로운 질문할 때마다 이전 대화 히스토리를 모두 포함시키는 거죠.
하지만 컨텍스트 윈도우의 물리적 한계에 부딪힙니다.
- GPT-4.1: 1M 토큰 (소설 1권 분량)
- Claude: 200K 토큰 (보고서 50페이지 분량)
- Gemini: 1M 토큰 (소설 1권 분량)
언뜻 많아 보이지만, 실제 대화는 금세 이 한계를 넘어버려요. 긴 대화를 나누거나, 문서를 포함한 대화를 하다 보면 토큰이 빠르게 소진됩니다.
더 심각한 건 비용입니다. 대화가 길어질수록 매번 포함시켜야 하는 토큰이 기하급수적으로 증가해요.
1번째 질문: "안녕"
2번째 질문: "안녕" + "오늘 뭐해?"
3번째 질문: "안녕" + "오늘 뭐해?" + "날씨는?"
10번 대화하면 수백 단어, 100번 대화하면 수만 단어를 매번 다시 읽어야 합니다. 비용 폭탄이죠! 💸
🚀 건망증을 받아들이는 지혜
결국 LLM의 건망증은 근본적 한계입니다. 이를 완전히 해결하는 건 불가능해요.
중요한 건 이 한계를 인정하고 설계에 반영하는 것입니다.
사용자에게 매번 컨텍스트를 제공하도록 유도하거나, 중요한 정보는 별도로 저장해서 필요할 때 제공하는 방식으로 우회해야 하죠.
💡 팁: 사용자가 "이전에 말한"을 언급하면서 구체적으로 다시 설명해달라고 요청하세요.
하지만 여기서 새로운 질문이 생깁니다. "그럼 AI는 어떻게 기억을 관리해야 할까?"
다음 편의 제목은 "AI의 기억은 검색 가능한 구조화된 정보다"입니다 ㅎㅎ 기대해주세요!
---
여러분의 좋아요와 공유는 사랑입니다 🥰