📌 LLM 어플리케이션 5-1편: 메모리 - LLM은 본질적으로 건망증 환자다

안녕하세요, BQ개발자입니다.

지난 편에서 캐시로 비용은 관리했다고 했는데요, 이제 더 근본적인 문제가 남습니다.

📱 LLM 어플리케이션 4-2편: 캐시 - 똑똑함의 함정

"어제 우리가 얘기한 거 기억 안 나?"

🤔 똑똑한 AI가 기억 못 하는 황당한 상황

실제 사용자들이 가장 당황하는 순간입니다.

사용자: "어제 말한 그 프로젝트 일정 어떻게 됐지?"
AI: "죄송합니다. 어떤 프로젝트를 말씀하시는지 모르겠습니다."

사용자: "아까 추천해준 맛집 중에서 2번째 거 주소 알려줘"
AI: "어떤 맛집을 말씀하시는 건지 구체적으로 알려주세요."

GPT-4처럼 똑똑한 AI가 왜 이렇게 건망증에 걸린 것처럼 다 잊어버릴까요?

⚡ LLM은 본질적으로 상태가 없다

핵심은 LLM의 근본적 아키텍처에 있습니다.

LLM은 상태가 없는(stateless) 시스템입니다. 매번 완전히 백지상태에서 시작해요. 이전 대화가 있었다는 사실 자체를 모릅니다.

인간은 뇌에 기억이 축적되지만, LLM은 각 요청을 완전히 독립적으로 처리합니다. 마치 매번 처음 만나는 사람처럼 대화하는 거죠.

이건 버그가 아닙니다. 의도된 설계예요.

🧠 왜 이렇게 설계했을까?

1. 자원의 물리적 한계
상태를 유지하려면 모든 사용자의 모든 대화를 메모리에 계속 보관해야 합니다. 전 세계 수백만 명이 동시에 사용하는 상황에서 이는 불가능해요.

2. 동시 처리의 복잡성
상태가 있으면 한 사용자의 요청을 처리하는 동안 다른 요청을 처리하기 어려워집니다. 각 사용자별로 별도의 상태를 관리해야 하거든요.

3. 확장성의 한계
상태 없는 시스템은 수평 확장이 쉽습니다. 어떤 서버에서든 요청을 처리할 수 있거든요. 하지만 상태가 있으면 특정 서버에 묶이게 됩니다.

🎯 컨텍스트 윈도우라는 임시방편

"그럼 이전 대화를 계속 포함시키면 되잖아?"라고 생각할 수 있습니다.

실제로 ChatGPT 같은 서비스가 이 방법을 씁니다. 새로운 질문할 때마다 이전 대화 히스토리를 모두 포함시키는 거죠.

하지만 컨텍스트 윈도우의 물리적 한계에 부딪힙니다.

언뜻 많아 보이지만, 실제 대화는 금세 이 한계를 넘어버려요. 긴 대화를 나누거나, 문서를 포함한 대화를 하다 보면 토큰이 빠르게 소진됩니다.

더 심각한 건 비용입니다. 대화가 길어질수록 매번 포함시켜야 하는 토큰이 기하급수적으로 증가해요.

1번째 질문: "안녕"
2번째 질문: "안녕" + "오늘 뭐해?"
3번째 질문: "안녕" + "오늘 뭐해?" + "날씨는?"

10번 대화하면 수백 단어, 100번 대화하면 수만 단어를 매번 다시 읽어야 합니다. 비용 폭탄이죠! 💸

🚀 건망증을 받아들이는 지혜

결국 LLM의 건망증은 근본적 한계입니다. 이를 완전히 해결하는 건 불가능해요.

중요한 건 이 한계를 인정하고 설계에 반영하는 것입니다.
사용자에게 매번 컨텍스트를 제공하도록 유도하거나, 중요한 정보는 별도로 저장해서 필요할 때 제공하는 방식으로 우회해야 하죠.

💡 팁: 사용자가 "이전에 말한"을 언급하면서 구체적으로 다시 설명해달라고 요청하세요.

하지만 여기서 새로운 질문이 생깁니다. "그럼 AI는 어떻게 기억을 관리해야 할까?"

다음 편의 제목은 "AI의 기억은 검색 가능한 구조화된 정보다"입니다 ㅎㅎ 기대해주세요!

---

여러분의 좋아요와 공유는 사랑입니다 🥰

#BQ개발자

#LLM애플리케이션

#AI메모리

#AIEngineering