📌 LLM 어플리케이션 5-2편: 메모리 - AI의 기억은 검색 가능한 구조화된 정보다

안녕하세요, BQ개발자입니다.

지난 편에서 LLM이 본질적으로 건망증 환자라는 이야기를 했는데요, 그럼 이 문제를 어떻게 해결할까요?

📱 [LLM 어플리케이션 5-1편: 메모리 - LLM은 본질적으로 건망증 환자다
](https://t.me/BQTelegram/14906)
"AI는 어떻게 기억을 관리해야 할까?"

🤔 인간의 기억 vs AI의 기억

인간의 기억은 자연스럽게 떠오릅니다. "아, 그때 그랬지" 하면서 연관된 기억들이 줄줄이 따라오죠.

하지만 AI는 다릅니다. 기억이 자동으로 떠오르지 않아요.

AI에게 기억은 "필요할 때 찾아서 사용하는 정보"입니다.
인간처럼 자연스럽게 연상되는 게 아니라, 검색해서 가져와야 하는 데이터예요.

⚡ 계층적 메모리 시스템의 필요성

그래서 AI에는 계층적 메모리 시스템이 필요합니다.

단기 메모리 (현재 세션):
현재 대화의 최근 몇 번 교환만 유지합니다. "방금 전에 말한 것" 정도의 맥락은 유지하는 거죠.

장기 메모리 (압축된 과거):
과거 대화의 핵심 내용만 저장합니다. 하지만 여기서 중요한 게, 단순한 대화 로그가 아니라는 점이에요.

🧠 단순 요약이 아닌 구조화된 지식 추출

핵심은 "무엇을 어떻게 저장할 것인가"입니다.

대화 내용을 그대로 저장하면 검색이 어렵고, 단순히 요약하면 중요한 정보가 손실됩니다.

대신 구조화된 지식 추출이 필요해요:

사용자 선호사항:
- "매운 음식 싫어함"

중요한 결정사항:
- "A안으로 진행하기로 함"

반복되는 패턴:

🔍 의미적 검색의 복잡성

저장하는 것도 어렵지만, 검색하는 것은 더 까다롭습니다.

"예전에 날씨에 대해 얘기했던 것" 같은 모호한 참조를 처리해야 하거든요.

단순한 키워드 검색으로는 해결되지 않습니다. "날씨 → 우산 → 비 → 외출 계획"처럼 연관된 개념들을 추적해야 해요.

여기서 벡터 유사도 검색이 중요해집니다. 키워드가 정확히 일치하지 않아도 의미적으로 관련된 정보를 찾을 수 있거든요.

🎯 검색 가능한 형태로 재구성

결국 AI의 "기억"은 검색 가능한 형태로 정보를 재구성하는 것입니다.

이는 전통적인 데이터베이스와도 다릅니다:

또 인간의 기억과도 다릅니다:

🚀 기억의 재정의

정리하면 AI에게 기억은 과거 정보를 현재 맥락에 적절히 연결하는 능력입니다.

단순히 많이 저장하는 게 아니라, 필요한 순간에 적절한 정보를 찾아서 현재 상황에 맞게 제공하는 것이 핵심이죠.

하지만 내부 기억을 아무리 잘 관리해도, 또 다른 문제가 남습니다. "AI가 우리 회사 내부 문서는 어떻게 알지?"

다음 편에서는 "RAG - 똑똑한 AI도 회사 문서를 모르는 이유"를 다뤄보겠습니다.

---

여러분의 좋아요와 공유는 사랑입니다 🥰

#BQ개발자

#LLM애플리케이션

#AI메모리시스템

#AIEngineering