🧠 Ralph Loop — 컨텍스트는 채우는 게 아니라 비우는 것이다

안녕하세요, BQ개발자입니다.

LLM 에이전트를 장기 프로젝트에 투입해본 팀이라면 이런 증상을 경험해보셨을 것 같아요.
처음엔 잘 돌아가던 에이전트가 몇 시간 후 "초기에 그러지 말라고 한 방향"으로 흘러가고 있는 것을요.
코드를 고친 게 아닌데, 에이전트가 다른 에이전트가 된 것처럼 행동합니다.

이게 왜 일어나는지, 그리고 Ralph Loop(반복 루프 설계 패턴)가 이것을 어떻게 해결하는지 정리해봤습니다.

1️⃣ 왜 히스토리를 길게 유지하면 실패하는가

LLM은 입력 전체에 attention(주의)을 분산해서 다음 토큰을 예측합니다. 세션이 시작할 때는 컨텍스트(context window)에 핵심 지시사항만 있으니 모델이 그것에 집중합니다. 그런데 대화 히스토리, 중간 실행 결과, 검색 내용이 쌓이면 상황이 달라집니다.

컨텍스트가 수만 토큰 수준으로 커지면, 세션 초반의 지시사항은 뒤에 쌓인 수천 토큰과 동등한 가중치를 경쟁해야 합니다. 결과적으로 초기 지시사항이 받는 상대적 주의가 줄어들고, 에이전트는 점점 "최근에 많이 보인 내용" 쪽으로 쏠리게 됩니다. 모델이 잊는 게 아니라, 구조적으로 주의를 균등하게 분산할 수밖에 없기 때문에 일어나는 일이에요.

"context window를 더 크게 만들면 해결되는 거 아닌가"라는 생각이 드실 수 있는데요. 창이 커질수록 더 많은 히스토리가 쌓이고, 초기 지시사항의 비중이 희석되는 구조는 동일합니다. 근본 해결책이 아니에요.

2️⃣ Ralph Loop: 반직관적 해법

Ralph Loop는 이 문제를 다른 방향에서 접근합니다. 컨텍스트를 연장하는 대신, 의도적으로 리셋합니다. 에이전트를 매 작업 단위마다 새 세션으로 실행하는 겁니다.

새 세션으로 시작하면 컨텍스트에 히스토리가 없습니다. 초기 지시사항이 항상 앞에 있고, 주의가 분산될 축적된 노이즈도 없습니다. 에이전트는 항상 깨끗한 컨텍스트로 작업을 받습니다.

여기서 당연한 반론이 생깁니다. 새 세션은 이전 작업을 전혀 모르는데, 이건 그냥 기억을 지우는 게 아닌가요?

그렇지 않은 이유가 Ralph Loop의 핵심입니다.

3️⃣ AGENTS.md: 에피소드 기억을 의미 기억으로 변환

각 세션이 끝날 때는 두 가지가 일어납니다.

첫째, 변경한 코드를 git commit합니다. 다음 세션이 git log와 git diff를 읽으면 "이전에 무슨 작업이 있었는지"를 파악할 수 있습니다. 수천 줄의 대화 히스토리를 읽는 게 아니라, 이미 정리된 변경 내역을 읽는 거예요.

둘째, AGENTS.md에 메타레벨 판단을 기록합니다. 중요한 건 대화 내용을 그대로 옮기는 게 아니라는 점입니다. "이 방향을 시도했더니 이런 이유로 실패했다, 다음 세션은 이것부터 확인해라"처럼, 소화된 판단을 남깁니다.

대화 히스토리는 에피소드 기억입니다. "그때 그 일이 있었다"는 raw 기록이에요. AGENTS.md에 쌓이는 건 의미 기억입니다. 경험에서 추출된 원칙과 판단이에요.

새 세션은 수천 줄의 대화 히스토리 대신 AGENTS.md를 읽습니다. 이전 세션들이 이미 소화한 교훈을 읽는 겁니다. 컨텍스트를 리셋하는 것이 정보를 버리는 게 아니라, 소화된 지식을 외부로 내보내고 나서 비우는 것이기 때문에 가능한 설계예요.

✏️ 개인적으로 흥미로운 지점

"컨텍스트를 길게 유지하는 게 더 많이 안다는 의미"라는 직관이 왜 틀린지, 구조적으로 설명이 되는 게 흥미롭지 않나유!
오히려 깨끗하게 비우면서 소화된 지식을 외부에 저장하는 것이 더 잘 작동하는 구조인 느낌 ㄷㄷ

물론 이 설계가 만능은 아닙니다. 작업 단위를 어떻게 나눌지, AGENTS.md에 무엇을 기록할지 설계해야 하고 — 이 설계가 잘못되면 다른 문제가 생겨요. (이 부분은 뒤에 또 정리해볼게요)

다음 편에서는 이 루프에 얼마나 많은 토큰을 투입할 것인가, 즉 토큰 예산이 어떻게 연구 자본이 되는지 다뤄보겠습니다.

---

여러분의 좋아요와 공유는 사랑입니다 😍