LLM을 단순 답변 도구가 아니라 오래 일하는 loop로 보는 관점 전환
• LLM의 본질은 다음 토큰을 확률적으로 예측하는 확률 기계. 2 + 2는 5 같은 답도 학습 데이터 안의 확률에서 나온 결과라는 설명
• hallucination을 줄이기 위해 Python 같은 도구 사용법을 학습 데이터에 넣는 흐름. 2 + 2를 직접 답하지 않고 Python 호출로 계산하는 방식
• 에이전트의 작동 시간이 5분, 30분 수준에서 더 길어지는 흐름. 오래 일할수록 한 번에 들고 있는 정보량인 context 관리가 핵심 과제로 부상
• compaction은 가득 찬 context에서 덜 중요한 기억을 걷어내는 압축. 다만 네이버랑 비슷하게 같은 목표가 지워지면 결과가 달라질 수 있다는 문제
• prompt engineering에서 context engineering, harness engineering, loop engineering으로 이어지는 흐름. LLM 주변에 도구와 환경을 두르고, 계획과 실행과 반영을 반복하는 구조로 이동
앞으로 중요한 역량은 LLM 자체보다 오래 일하는 에이전트를 통제하고 관리하는 운영 환경 설계
AI의 최신 흐름과 다양한 큐레이션 된 정보를 제공합니다.
Good Vibe AI