- 이 연구는 LLM이 “아마도”, “확실하진 않지만” 같은 말을 사용해 자신의 확신 정도를 인간처럼 표현할 수 있는지 살펴봤습니다.
- 연구팀은 사람이 직접 주석을 단 언어적 불확실성 데이터셋을 만들고, “아마도”, “확실치 않다” 같은 표현을 숫자 신뢰 점수로 바꾸는 가벼운 매퍼를 개발했으며, 이를 이용해 모델을 미세 조정해 언어적 확신 표현 능력을 높였습니다.
- SPELL은 LLM이 스스로 질문하고, 대답하고, 검증하면서 배우는 자가 학습 구조를 제안합니다.
- 핵심은 세 가지입니다. Verifier가 스스로 일관성을 체크해 안정적인 보상을 줍니다. 커리큘럼 학습으로 점점 더 어려운 문제를 풀게 합니다. 역할별 샘플링으로 훈련 과정이 흔들리지 않도록 조정합니다.
- 결과적으로 SPELL은 여러 모델과 테스트에서 일관되게 성능을 끌어올렸습니다.
- 보통 AI의 메모리는 단순히 기록만 저장하지만, ReasoningBank는 거기서 한 발 더 나아가 경험에서 전략을 배워내는 기억 시스템입니다.
- 실험 결과, 이 시스템은 효율성과 성능을 모두 개선하고, 실패로부터 학습하며, 시간이 지날수록 점점 더 복잡한 추론 전략을 스스로 발전시켰습니다.
f(x)와 g(x)에서 f(g(x))로: RL을 통해 LLM이 기존 기술을 조합해 새 기술을 배우는 방법
- 이 논문은 LLM이 RL을 통해 이미 알고 있는 기술을 조합하거나 확장해 새로운 문제를 해결하는 능력을 배운다는 걸 보여줍니다.
- 연구진은 오염되지 않은 실험 환경을 만들어
기초 기술과 조합 기술의 차이를 분석했습니다.
- 결과적으로, RL이 새로운 조합 능력을 만들어내고, RL과 조합적 보상 시스템이 모두 필요하며, 학습된 능력이 다른 상황에도 잘 일반화된다는 사실을 발견했습니다.
LLM 에이전트는 왜 실패하고, 어떻게 배울 수 있을까?
- 이 논문은 LLM 에이전트의 실패 원인을 체계적으로 분석하고 교정하는 방법을 제시합니다.
- 연구팀은 에이전트 오류를 분류하는 체계와 성능을 측정하는 AgentError Bench를 만들고, AgentDebug라는 도구를 통해
에이전트의 행동 경로를 분석하고 실패 원인을 자동으로 찾아 피드백을 제공합니다.
- 이 방식으로 웹 상호작용이나 의사결정 같은 영역에서 최대 26%의 성능 향상을 달성했습니다.
요약하자면, 이번 주는 LLM이 얼마나 인간처럼 사고하고 배우며, 스스로 성장할 수 있는가에 초점이 맞춰져 있습니다.
✖️ Ritual Digest 바로가기