Critique-RL: Two-Stage Reinforcement Learning을 통한 비평 능력 LLM 학습
- 이 논문은 강한 감독이나 오라클 보상 함수 없이도 비평 능력을 갖춘 LLM을 학습하는 것을 목표로 함
- 연구진은 Critique-RL이라는 2단계 RL 접근법을 제안하며, 이는 actor-critic 상호작용 기반의 온라인 강화학습 방식
- 실험 결과, 특히 Qwen 2.5 7B 모델 환경에서 기존 베이스라인 대비 더 나은 성능을 보여줌
PACR: 점진적 Confidence 보상을 활용한 LLM Reasoning 강화
- 이 연구는 모델 스스로 단계별 힌트를 생성할 수 있는가? 라는 질문에서 출발
- PACR은 모델 내부 confidence 상승을 측정하여 이를 단계별 감독 신호로 변환하는 기법
- 연구 결과, 일관된 confidence 상승은 정답 도출 가능성과 강하게 연관되어 있음이 확인됨
- PACR을 기존 RLVR 방식과 결합할 경우, 학습 안정성과 최종 성능 모두 개선됨
The End of Manual Decoding: 진정한 End-to-End 언어 모델을 향하여
- 이 논문은 모델이 스스로 decoding 전략을 조절하는 새로운 구조인 AutoDeco를 제안
- Transformer에 추가된 AutoDeco heads는 현재 hidden state를 기반으로, 다음 토큰 생성 시 필요한 sampling 파라미터를 실시간으로 예측
- 공개된 AutoDeco heads는 다음 모델들에 적용됨 : Deepseek-V3.1-Terminus, Qwen3-235B-A22B-Thinking-2507, GPT-OSS-120
Looped Language Models의 Scaling: Latent Reasoning 확장
- 이 연구는 LoopLM 모델의 스케일링 특성을 다룸
- 연구진은 효율적인 순환 계산을 유지하면서도 성능을 유지할 수 있는 새로운 학습 목표를 제시
- 두 모델(1.4B / 2.6B)을 7.7T 토큰으로 학습한 결과 : 일반 Transformer 4B / 8B 모델과 동급 이상의 성능, 파라미터 효율성 2-3배 개선. 또한 왜 looped transformer가 더 나은지에 대한 분석도 수행.
Tool Decathlon: 실제적이고 복합적인 작업을 수행하는 언어 에이전트 벤치마크
- 이 논문에서는 TOOLATHLON이라는 새로운 언어 에이전트 벤치마크를 제안
- TOOLATHLON의 특징: 실제 다중 앱 환경 기반의 시나리오, 과제 수행에는 CS 전공 대학원생 기준 평균 4~6시간 소요
- 모델 성능 관찰 결과 : Sonnet 4.5, GPT-5, Grok4는 비교적 높은 성능. 하지만 Pass@3 vs Pass^3 간 차이가 큼 → 잠재 능력은 있으나 일관성이 부족