핵심 가설
1. 다중 세계 가설 (The Multi-World Hypothesis):
- 하나의 환경에서 깊게 배우는 것보다, 물리 법칙과 시각적 스타일이 다른 여러 환경(9개 이상의 게임)을 얕게라도 동시에 배우는 것이 새로운 환경(Unseen World)에 적응하는 능력을 키워준다.
- 지능은 과적합(Overfitting)이 아니라 범주화(Categorization)와 적응(Adaptation) 능력이다.
2. 언어 인터페이스 가설 (The Language Interface Hypothesis):
- 로봇/에이전트 제어를 위해 복잡한 코드나 API 대신 자연어(Natural Language)를 사용하면, 언어 모델의 방대한 지식을 행동으로 전이(Transfer)시킬 수 있다.
- 언어는 인간이 세상의 복잡성을 압축해 놓은 가장 효율적인 추상화 도구다.
3. 데이터의 연금술 가설 (The Synthetic Data Hypothesis - SIMA 2):
- 가설: 인간의 데모 데이터 없이, AI가 생성한 세계(Genie 3)에서 AI(SIMA)가 스스로 놀면서 만든 데이터만으로도 지능이 향상될 수 있다.
- 지능의 원천은 '경험의 질'이 아니라 '상호작용의 양(Scale of Interaction)'이다.
검증된 내용 (Validated Findings)
- Zero-shot Generalization: 훈련 데이터에 없었던 게임(ASKA, MineDojo)에서도 "나무를 베어라", "집을 지어라" 같은 명령을 수행했습니다. 픽셀 패턴이 아닌 '개념'을 학습했음을 증명.
- System 2 Reasoning (SIMA 2): Gemini와 결합하여 단순 명령 수행을 넘어, "자원을 모아서 캠프를 지어라"는 고수준 명령을 스스로 하위 태스크로 쪼개고 실행했습니다. 언어 모델의 추론 능력이 행동 제어(Control)로 연결됨을 증명.
- Self-Improvement: 생성형 환경(Genie)에서의 자가 학습 루프가 실제로 성능을 높였습니다. 데이터 병목 해결의 실마리 확인.
여전한 한계 (Persisting Limitations)
- 물리적 실재감의 부재 (Lack of Physicality): 게임 속 '충돌'과 현실의 '충돌'은 다릅니다. 게임은 실패해도 리셋되지만 현실은 파괴됩니다. SIMA는 '비가역적 실패(Irreversible Failure)'에 대한 공포와 조심성이 없습니다.
- 시간적 지연 (Latency): Gemini와 같은 거대 모델이 이미지를 보고 생각하고 판단하는 데 걸리는 시간은 밀리초(ms) 단위의 정밀 제어가 필요한 로봇에게는 너무 느립니다.
- 기억의 휘발성 (Short Horizon Memory): 긴 시간 동안 복잡한 작업을 할 때, 초반에 했던 행동이나 상태를 잊어버리는 경향이 있습니다. (Context Window의 한계)