형태는 과업을 따른다 (Form Follows Function).
실패: 우리는 '인간의 일'을 하는 로봇이 필요했지만, '인간의 형태'를 가진 휴머노이드를 만드는 데 집착했습니다. 그 결과, 아직 풀지도 못한 '균형 잡기' 문제에 막대한 비용을 쏟아붓고, '바퀴'보다 본질적으로 비효율적인 이동 방식을 고집하는 함정에 빠졌습니다.
학습에는 유의미한 정보가 필요하다.
실패: 우리는 로봇이 '스스로 배우길' 바랐지만(강화학습), 학습 초기에 로봇은 성공 경험이 전무하여 아무런 정보도 얻지 못했습니다. 이는 막대한 비용을 들여 '실패했다'는 당연한 사실만 확인하는, 극심한 정보 비효율성을 낳았습니다.
훈련은 실전과 같아야 한다.
실패: 우리는 '값비싼 현실'을 대체하기 위해 시뮬레이션이나 인간 비디오 같은 '값싼 가상' 데이터에 의존했습니다. 그러나 '가상'과 '현실' 사이의 미세한 차이는 모델이 똑똑해질수록 오히려 더 큰 오류를 낳는 '교집합의 함정'으로 작용했고, 모델의 잠재력을 억제하는 결과를 낳았습니다.
"어떻게 움직일까?"에서 "무엇을 이해할까?"로
이러한 실패는 문제의 본질이 '행동'이 아닌 '이해(표현)'에 있음을 깨닫게 했습니다. 로봇은 세상을 이해하는 새로운 언어를 배워야 했습니다.
- 1단계 (개념 이해): 우리는 '플라톤의 동굴' 비유처럼, 세상 자체를 처음부터 가르치는 대신, 세상을 이미 이해한 인간의 '뇌(VLM)'를 로봇에 이식했습니다(VLA). 이를 통해 로봇은 '컵', '문'과 같은 '개념'을 학습했습니다.
- 2단계 (기하학 이해): 인간의 손과 로봇의 그리퍼라는 형태 차이를 극복하기 위해, 모든 움직임을 '3D 점들의 궤적'이라는 보편 언어로 번역했습니다(EgoZero). 이를 통해 로봇은 '기하학'을 학습했습니다.
- 3단계 (물리 이해): "달걀을 깨뜨리지 않고 집는 법"을 가르치기 위해, 눈에 보이지 않는 '힘' 자체를 예측하고 제어하는 법을 가르쳤습니다(Feel the Force). 이를 통해 로봇은 '물리'를 학습했습니다.
현재의 최전선: '데이터 선순환'을 향한 두 가지 거대한 베팅
'개념, 기하학, 물리'라는 새로운 언어를 갖춘 지금, 로봇 산업은 '닭과 달걀' 문제를 풀기 위한 현실적인 데이터 전략을 실행하고 있습니다. 이는 크게 두 가지 상반된 철학으로 나뉩니다.
베팅 1: 점진적 진화 (AI 우선주의)
철학: "가장 중요한 문제는 AI다." 아직 미해결된 하드웨어 문제(예: 두 발 보행)는 바퀴 등으로 우회하고, 모든 자원을 최고의 '뇌(AI)'를 만드는 데 집중합니다.
전략: 기성품 로봇에 AI를 탑재하여 빠르게 시장에 진입하고, 현실 데이터를 통해 AI를 빠르게 개선하는 '소프트웨어 중심'의 길입니다.
베팅 2: 궁극적 도약 (하드웨어 우선주의)
철학: "최종 형태가 모든 것을 결정한다." 인간 환경과의 완벽한 상호작용을 위해, 처음부터 완벽한 인간 형태의 '몸(하드웨어)'을 만드는 데 집중합니다.
전략: 막대한 자본으로 자체 하드웨어를 완성한 뒤, 여기에 맞는 방대한 데이터를 투입하여 단숨에 시장을 지배하려는 '수직 계열화'의 길입니다.
5. 데이터 포트폴리오: 어떤 베팅이든 피할 수 없는 과제
어떤 전략을 택하든, 모든 기업은 '데이터 부족' 문제를 해결하기 위해 다음과 같은 하이브리드 데이터 포트폴리오를 구축해야 합니다.
로봇 데이터 (원격 조종):
기회: 로봇의 몸으로 직접 수집한, 가장 '진짜'에 가까운 데이터입니다.
한계: 인간 조종사의 한계로 인해 데이터가 느리고 부자연스러우며, 촉각과 같은 비시각적 정보를 담기 어렵습니다. 확장성에도 명백한 한계가 있습니다.
시뮬레이션 데이터:
기회: 거의 무한에 가까운 데이터를 값싸게 생성하고, 현실에서는 불가능한 '실패'나 '위험' 시나리오를 안전하게 학습시킬 수 있습니다.
한계: '현실과의 불일치(Sim-to-Real Gap)' 문제를 완벽히 해결할 수 없어, 단독으로는 신뢰하기 어렵습니다.
인간 영상 데이터:
기회: 인터넷에 이미 존재하는, 가장 방대하고 다양한 데이터 소스입니다. 인간의 자연스러운 상호작용을 학습할 수 있습니다.
한계: '신체 형태의 불일치(Embodiment Gap)' 문제로 인해, 인간의 움직임을 로봇의 움직임으로 완벽하게 변환하기 어렵습니다.
6. 결론: 연습을 통한 완벽으로
궁극적으로, 로봇의 미래는 이 모든 요소를 결합하여 '데이터 선순환'을 구축하는 데 달려 있습니다. (1) 하이브리드 데이터로 '어느 정도 쓸모 있는' 초기 모델을 만들고, (2) 이 모델을 현실 세계에 투입하여 더 많은 '진짜 경험' 데이터를 수집하며, (3) 이 경험을 바탕으로 스스로를 개선하는 강화학습(예: RECAP)의 사이클을 돌리는 것입니다. 이 '연습을 통한 완벽'의 과정을 통해, 로봇은 비로소 인간의 지식을 모방하는 단계를 넘어, 스스로 물리 세계를 이해하고 탐험하는 '진정한 물리적 지능'을 갖추게 될 것입니다.