A: 2009년과 지금의 가장 큰 차이점은 주변 세계를 이해하는 머신러닝 기술, 특히 '인식(perception)' 기술의 발전입니다. 현재 우리는 훨씬 더 일반화 가능하고 견고한 인식 시스템을 갖추고 있어 출발점이 훨씬 좋습니다.
또한, 로봇 조작(manipulation)은 자율주행과 다른 측면이 있습니다. 운전은 실수가 큰 결과를 초래하기 때문에 처음부터 실수를 하고 배우기가 매우 어렵습니다. 하지만 설거지와 같은 많은 조작 작업은 실수를 하고 그것을 바로잡는 것이 가능합니다. 실수를 바로잡는 과정에서 작업을 완수할 뿐만 아니라, 미래에 그 실수를 피할 수 있는 지식도 얻게 됩니다.
여기에 LLM과 VLM에서 비롯된 '상식(common sense)'이 더해집니다. 이제 우리는 시스템에 "바닥이 미끄럽다는 표지판이 있는데, 위로 걸어가면 어떻게 될까?"와 같은 질문을 할 수 있고, 시스템은 합리적인 추측을 할 수 있습니다. 2009년의 자율주행차는 이런 질문에 답할 수 없었습니다. 이러한 요소들이 로봇 공학이 더 작은 범위에서 시작하여 성장하는 것을 가능하게 합니다.
Q: 과거 구글, 메타 등 많은 기업들이 트랜스포머 기반 로봇을 개발하려 했지만 난관에 부딪혔습니다. 지금은 무엇이 달라졌나요?
A: 그들의 노력 덕분에 많은 진전이 있었고, 저희 작업도 그들의 연구 위에 구축되었습니다. 하지만 로봇 파운데이션 모델을 실제로 작동시키려면, 실험실의 과학 실험을 넘어 '아폴로 프로그램'과 같은 산업적 규모의 구축 노력이 필요합니다. 과거의 연구는 근본적인 연구에 초점을 맞췄지만, 그것만으로는 부족합니다. 로봇을 실제로 세상에 내보내고, 실제 작업에 대한 대표적인 데이터를 대규모로 수집하고, 시스템을 구축하는 등, 로봇 파운데이션 모델 자체를 완성하겠다는 단 하나의 목표에 집중해야 합니다.
Q: 데이터가 병목 현상이라면, 왜 즉시 100배 더 많은 운영자를 고용하여 데이터 수집 규모를 늘리지 않나요?
A: 문제는 어떤 축의 확장이 어떤 역량의 축에 기여하는지 이해하는 것입니다. 단순히 작업의 종류를 10개에서 100개로 늘리는 수평적 확장은 기존 방식을 확장하면 됩니다. 하지만 우리는 높은 견고성, 효율성, 예외 상황 처리 능력 등 다른 축의 역량도 확장해야 합니다. 이를 위해서는 어떤 데이터를, 어떤 환경에서, 어떤 방법으로 수집하고 처리해야 하는지에 대한 올바른 축을 찾아야 합니다. 아직 그 답을 완전히 알지 못하지만, 곧 알아낼 것이라고 생각합니다.
Q: 현재 수집한 데이터의 양은 인터넷 규모의 사전 훈련 데이터와 비교하면 어느 정도인가요?
A: 로봇 경험 데이터는 시간적으로 매우 상관관계가 높아 직접 비교는 어렵습니다. 다중모드 훈련에 사용되는 데이터셋과 비교하는 것이 더 나은데, 약 10배에서 100배(1~2 orders of magnitude) 정도 차이가 나는 것으로 생각됩니다. 하지만 중요한 것은 '완성되기까지 얼마나 많은 데이터가 필요한가'가 아니라, '시작하기까지(데이터 플라이휠을 돌리기까지) 얼마나 많은 데이터가 필요한가'입니다.
Q: 현재 사용 중인 π0 모델은 어떻게 작동하나요?
A: 기본적으로 운동 제어에 맞게 개조된 비전-언어 모델(VLM)입니다. 뇌에 비유하자면, VLM은 LLM에 시각 피질(비전 인코더)을 이식한 것과 같습니다. 저희 모델은 여기에 운동 피질(행동 디코더)까지 추가한 것입니다. 모델은 로봇의 감각 정보를 읽고, 중간 단계(chain-of-thought)를 거쳐 최종적으로 연속적인 행동을 생성하는 '행동 전문가(action expert)'에게 전달합니다. 구조적으로는 '전문가 혼합(mixture-of-experts)' 아키텍처와 유사하며, 종단간(end-to-end) 트랜스포머입니다.
Q: 텍스트는 높은 수준의 의미를 표현하지만 이미지나 비디오는 압축된 픽셀에 불과해, 서로 다른 양식(modality) 간의 전이 학습이 잘 일어나지 않는다는 주장이 있습니다. 이 점이 로봇 공학에 불리하게 작용할까요?
A: 나쁜 소식과 좋은 소식이 있습니다. 나쁜 소식은 그것이 비디오/이미지 생성 모델의 오랜 과제라는 점입니다. 텍스트와 달리 비디오는 너무 많은 정보(구름 분자, 보행자 심리 등)를 담고 있어 무엇이 중요한지 파악하기 어렵습니다. 좋은 소식은 로봇은 '목표'를 가지고 있다는 점입니다. 작업을 수행하려는 목적이 세상을 보는 방식을 구조화하고, 무엇에 집중해야 할지 알려주는 강력한 '초점 메커니즘'으로 작용합니다. 이는 다른 데이터 소스를 더 효과적으로 활용하는 데 도움이 될 수 있습니다.
Q: 로봇 데이터는 수동으로 수집되기 때문에, LLM처럼 예상치 못한 '창발적 능력(emergent capabilities)'이 나타나기 어려울 것 같습니다. 결국 모든 하위 작업을 위해 수천 개의 에피소드를 수동으로 추가해야 하는 긴 꼬리 문제가 발생하지 않을까요?
A: 창발적 능력은 단순히 데이터의 다양성에서 오는 것이 아니라, 일반화가 특정 수준에 도달했을 때 '조합적(compositional)'이 되기 때문에 나타납니다. 예를 들어, LLM은 사전에 본 적 없는 '국제음성기호(IPA)로 요리 레시피 작성하기'를 해낼 수 있는데, 이는 기존 지식을 새로운 방식으로 조합한 결과입니다. 로봇도 마찬가지입니다. 충분히 다양한 행동을 학습하면, 상황에 맞게 행동을 새롭게 조합하는 능력이 생깁니다. 실제로 저희 로봇이 실수로 티셔츠 두 개를 집었을 때, 하나를 접는 동안 방해가 되는 다른 하나를 다시 통에 던져 넣는 행동을 보였습니다. 이것은 우리가 의도적으로 가르치지 않은 조합적 일반화의 예입니다.
Q: 현재 모델은 1초의 컨텍스트만 가지고 있는데, 어떻게 1분 길이의 작업을 수행할 수 있나요? 인간이 1초의 기억만 가지고 물리적 작업을 하는 것은 불가능해 보입니다.
A: 이것은 '모라벡의 역설(Moravec's paradox)'과 관련이 있습니다. AI에게는 인간이 당연하게 여기는 것(물체 집기, 보기 등)이 어렵고, 인간이 어렵다고 생각하는 것(체스, 미적분)이 쉽다는 역설이죠. 우리가 인지적으로 힘들다고 느끼는 작업은 많은 것을 기억해야 하지만, 올림픽 수영 선수가 완벽한 자세로 수영하는 것처럼 잘 연습된 작업은 '순간'에 집중할 뿐 많은 컨텍스트를 필요로 하지 않습니다. 물론 장기적으로는 더 긴 메모리가 필요하지만, 현재는 다른 것들을 먼저 해결하는 것이 중요합니다.
Q: 추론 속도, 컨텍스트 길이, 모델 크기라는 세 가지 상충되는 요소를 모두 인간 수준으로 끌어올리려면 어떻게 해야 할까요? 이 세 가지를 동시에 개선하는 것은 컴퓨팅 자원의 한계에 부딪힐 텐데요.
A: 인간의 뇌는 GPU보다 훨씬 더 병렬적입니다. 미래의 로봇 시스템도 인식, 계획, 고유 수용성 감각 등을 동시에 병렬적으로 처리하는 방식으로 진화할 수 있습니다. 또한, 컨텍스트를 언어적 체크리스트나 공간적 이미지처럼 효율적인 형태로 '표현'하는 방법을 찾는 것도 중요합니다. 더 나아가, 인터넷 연결 상태에 따라 로봇의 '생각' 일부를 클라우드로 보내 처리하는 '외부화(externalize)' 방식도 가능할 것입니다.
Q: 인간의 뇌가 현재 하드웨어보다 수십, 수백 배 효율적인 이유는 더 발전된 하드웨어 때문일까요, 아니면 더 효율적인 알고리즘 때문일까요?
A: 정확한 답은 모르지만, 제 생각에는 알고리즘, 특히 '병렬성'과 관련이 깊다고 봅니다. 뇌는 극도로 병렬적입니다. 미래의 시스템은 장기 기억, 단기 공간 정보, 의미 정보, 현재 인식, 계획 등을 모두 병렬적으로, 아마도 서로 다른 속도로 처리할 수 있을 것입니다.