Tony Z Zhao: ALOHA, ACT(Action Chunking with Transformer)로 값싼 텔레오퍼레이션 & 떨리지않고 부드럽게 움직일 수 있는 ACT등 연구 진행. Ex Google Deepmind, Stanford Phd Dropout from Chelsea Finn
Cheng Chi: Diffusion policy로 복잡하고 멀티모달한 상황에서 로봇이 안정적으로 움직이게 하는 알고리즘 + UMI(로봇 없이 고프로만으로 데이터 수집하는 시스템)
문제의식
현재 AI(LLM 등)의 성공 방정식은 '모델 구조(Transformer) + 인터넷 규모의 데이터'다. 로봇 공학에는 이미 좋은 모델(Transformer/Diffusion)이 있지만, '인터넷 규모의 물리적 데이터(Corpus)'가 없다.
기존에는 로봇 데이터를 모으려면 로봇이 있어야 했다(Teleoperation). 로봇은 비싸고, 무겁고, 고장 난다. 100만 시간을 모으려면 100만 시간 동안 로봇을 돌려야 한다. 불가능하다.
"로봇이 학습하는 데 팔꿈치나 어깨 위치가 필요한가?" 아니오.
- "필요한 건 무엇인가?" 손(End-effector)의 6차원 궤적(`x,y,z,rot*x*,*y*,*z*,*rot*`)과 시각 정보(Vision)뿐이다.
- 로봇을 없애라. 고프로(시각)와 3D 프린팅 된 손잡이(그리퍼)만 있으면 된다. 이를 통해 전 세계 누구나, 어디서든(In-the-wild) 데이터를 모을 수 있게 만든다.
신체 불일치 해결 (Solving Embodiment Mismatch)
- 제약: 사람이 모은 데이터는 사람의 데이터다. 로봇에게 그대로 주면 형태가 달라서 못 쓴다.
- 해결 (Hardware Isomorphism):
- "데이터 변환을 소프트웨어로 어렵게 해야 하는가?" 아니오.
- 하드웨어를 일치시켜라. 데이터 수집용 글러브의 집게와 로봇의 집게를 기하학적으로 100% 동일하게 설계한다.
- "사람이 글러브로 컵을 집었다면, 로봇도 물리적으로 똑같이 집을 수 있다." (Skill Transform의 성공률 90% 이상 달성)
엔지니어가 데이터를 모으는 건 비효율적이다.
- 데이터 수집을 우버(Uber)나 데이터 라벨링 알바처럼 만든다. 일반인에게 글러브를 나눠주고, 집안일(빨래 개기, 정리하기)을 하게 한 뒤 돈을 준다.
- 데이터 수집의 무한 확장(Scale-up)이 가능해진다.
학습 및 제어의 혁신 (AI & Control Strategy)
불확실성의 관리 (Managing Uncertainty with Diffusion)
- 세상은 예측 불가능하다. 장애물이 있을 때 왼쪽으로 갈 수도, 오른쪽으로 갈 수도 있다. 기존 방식(평균값 예측)은 어정쩡하게 중간으로 가다 부딪힌다.
- 해결 (Diffusion Policy):
- 행동을 하나의 정답이 아닌 '확률 분포'로 배운다. 노이즈로부터 행동을 생성해내므로, "왼쪽 아니면 오른쪽"이라는 명확하고 다양한 해결책(Multimodality)을 내놓는다.
- 이 덕분에 햇빛이 비치거나, 테이블이 지저분해도(노이즈가 있어도) 강건하게 작동한다.
끊김 없는 행동 생성 (Action Chunking)
- 제약: 0.1초마다 판단하면 로봇이 덜덜 떤다.
- 해결 (ACT):
- 순간이 아니라 미래의 궤적 덩어리(Chunk)를 한 번에 예측한다. 인간이 한 번 쳐다보고 컵을 잡으러 손을 뻗는 것처럼, 부드럽고 연속적인 동작을 생성한다.
안전장치 확보 (Hybrid Control)
- 제약: AI는 가끔 환각(Hallucination)을 일으켜 엉뚱한 짓을 할 수 있다. 물리 세계에서 이는 사고로 이어진다.
- 해결 (Full-stack Control):
- AI 모델(Brain) 밑단에 고전 제어 이론(System ID, Feedback Control)을 깐다.
- AI가 이상한 명령을 내려도, 하드웨어 레벨에서 모터의 토크나 속도를 제한하여 안전을 보장한다. (채용 공고의 Controls Engineer 역할)
제품화 및 양산 (Product & Scale)
A. 가전제품으로서의 로봇 (Robot as Appliance)
- 제약: 연구용 로봇은 수억 원이다. 가정에 보급하려면 $10,000 이하여야 한다.
- 해결 (Mass Production):
- 기성품을 쓰지 않고, 모터 제어기부터 PCB, 센서 모듈까지 직접 설계(EE Team)하여 원가를 낮춘다.
- 해외 위탁 생산(CM)과 공급망 관리(Supply Chain)를 통해 다이슨이나 테슬라처럼 찍어낸다. (Job: Manufacturing Engineer)
B. 수직 계열화 (Vertical Integration)
- 제약: 남의 OS나 부품을 쓰면 최적화에 한계가 있다.
- 해결:
- *데이터 수집(글러브) 학습(클라우드) 추론(로봇 OS) 구동(펌웨어)까지 전 과정을 직접 만든다.
- 애플이 하드웨어와 소프트웨어를 통합해 최상의 경험을 주듯, 로봇의 성능을 극한까지 끌어올린다.
Sunday Robotics가 문제를 푸는 순서
1. Step 1 (입력): 로봇 없이도 로봇 데이터를 모을 수 있는 '저렴한 글러브(UMI)'를 만들어 일반인에게 뿌린다. (데이터 병목 해소)
2. Step 2 (변환): 글러브와 로봇 손을 똑같이 설계하여, 수집된 데이터를 복잡한 가공 없이 즉시 로봇 훈련 데이터로 바꾼다. (Embodiment Mismatch 해결)
3. Step 3 (지능): Diffusion Policy와 Transformer를 써서, 이 방대한 데이터를 먹고 스스로 행동 규칙(Policy)을 깨우치는 파운데이션 모델(VLA)을 만든다. (일반화된 지능 확보)
4. Step 4 (출력): 이 지능을 담을 저렴하고 안전한 하드웨어(Memo)를 대량 생산하여 가정에 보급한다. (시장 진입)
5. Step 5 (순환): 보급된 로봇이 겪는 실패 사례(Edge case)는 다시 데이터가 되어, OTA를 통해 로봇을 매일 밤 똑똑하게 만든다. (Data Flywheel 완성)
https://x.com/tonyzzhao/status/1991204839578300813