VLA(Vision-Language-Action, 비전-언어-행동) 모델은 카메라를 통해 들어오는 시각적 정보와 인간의 자연어 명령어를 입력받아, 로봇이 실제로 수행해야 할 구체적인 제어 명령이나 움직임을 출력하는 파운데이션 모델
학습 데이터 구성 (데이터 파이프라인)
VLA 모델 미세 조정을 위해서는 시각 관찰, 텍스트 지시 -> 로봇 행동 형태로 정렬된 데이터가 필요.
• 로봇 시연 데이터(Robot Demonstration Data): 사람이 직접 원격 제어하거나 가상 환경에서 수집한 로봇의 성공적인 작업 궤적 데이터
• 행동 토큰화(Action Tokenization): 로봇의 관절 각도, 그리퍼의 개폐 상태 등의 연속적인 수치 데이터를 언어 모델이 이해할 수 있도록 불연속적인 토큰 형태로 변환하여 학습.
주요 미세 조정 방식 (Fine tuning Strategies)
VLA 모델은 대규모 멀티모달 모델을 기반으로 하기 때문에 full 파라미터 학습 외에도 효율적인 기법들이 자주 사용됨.
① 전량 미세 조정 (Full Fine tuning)
• 모델의 모든 가중치를 새로운 로봇 시연 데이터로 업데이트
• 장점: 완전히 새로운 도메인의 로봇 환경이나 복잡한 태스크에 적응하는 능력이 가장 뛰어남.
• 단점: 막대한 VRAM과 계산 자원이 필요하며, 기존에 파운데이션 모델이 가지고 있던 일반화 능력(역량)을 잃어버리는 파괴적 망각 발생할 가능성이 큼.
② 효율적 매개변수 미세 조정 (PEFT - Parameter-Efficient Fine-tuning)
• 최근 가벼운 하드웨어 환경(예: 단일 GPU 등)이나 오픈소스 커뮤니티에서 가장 활발히 쓰이는 방식
• LoRA / QLoRA: 모델의 원래 가중치는 고정한 채, 행렬 분해 방식을 활용해 일부 어댑터 레이어만 학습.
• 행동 디코더 전용 미세 조정: 시각 인식과 언어 이해를 담당하는 앞단(VLM)은 그대로 얼려두고(Freezing), 최종적으로 로봇의 움직임 토큰을 예측하는 행동 출력 레이어(Action Head)만 집중적으로 학습시키는 방식.
③ 공공/멀티태스크 데이터셋 공동 학습 (Co training)
• 내가 가진 특정 로봇 데이터만 넣고 미세 조정을 하면 모델이 과적합(Overfitting)되기 쉽습니다. 이를 방지하기 위해 대규모 오픈소스 로봇 데이터셋과 내가 수집한 데이터를 일정 비율로 섞어서 미세 조정을 진행.
• 효과: 모델이 기존의 견고한 물리적 도메인 지식을 유지하면서 새로운 태스크를 안전하게 학습
미세 조정의 평가 기준
• 작업 성공률 (Task Success Rate): 시뮬레이션 또는 실제 환경에서 지시한 명령을 끝까지 완수하는지 평가.
• 궤적 및 동작 품질 (Trajectory Quality): 로봇이 불필요한 떨림이나 지나친 급발진 없이 부드럽고 안전하게 움직이는지 확인.
• 건성 (Robustness): 배경이 바뀌거나 물체의 위치가 조금 달라져도(시각적 변화) 작업을 오차 없이 수행하는지 검증
VLA에 대해서는 이렇게 이해하고 있으면 될거 같네요. FLock과 Fabric에서 하는건 이런 미세조절을 통해 데이터셋 만드려는 것일듯?!