물리적 세계를 이해, 시뮬레이션 및 상호작용할 수 있도록 설계된 Physical AI 분야의 옴니모달 기초 모델
물리적 AI (Physical AI) 애플리케이션 개발
• 로봇 공학, 자율주행(AV), 스마트 공간 환경(산업 및 공장 규모의 애플리케이션 포함) 등 기계가 물리적 세계를 직접 이해하고 상호작용해야 하는 도메인의 핵심 빌딩 블록으로 사용됩니다.
• 로봇 공학 및 제어: 파인튜닝된 버전(예: Cosmos3-Edge-Policy-DROID)의 경우 언어 명령과 시각적 관측 데이터를 기반으로 로봇의 조작 및 제어 작업을 위한 행동 궤적을 생성합니다.
• 자율주행 및 모빌리티: 차량 제어 시뮬레이션이나 주변 환경 변화 예측에 활용됩니다.
멀티모달 이해 및 세계 시뮬레이션 (World Simulation)
• 텍스트, 이미지, 비디오, 행동 궤적 등 다양한 입력의 조합을 바탕으로 그에 맞는 일관된 텍스트, 이미지, 비디오, 행동 명령 출력을 생성할 수 있습니다.
• 미래 예측 : 현재 상태(이미지/비디오)와 행동 입력을 기반으로 이후에 물리 세계가 어떻게 변화할지 예측하고 시뮬레이션합니다.
• 행동 추론 : 시각 정보와 환경적 맥락을 분석하여 기계가 취해야 할 최적의 물리적 행동을 추론합니다.
고성능 시각 및 텍스트 생성·추론
• 4B(40억 개) 파라미터 규모의 이 모델은 Mixture-of-Transformers(MoT) 아키텍처를 기반으로 설계되어 엣지 환경에서도 뛰어난 처리 속도를 보여주며 다음과 같은 생성 및 추론 작업을 수행합니다.
• 텍스트 기반 추론 : 비전 기반 작업에 대해 구조화된 생각의 사슬, 2D/3D 포인트 위치 지정, 바운딩 박스 좌표 등을 포함한 텍스트 답변을 생성합니다.
• 교차 모달리티 합성: 이미지 투 비디오 변환, 전방/후방 역학 시뮬레이션 등을 지원합니다.
https://x.com/NVIDIAAI/status/2079236204743053592