연결 중…
연결 중…
전체 보기
Continuous Learning_Startup & Investment
Telegram · @continuouslearningmatthew

Q: 강화 학습(RL)이 모방 학습(Imitation Learning)보다 낫다고 하셨는데, 왜 현재 모델은 모방 학습에만 의존하나요?

게시
2025.09.14 11:09
조회
227
포워드
7

A: 자신의 경험으로부터 효과적으로 학습하려면, 이미 그 작업에 대해 어느 정도 알고 있는 '사전 지식'이 매우 중요합니다. 현재 모방 학습(감독 학습)을 통해 모델을 훈련시키는 목적은, 나중에 강화 학습을 통해 더 빠르게 배울 수 있도록 그 사전 지식의 기반을 구축하는 것입니다. 이는 LLM이 다음 단어 예측으로 시작하여 나중에 RL로 발전한 것과 같은 경로입니다.

Q: 시뮬레이션이 로봇 훈련에 더 효과적이지 않은 이유는 무엇인가요? 인간 파일럿은 시뮬레이터로 많은 것을 배우는데요.

A: 파일럿은 '실제 비행기를 조종한다'는 명확하고 강한 목표를 가지고 시뮬레이터에 임합니다. 하지만 모델은 여러 도메인의 데이터를 학습할 때 특정 최종 목표를 알지 못합니다. 오히려 진짜 데이터를 통해 '세상이 어떻게 돌아가는지'에 대한 올바른 기반 모델을 구축하는 것이, 시뮬레이션을 포함한 다른 보조 데이터 소스를 효과적으로 활용하는 열쇠가 될 수 있습니다.

Q: 2030년까지 AI 인프라 구축에 수조 달러의 자본 지출이 예상됩니다. 그때쯤이면 로봇 경제가 데이터 센터 건설이나 태양광 패널 설치 같은 작업을 도울 만큼 성숙해 있을까요?

A: 원칙적으로는 엄청난 도움이 될 수 있습니다. 로봇은 기계적인 인간이 아니라, 불도저와 같은 도구입니다. 키가 100피트인 로봇, 아주 작은 로봇 등 다양한 형태로 제작될 수 있으며, 외딴곳에서도 작업이 가능합니다. 로봇은 스스로를 생산하는 데에도 도움을 줄 수 있기 때문에, 선순환 구조를 만들 수 있습니다.

Q: 하드웨어가 병목이라면, 대부분의 로봇 팔을 생산하는 중국이 기본적으로 승리하는 것 아닌가요?

A: 이것은 매우 복잡한 문제입니다. 자동화는 고학력 인력의 생산성을 극대화하기 때문에, 우리가 지향하는 고부가가치 사회에 매우 적합합니다. 이 목표에 도달하기 위해서는 소프트웨어와 하드웨어 혁신을 모두 지원하는 '균형 잡힌 로봇 생태계'에 대한 장기적인 비전과 투자가 필요합니다. 특정 분야에만 흥분이 쏠릴 때 다른 중요한 요소(하드웨어, 인프라 등)를 놓치기 쉽습니다. 우리는 이러한 문제들을 전체적으로 봐야 합니다.

조회227포워드7텔레그램에서 보기