- "에이전트의 해"가 아닌 "에이전트의 10년": Karpathy는 현재의 AI 기술이 인상적이지만, 인간 인턴 수준의 업무를 수행하기엔 역부족이라고 단언합니다. 연속 학습, 멀티모달리티, 인지적 결함 등 근본적인 문제 해결에 최소 10년이 걸릴 것이라고 예측합니다. 이는 단기적인 기대감보다 장기적인 R&D 관점이 필요함을 시사합니다.
- '9의 행진 (March of Nines)': 그는 테슬라 자율주행 개발 경험을 바탕으로, 90% 성능의 데모를 만드는 것과 99.999% 신뢰도의 제품을 만드는 것은 차원이 다른 문제라고 강조합니다. 신뢰도의 '9'를 하나 더 늘릴 때마다 처음 90%를 달성한 만큼의 노력이 필요하며, 이는 안전성과 신뢰도가 중요한 AI 프로덕트(특히 B2B, 프로덕션 코드) 개발에 동일하게 적용됩니다. 투자자와 창업가는 '화려한 데모'와 '실제 상용화' 사이의 거대한 갭을 인지해야 합니다.
- 현실: 웨이모 같은 서비스도 운전석에 사람이 없을 뿐, 보이지 않는 곳의 원격 관제 센터(teleoperation)에서 여전히 인간이 개입하고 있습니다. 이는 100% 완전 자동화의 어려움을 보여주는 현실적 사례이며, '화려한 데모'와 '실제 상용화' 사이의 거대한 갭을 인지해야 합니다.
2. 현존 LLM의 심각한 '인지적 결함'들: 왜 아직 멀었는가?
- "Pre-training은 crappy evolution이다. 실제 진화를 할 수 없으니, 인터넷 문서 모방으로 'ghosts'를 만드는 것”
- 강화학습(RL)의 한계: "가느다란 빨대로 학습 신호를 겨우 빨아들이는 격": 현재의 RL은 끔찍(terrible)하다고 표현합니다. 수많은 시도 끝에 정답을 맞혔다는 단 하나의 결과만으로, 그 과정의 모든 행동(심지어 잘못된 추론)을 강화하는 방식은 매우 비효율적입니다. 인간처럼 과정을 복기하고 부분적인 성공/실패를 분석하는 'Reflect & Review' 메커니즘이 부재합니다.
문제점: 과정 기반 보상을 위해 LLM 심판(Judge)을 도입해도, 'dhdhdhdh' 같은 무의미한 입력에 최고점을 주는 등 쉽게 속아 넘어가는(gameable) 문제가 있어 아직 난관에 부딪혀 있습니다.
- '수면'과 '지식 증류'의 부재: 인간이 잠을 자면서 낮 동안의 경험을 장기기억으로 전환하는 것처럼, LLM에는 컨텍스트 창(작업 기억)의 내용을 모델의 가중치(장기 기억)로 '증류(distill)'하는 과정이 없습니다. 매번 세션을 처음부터 다시 시작해야 하는 근본적인 한계입니다.
- 합성 데이터의 '붕괴(Collapse)' 문제: LLM이 스스로 생성한 데이터로 학습하면 성능이 오히려 저하되는 현상입니다. 모델이 생성하는 결과물은 겉보기엔 다양해 보이지만, 실제로는 통계적으로 매우 좁은 분포에 갇혀있기(collapsed) 때문입니다. 이는 "ChatGPT에게 농담을 해달라고 하면 맨날 똑같은 3가지 농담만 하는 것"과 같습니다. 이 '엔트로피 부족' 문제는 자기 개선 능력의 핵심적인 병목입니다.
- 인간도 Collapse: 그는 이 현상이 인간에게도 나타난다고 말합니다. 어린이는 아직 과적합(overfit)되지 않아 창의적이지만, 성인은 점점 같은 생각과 말을 반복하며 '붕괴'된다는 것입니다. 꿈(Dreaming)은 이런 과적합을 막기 위한 뇌의 엔트로피 추구 메커니즘일 수 있습니다.
- 과도한 암기력은 버그: LLM은 인간과 달리 무의미한 정보까지 완벽하게 암기합니다. Karpathy는 이것이 오히려 일반화 가능한 패턴을 학습하는 데 방해가 되는 '버그'라고 지적합니다. 그는 미래에는 불필요한 사실적 지식(memory)을 제거하고, 사고와 문제 해결 알고리즘만 남긴 순수한 '인지적 핵(Cognitive Core)' 형태의 모델이 중요해질 것이라 예측합니다.
- LLM은 외로운 천재: 문화와 경쟁의 부재: LLM에는 '문화(Culture)'가 없습니다. LLM끼리 서로의 결과물("책")을 읽고 배우거나, 공유된 지식 기반(scratchpad)을 쌓아가지 못합니다. 또한 AlphaGo가 스스로와 대결하며 강해졌듯, LLM 간의 경쟁과 협력을 통한 'Self-Play' 메커니즘도 아직 미개척 영역입니다. 현재의 AI는 똑똑하지만 고립된 '유치원생' 수준에 머물러 있습니다.
3. AI 개발의 현실: '오토컴플리트'는 훌륭하지만 '에이전트'는 아직
- Nanochat 개발 경험: 그는 최근 공개한 ChatGPT 클론 'Nanochat'을 개발하며 코딩 에이전트가 거의 도움이 되지 않았다고 밝혔습니다. 그 이유는 다음과 같습니다.
- 새로운 코드에 대한 이해 부족: 에이전트는 인터넷에 널리 퍼진 보일러플레이트 코드 생성에는 능하지만, 독창적이거나 새로운 구조의 코드("한 번도 작성된 적 없는 코드")는 이해하지 못합니다.
- 잘못된 패턴 강요: Karpathy가 커스텀 구현을 사용했을 때, 에이전트는 계속해서 일반적인 라이브러리(DDP) 사용을 강요하며 코드를 망가뜨렸습니다.
- 불필요한 복잡성 증가: 방어적인 코딩 스타일(try-catch 남발), 오래된 API 추천 등 코드의 복잡성만 높이는 "쓰레기(slop)"를 생성하는 경우가 많았습니다.
- '오토컴플리트'가 최적점: 현재로서는 인간 개발자가 코드의 구조를 설계하고 특정 위치에서 몇 글자만 입력하면 나머지를 완성해주는 '오토컴플리트'가 가장 생산성이 높은 방식이라고 결론 내립니다. 이는 인간의 의도를 지정하는 데 가장 높은 정보 대역폭을 제공합니다.
- Karpathy는 자신의 워크플로우를 1) 핵심 로직은 직접 작성, 2) 반복적인 부분은 오토컴플리트 활용, 3) 보일러플레이트나 익숙하지 않은 언어(e.g., Rust)에만 에이전트를 제한적으로 사용한다고 밝혔습니다. 이는 인간의 의도를 지정하는 데 가장 높은 정보 대역폭을 제공합니다.
- 코딩이 첫 킬러앱인 이유: AI가 유독 코딩 분야에서 강력한 이유는 코딩이 본질적으로 텍스트 기반이고, diff 등 자동화를 위한 인프라가 이미 잘 구축되어 있기 때문입니다. 슬라이드 제작처럼 시각적이고 구조화되지 않은 작업은 훨씬 어렵습니다.
4. AI의 경제적 임팩트: '폭발'이 아닌 '점진적 통합'
- GDP 성장률 2%의 연속: Karpathy는 AI가 인류의 GDP 성장률을 극적으로 끌어올릴 것이라는 '폭발' 가설에 회의적입니다. 그는 컴퓨터, 인터넷과 같은 과거의 혁신적인 기술들도 기존의 연 2% 성장률 곡선에 점진적으로 통합되었을 뿐, 성장률 자체를 급격히 바꾸지 못했다고 지적합니다.
- AI는 컴퓨팅의 연장선: AI 역시 갑작스러운 '특이점'이 아니라, 수백 년간 이어져 온 자동화와 컴퓨팅 기술 발전의 자연스러운 연장선으로 봅니다.
- 이는 AI가 단순한 생산성 도구를 넘어 '노동 자체'를 대체하기에 질적으로 다르다는 반론에 대해, 컴퓨터 역시 정보 처리라는 '노동'을 자동화한 기술이었지만 결과는 동일했다고 반박합니다. 사회에 점진적으로 확산되고 통합되면서 기존 성장 패턴을 유지하는 데 기여할 것이라는 현실적인 전망을 내놓았습니다.