🧠 AI의 미래를 가장 잘 아는 남자

Andrej Karpathy 핵심 인터뷰 정리
(OpenAI 공동창립 / 테슬라 AI 총괄)

━━━━━━━━━━━━━━

1️⃣ LLM = 새로운 운영체제

Karpathy는 지금 모든 회사가 만들려는 걸
"LLM OS"라고 부릅니다.

LLM이 CPU, 텍스트·이미지·오디오가 주변기기.
그 위에 수많은 AI 에이전트가 올라가는 구조.

Windows에 Edge가 깔려있어도
우리가 Chrome을 쓰는 것처럼
OpenAI 위에 수많은 앱 생태계가 생길 겁니다.

→ 지금은 iPhone 앱스토어 초기와 같은 시기

━━━━━━━━━━━━━━

2️⃣ 오픈소스의 진짜 의미

Llama, Mistral = 오픈소스 ❌
→ "오픈 웨이트"일 뿐

바이너리만 받으면 파인튜닝할수록
기존 능력이 퇴화합니다.

진짜 능력을 추가하려면
데이터셋 + 학습 루프 전체가 필요한데
웨이트만으로는 이게 불가능.

━━━━━━━━━━━━━━

3️⃣ 돈만 있으면 AI 만들 수 있다? NO

스케일이 1순위인 건 맞지만
수만 개 GPU가 랜덤으로 고장나는 환경에서
분산 학습을 관리하는 건 극도로 어려움.

필요한 3가지:
• 인프라 전문성
• 데이터 품질
• 알고리즘 최적화

이 인재가 지금 극도로 부족합니다.

━━━━━━━━━━━━━━

4️⃣ 효율성: 1000~100만 배 차이

인간 뇌 = 20W
AI 슈퍼컴퓨터 = 메가와트 단위

줄이기 위한 3가지 레버:
• 정밀도 축소 (64bit → 1.58bit)
• 희소성 (뇌처럼 일부만 활성화)
• 폰 노이만 구조 탈피

→ 컴퓨터 아키텍처의 혁신이 올 것

━━━━━━━━━━━━━━

5️⃣ "AlphaGo 2단계를 아직 안 했다"

지금 LLM = AlphaGo 1단계 (모방학습)
진짜 초인적 성능 = 2단계 (강화학습)

현재 RLHF는?
→ 바둑판 두 개 보여주고
"어느 게 더 좋아보여?"라고 묻는 수준
→ 분위기 체크(vibe check)에 불과

모델이 스스로 연습하면서
자기에게 뭐가 쉽고 어려운지
학습하는 진짜 RL이 필요.

→ 여기서 다음 대폭발이 일어남

━━━━━━━━━━━━━━

6️⃣ 일론 머스크 경영 스타일 (직접 경험)

① 작고 강한 팀
→ 채용을 쉽게 허락 안 함
→ 저성과자는 즉시 제거

② 활기 있는 분위기
→ 큰 회의 싫어함
→ 기여 안 하면 회의에서 나가라고 권장

③ 엔지니어와 직접 대화
→ VP가 아닌 엔지니어가 진실의 원천
→ CEO가 직접 현장 파악

④ 병목 즉시 제거
→ GPU 부족 2번 들으면 바로 전화
→ "클러스터 두 배로 늘려. 내일부터 매일 보고"
→ 안 되면 젠슨에게 직접 전화

━━━━━━━━━━━━━━

7️⃣ 실무 조언

"성능 먼저, 비용 절감은 나중에"

GPT-4로 정확도 먼저 확보
→ 이후 3.5로 대체 가능한 부분 테스트
→ 잘 작동하는 비싼 시스템의 출력을
작은 모델에 증류(distill)

━━━━━━━━━━━━━━

💬 마지막 메시지

"특정 회사가 아니라 생태계 전체가
건강하고 활기차길 바랍니다.
5개 거대 기업이 AGI로 권력을 독점하는
미래가 걱정됩니다."