읽지 않는 걸 추천한다.
...
요즘 같은 시대에 "내가 지금 하는 일이 곧 무가치해질 것 같다", "곧 아무 의미 없어질 것 같다"는 생각이 드는가?
그렇다면 그 일을 멈추고, 지금 당장 가장 중요한 미해결 문제에 도전해보자.
✨ 노트북에서 GPT-3를 재현하는 것 ✨
"그게 왜 중요한데?"
만약 그게 가능해진다면 AI 비용이 엄청나게 낮아진다.
그러면 누구나 노트북에서 Fable급 모델을 돌릴 수 있게 되고, 더 이상 OpenAI나 Anthropic 같은 초거대 AI 기업에 의존하지 않아도 된다.
"그건 불가능하잖아."
재밌는 점은, 컴퓨터 과학 관점에서는 그렇지 않다는 것이다.
전혀 불가능하다고 증명된 적이 없다.
좋은 아이디어 하나.
혁신적인 통찰 하나.
"아하!" 하는 순간 하나.
그것만 있으면
"아무것도 없음"
에서
"어? 내가 만든 프로그램이 영어를 말하는데?"
로 갈 수 있다.
그 순간이 오면:
AI 산업 전체가 뒤집힌다.
거대한 GPU 클러스터(수천~수만 장 GPU를 묶은 AI 학습 시스템)가 의미를 잃는다.
모두가 집에서 Fable급 AI를 돌린다.
그리고 당신은 유명해지고 부자가 된다.
"당연히 어렵지. 무슨 소리야."
그럼 GPT급 모델을 학습하는 데 수십억 달러가 반드시 필요하다는 수학적 증명을 보여달라.
사실 그런 건 없다.
우리가 가진 근거는
"수십 년 동안 많은 사람이 시도했는데 GPT가 최선이었다"
정도다.
하지만 그것은 과학적 증명이 아니라 경험적 관찰에 가깝다.
10년 전에는 Transformer(현재 GPT·Claude·Gemini 대부분이 사용하는 AI 구조)도 존재하지 않았다.
그 논리대로라면 GPT도 존재하면 안 됐다.
하지만 누군가가 새로운 방법을 찾아냈고 지금은 당연한 기술이 됐다.
우리는 단지 수십 년 동안 그걸 발견하지 못했을 뿐이다.
GPT처럼,
세상에는 다른 접근법도 있다.
다른 알고리즘도 있다.
다른 구조도 있다.
그중 어떤 것은 지금보다 훨씬 단순할 수도 있다.
그리고 훨씬 빠를 수도 있다.
그걸 발견하는 사람이 당신일 수도 있다.
Llama.cpp를 포크하지 마라.
또 다른 LLM을 학습시키지 마라.
✨ 다른 것을 만들어라 ✨
남들이 생각하지 못한 것.
당신만의 아이디어가 담긴 것.
새로운 것.
C나 CUDA(GPU를 직접 프로그래밍하는 기술)로 구현하라.
Python은 쓰지 마라.
직접 GPU 커널(그래픽카드에서 실행되는 저수준 연산 코드)을 만들어라.
그리고 학습시켜라.
위키피디아를 넣고,
충분한 시간과 연산 자원을 줘라.
그러면 언젠가 질문에 답하기 시작할지도 모른다.
GPT-2가 그랬던 것처럼.
"이미 많은 사람이 시도했잖아."
아니다.
생각보다 거의 아무도 안 했다.
Mozilla는 브라우저를 만든다.
Linus Torvalds는 운영체제를 만든다.
OpenAI와 Anthropic 연구원들은 GPT를 더 크게 만든다.
대부분의 AI 매니아들은 기존 모델을 파인튜닝(기존 모델을 추가 학습시키는 작업)한다.
결국 진짜로
"GPT와 완전히 다른 방식의 지능"
을 연구하는 사람은 거의 없다는 것이다.
✨ 사실상 아무도 하지 않는다 ✨
여기서 저자는 Ilya Sutskever(OpenAI 공동창업자)의 GPT-2 발표를 인용한다.
핵심은
"Transformer가 마법이다"
가 아니라
"스케일링(모델 크기·데이터·연산량을 키우는 것)이 마법이다"
라는 점이다.
단순한 알고리즘도 충분한 연산 자원을 투입하면 예상치 못한 능력이 나타날 수 있다는 것이다.
단순하고 아름다운 알고리즘을 만든다.
엄청난 연산 자원을 투입한다.
?
컴퓨터가 말을 하기 시작한다.
이것이 GPT-3 시대를 만든 핵심 통찰이라는 주장이다.
하지만 이후 모든 사람은
"Transformer를 더 크게 만들자"
에만 집중했다.
Zuckerberg도,
Musk도,
Bezos도,
모두 수십만 장의 GPU를 사들이고 있다.
저자는 마지막에 개미 비유를 든다.
개미는 설탕을 발견하면 모두 그곳으로 몰린다.
하지만 설탕이 있다는 건 근처에 더 큰 케이크가 있다는 신호일 수도 있다.
탐험하는 개미가 없다면 영원히 케이크를 발견하지 못한다.
마찬가지로,
GPT는
"컴퓨터가 사고할 수 있다"
는 사실을 보여준 사례일 뿐이다.
GPT가 유일한 방법이라는 사실을 증명한 적은 한 번도 없다.
어쩌면 모두가 같은 방향으로 달려가는 지금이야말로, 누군가는 전혀 다른 길을 찾아야 하는 시기인지도 모르겠다.
지금도 이런걸 연구하는 사람이 많고 또 엔스로픽이나 Openai에서 나올 가능성이 더 높아보이긴하지만... GLM이 "최고 성능 = 무조건 미국 빅테크 + 수십억 달러" 라는 공식을 깨버렸기 때문에 또 어떤 새로운 기술이 나올지 기대되긴하네요