글 내용이 사실이면 누군가의 10년을 2시간 반만에 따라잡을 수 있겠지요.
그게 말이 되냐 라고 물어본다면 우리는 과거 수학자들이 평생 연구한 공식을 1분만에 배우는 시대에 있어요
오늘 밤 넷플릭스 보지 마.
이 스탠퍼드 2시간 34분짜리 강의를 보러 가.
내가 본 것 중 가장 명확하고, 처음부터 끝까지 ChatGPT와 Claude가 어떻게 만들어졌는지 완전히 설명한 수업이야.
토크나이제이션과 BPE부터 시작해서, 트랜스포머 아키텍처, 훈련 파이프라인, 다음 토큰 디코딩까지.
너가 한 줄의 AI 코드도 안 써본 초보자든, 매일 Agent를 배포하는 사람이든, 이거 보면 많은 “아, 그렇구나” 하는 순간들이 한 번에 연결될 거야.
진짜 핵심은 이 몇 층뿐이야:
1 텍스트가 어떻게 모델이 먹을 수 있는 숫자로 변하는지 (BPE 토크나이제이션)
2 언어 모델의 본질은 다음 토큰을 예측하는 거야
3 트랜스포머가 어텐션을 써서 메시지를 어떻게 전달하는지
4 훈련할 때 NLL loss를 써서 전체 시퀀스 확률을 높이는지
5 생성할 때 어떻게 한 걸음씩 디코딩하는지
대부분의 사람들이 몇 년 걸려서 맞추는 전체 지도, 이 수업이 직접 그려줄 거야.
https://x.com/huxlab/status/2089918735318757675