충격적이게도
엄청난 퍼포먼스를 보이고있는 구글의제미니3 개발이 모두 TPU로 만들어졌다는게 밝혀졌다.
여기서 나의 강력한 의문이 있다.
'GPU의 CUDA 생태계를 안쓰고 어떻게 개발했지? '
그질문에대한 공부를 풀어보겠다.
----
1. CUDA의 대체자, 'JAX(잭스)'와 'XLA'
엔비디아에 PyTorch(파이토치) + CUDA 조합이 있다면, 구글은 JAX(잭스) + XLA라는 자기들만의 강력한 무기를 썼다.
JAX (잭스): 개발자들이 쓰는 코딩 도구. 파이썬이랑 문법이 거의 똑같은데, 이게 AI 연산에 엄청 최적화되어 있음. 요즘 구글 딥마인드는 텐서플로우(TensorFlow) 대신 이걸 메인으로 씀.
XLA (가속기 컴파일러): 이게 진짜 '핵심 기술'.
내가 궁금한 게 "CUDA 라이브러리 없이 하드웨어 제어를 어떻게 하냐"였는데 이 XLA가 그 역할을 한다.
개발자가 JAX로 코드를 짜면, XLA라는 녀석이 중간에서 "야, TPU야! 너 이 코드 알아듣지?" 하면서 TPU가 이해할 수 있는 기계어(명령어)로 직역을 해준다.
즉, CUDA를 거칠 필요 없이 소프트웨어(JAX) → 컴파일러(XLA) → 하드웨어(TPU)로 이어지는 고속도로를 뚫어버린 샘.
----
2. 라이브러리는 어떻게 해결했나? (생태계 구축)
CUDA에는 수년간 쌓인 라이브러리(도구 모음)가 엄청 많다.
구글은 이걸 빌려 쓰는 대신, JAX 기반으로 새로 다 만들었다.
Flax (플랙스): 신경망 만드는 도구
Optax (옵택스): 최적화 도구
Orbax: 거대 모델 저장/관리 도구
이걸 구글 내부에서 'JAX AI Stack'이라고 부르는데,
제미나이 3는 처음부터 끝까지 이 도구들로만 만들어졌음.
남의 집 도구(CUDA)를 빌려 쓴 게 아니라, 자기 집 대장간에서 맞춤형 도구를 직접 만든 격이라 성능 최적화는 오히려 더 잘 됐다는 평이있다.
----
3. 엔비디아가 막을 수 있을까? (우회 여부)
못 막음. 왜냐하면 엔비디아의 기술(CUDA)을 훔쳐 쓰거나 변환(Translation)해서 쓴 게 아니다.
만약 구글이 *"CUDA 코드를 가져와서 TPU에서 돌아가게 변환기를 썼다"*면 엔비디아가 약관 위반으로 소송 걸고 막았을 거다. (예전에 ZLUDA라는 프로젝트가 이런 식이었는데 결국 중단.)
하지만 구글은 아예 "우리는 CUDA 안 씀. 우리 언어(JAX) 쓸 거임" 하고 독자 노선을 탄 거라 법적으로나 기술적으로나 엔비디아가 개입할 여지가 없다.
전 세계 빅테크 중에 칩(TPU) + 언어(JAX) + 컴파일러(XLA) + 모델(Gemini) 까지 수직 계열화를 완벽하게 끝낸 건 구글이 유일.
----
4. 그래서 많은 개발자가 TPU로 넘어갈까?
구글 이외의 개발자들은 이미 쿠다(CUDA)에 익숙하고,
깃허브(GitHub)에 널린 오픈소스 코드들도 죄다 엔비디아 GPU 기준으로 짜여 있다.
그래서 당장 넘어갈거냐 물어보면 당연히 아니다.
하지만 구글도 대중화를 위해 파놓은 전략이 좀 있다.
1) "너네 쓰던 거 그냥 가져와" (PyTorch/XLA)
개발자들이 제일 많이 쓰는 언어(프레임워크)가 메타에서 만든 파이토치(PyTorch) 다. 예전에는 TPU 쓰려면 구글 언어인 텐서플로우나 JAX를 억지로 배워야 했는데, 이제는 PyTorch/XLA 라는 걸 지원한다.
이게 뭐냐면: 개발자가 평소처럼 파이토치로 코드를 짜면, 중간에서 XLA라는 번역기가 알아서 TPU용으로 바꿔주는 거.
한계: 물론 100% 완벽하진 않음. 아주 깊게 파고드는 최적화 코드(CUDA 커널)를 직접 짠 경우에는 수정이 필요하다.
이게 개발자들에겐 귀찮은 장벽인 건 사실이고 실제로 개발자와 대화 나눠보면 제대로 번역을 안해주는문제도 있다고 함.
2) 개미보다는 '고래'를 노린다 (B2B 전략)
이게 핵심이다.
구글은 집에서 코딩하는 대학생이나 개인 개발자(개미)가 TPU를 쓰길 기대하는 게 아님. 천문학적인 돈을 쓰는 기업(고래)들을 노리고 있다.
상황: 어떤 AI 스타트업이 엔비디아 H100을 빌려 쓰려면 시간당 비용이 너무 비싸고, 구하기도 하늘의 별 따기.
구글의 제안: "야, 너네 코드 조금만 수정해서 우리 클라우드 TPU 쓰면, 성능은 비슷한데 비용은 30% 싸게 해줄게. 물량도 바로 있어."
결과: 돈 아껴야 하는 기업들은 엔지니어를 갈아 넣어서라도 TPU로 넘어오게 된다는거.
[실제 사례] 이번에 애플이 '애플 인텔리전스' AI 모델 만들 때 엔비디아 GPU 안 쓰고 구글 TPU 썼다고 공식 발표. 이게 바로 구글이 노리는 시장이다.
"거대 기업들이 엔비디아 갑질 피해서 우리한테 오게 만든다."
3) 추론(Inference) 시장의 깡패
AI는 학습과 서비스(추론)두 단계가 있다.
학습: 아직은 엔비디아가 압도적. 온갖 라이브러리를 다 써야 하니까.
추론: 이미 다 만들어진 모델을 돌려서 대답만 해주는 건데, 이건 복잡한 라이브러리가 덜 필요하다. 여기서 TPU가 '가성비'로 밀고 들어오면 시장 점유율을 가져갈 가능성이 열림.
====
결론
내 결론은 이거다.
구글의 TPU가 추론시장에서 일부 마켓쉐어를 할 가능성은
충분히 열렸다.
하지만 아직까지 CUDA의 해자는 강력하고
AI개발자들은 강력하게 락인되어있는 상태이다.
하드웨어 성능면에서도 추론칩분야의 엔비디아 블랙웰칩은 미친듯이 강력하며,
TPU가 효율성과 가성비로 파고든다고 한다면
엔비디아는 그에따라 가격을 낮추면 충분히 대응가능하다.
가격 선택권은 언제나 엔비디아에게 있으니까 말이다.
그런데 어찌되었든 TPU 성공으로 한가지 확실해진건 있다.
'더이상 엔비디아 GPU가 유일무이한 존재는 아니라는거.'