사실 AI관련해서는 굉장히 많은 좋은 영상들이 있고, 특히 백색나무님 영상은 전부 필독서에 가깝다. 그러나 그 중에서도 이 영상의 임팩트가 가장 강했던 이유는, AI에서 우리가 쉽게 알지 못했던 하드웨어를 포함한 full stack에 대한 개념들을 알게 해주기 때문.
처음 업로드 되자마자 몇 번을 돌려보고 바로 포스팅하려다 전종현 님이었나가 같은 생각으로 올리신걸 보고 그냥 머 다들 봤겠지 하고 안올렸는데, 아직도 안 본 사람이 있다면 꼭 봐야 할 영상.
어 GPT 5 codex 좋네, 어 gemini pro3 좋고 TPU로 해서 엔비디아가 위기라네? 어 claude가 코딩에는 좋네, 어 xAI 이샛긴 트위터 검색되는거말고 뭐가 나은거지?
이런 경험적(비록 최고 요금제로 agentic coding까지 하는 사람이더라도)인 판단을 넘어 미래엔 어떻게 될까에 대한 판단을 많이 바꿔줬던 것 같고 그에 따른 투자적 판단도 다시 해보게 된다.
구글의 상대우위, 엔비디아, 수많은 칩회사, 메모리 회사 등등에 가지고 있던 장기적인 생각들이 더 깊게 파다보면 많이 달라졌다.
AI 관련해서는 많은 영상들이 있고 익혀야 할 많은 용어들이 있다.
1. 인터커넥트 : NVSwitch, NVLink, NVLink Fusion, MGX Rach Arch, ICI(inter-chip interconnect - 3D torus) , Neuron Link(AWS트레니엄), SerDes(HBM4/SP HBM), PAM4(2진법->4진법), EFA, Optical link(Laser comm.우주데이터센터)
2. 패키징 및 제조공정 : CoWos(Chip on wafer on Substrate-TSCM 2.5D), Reticle Limit, Base Die(HBM 맨아래층), SP HBM, Microbumps & Pitch
3. Chip & hardware : Hopper(H100/200), Blackwell(GB200/B200/GB300-수냉식설비), TPU(구글의 ASIC), Trainium/Inferentia, AI SSD, KV 캐시, SRAM
4. 모델 아키텍처 : MoE(Mixture of Experts - 딥시크 모먼트), Sparse MoE/Dense Model, Grokking(모델이 암기만 하다 임계점을 넘으면 성능 급상승. Dense모델에서 주로 발생), Router, Shared Expert, FFN(feed forward network), Mamba, Attention, KV Cache(Key-value, VRAM부족의 주원인. 추론시 이전 문맥저장), Entropy, CNN/RL/DL/
5. 양자화 및 데이터 포맷 : FP8(E4M3,E5M2), FP4(E2M1), Scaling Factor, ALU
6. Software : CUDA(NVidia), TorchTPU, XLA(Accelerated Linea Algebra), PRJT, HAL, Flash attention , Ontology(팔란티어)
7. Strategy : Scaling Laws(Pre-training, post-training, test time compute, verified rewards), TCO(Total cost of Ownership-칩 가격, 전력,냉각,인프라 등 포함한 총 소유비용), Tokenomics(Cost per token), Economic Oxygen (구글의 상대 말려죽이기 전략, Low-cost producer), Capex cycle, Project Rainier(AWS의 순수 트레이니엄 칩 데이터센터)
8. Corps : 브로드컴, Groq, cerebras, 국내ai기업들
반도체 개발할거도 아니고 내가 이걸 왜 알아야 하냐? 라기보단 기본 용어들과 개념을 모르면 인터뷰 하나를 보다가도 수없이 많은 용어들이 당연히 너네 이거 알지 하는 식으로 말하며 지나가기에 탁탁막혀 포기하게 된다.
(ex. "rainbow is all you need로 너무도 유명한 xx와 함께~~"=>무지개가 뭔데 씹덕아?..)
물론 걍 몰라도 어차피 사는 주식들은 크게 다르지 않긴 하지만 알고 나면 어떤 뉴스가 나왔을 때 아 이건 여기에 좀 안좋은 뉴스네, 앞으로 여기가 더 좋아지겠네가 좀 생기는 듯 하다. 예를 들면 Groq의 인수를 두고도 뉴스와 전문가 사이에 어떻게 보면 반대의 시각으로 보던 것도 흥미롭다.
26년은 단연 AI, 그중에서도 Physical AI, 핵융합/에너지, 우주 등 AI와 관련된 테마들이 계속 나올거기에 미리 알아둬야 편할 듯 하다.