1. OpenAI가 Broadcom과 공동 개발한 자체 추론칩 Jalapeño의 성능이 공개됨. 토큰 처리량은 NVIDIA Rubin을 상회했고, 성능도 비슷
2. 다만 아직 엔지니어링 샘플과 일부 LLM 추론 워크로드 기준이며, 장문맥, 에이전트, 학습 성능과 양산 안정성은 검증되지 않음
3. 그래도 중요한 이유는 자체칩이 NVIDIA 칩과 비교 가능한 수준 도달했기 때문. 수년간 시행착오를 겪어야 한다는 기존 상식이 무너짐
4. 특히 OpenAI는 Codex를 활용해 Jalapeño용 커널을 생성, 최적화함. AI가 칩을 설계하고, 소프트웨어까지 만드는 통합 개발 체계가 열림
5. 이는 NVIDIA의 CUDA 생태계에 위협적. AI가 새 하드웨어용 커널과 라이브러리를 만들어낸다면, 자체 ASIC이 격차를 급격히 따라잡음
6. 반도체 경쟁 기준도 최고 FLOPS에서 1MW의 전력을 얼마나 많은 토큰으로 바꾸느냐. 전력이 제한된 데이터센터에서는 tokens/$가 중요
7. 물론 NVIDIA는 학습·추론·CUDA를 제공하는 범용 플랫폼이고 Jalapeño는 OpenAI 내부 워크로드에 최적화됨
8. 한편 AMD는 NVIDIA에 더해 TPU, Jalapeño 같은 자체칩과도 경쟁하게 된 상황
9. 반면 HBM thesis는 강해짐. NVIDIA GPU든 OpenAI ASIC이든 추론의 병목은 메모리. 칩 경쟁이 늘어날수록 HBM4, 첨단 패키징 등 수요 확대
10. 직접 수혜는 Broadcom. 칩 설계를 넘어 SerDes, Ethernet 스위치, 네트워킹까지 전반에 참여. OpenAI의 칩 확대가 곧 Broadcom 매출
11. Jalapeño의 HBM4는 삼전 공급 가능성이 거론되고, 연산칩은 TSMC N3P와 CoWoS를 사용하며, Celestica는 보드와 랙 시스템 구축에 참여
12. 이번 뉴스는 AI 인프라의 이익이 NVIDIA에서 ASIC, HBM, 파운드리, 패키징, 네트워크로 분산되기 시작했다는 신호
✍️결국 가장 적은 전력과 비용으로 가장 많은 토큰을 생산하는 시스템을 만드는 경쟁