• OpenAI 가 GPT-2 를 만들던 시절에는 168시간 걸렸음(이 땐 Google TPU v3 32개로 한 것이니 비교는 불가)
• 올해 1월에 카파시가 재구현하면서 3분으로 시작
• 올해 3월에 autoresearch를 카파시가 들고 오면서 프론티어 시켜서 1.6분까지 최적화
• 올해 8월 3일까지 여러가지 커널 최적화/파라미터 튜닝을 통해 성능을 쥐어짜서 1.23분까지 단축
• 지난 8월 30일에 최신 연구 결과들(Anvil2 optimizer 등등)을 때려붓고 40초로 단축
이제 피자 한판값 H100 임대료로 피자보다 빠르게 GPT-2를 만들수 있음. 기술의 발전이 정말 무서움
https://x.com/classiclarryd/status/2104688738354028962