우리는 이제 "자전거를 탄 펠리컨의 svg를 만들어라" 같은 방식으로 LLM을 테스트하던 영역을 벗어나기 시작했다. 이를 일반화할 하나의 아이디어로, 반지의 제왕 첫 문단과 1M token 예산(~$10)을 주고 이를 three.js로 렌더링해달라고 하면 Opus 5가 어떻게 할지 궁금했다. Opus는 약 2시간 동안 작업해서 그 이야기를 (절차적으로) 렌더링하는 5500줄의 코드를 작성했다. 좀 엉성하긴 하지만 재미있다. 하지만 LLM이 다양한 polygon 에셋을 (x,y,z) 좌표에 배치하고 조율하며 이 모든 것을 애니메이션하는 코드를 작성해야 한다는 것, 그리고 그게 어쨌든 뭔가 작동한다는 것 자체가 좀 어리둥절할 정도다.
나는 이런 종류의 예시를 좋아하는데, 제정신인 사람이라면 아무도 이렇게 커스텀한 것을 만드는 데 시간을 쓰지 않겠지만 LLM은 세상의 모든 인내심과 끈기를 갖고 있기 때문이다. 그래서 이는 "아무도 이런 걸 하지 않을 것이다"에서 "그래, 왜 안 되겠어, 거의 공짜인데"로 넘어가는 예시다. 이런 게 훨씬 더 많이 있을 수 있다. 하지만 나는 플레이어를 떨어뜨려 넣을 수 있는 초커스텀 세계를 만드는 것에 흥미를 느끼는데, 예를 들어 여기서는 관찰자 NPC로, 혹은 등장인물 중 하나로 LoTR 이야기에 참여하는 식이다. 온디맨드로 만들어지는 X의 일시적인 GTA 같은 것이다.
마지막으로 드는 생각은, world/game이라는 영역이 LLM의 약점을 드러낸다는 것이다. LLM은 자신의 작업을 쉽게 감사(audit)할 수 없는데, 이는 영상을 효율적이고 네이티브하게 인지하거나 그 안에서 게임을 플레이할 수 없기 때문이다. 여기서 Opus 5는 여러 지점에서 매우 느리고 힘겹게 스크린샷을 찍어야 했고, 몇 번 실수를 저질러 온갖 엉성함을 만들어냈다. 아직 상당히 부족하다고 생각하는 raw capability(multimodal, gameplay)의 한 예다.