• 10명짜리 회사에서 한달에 7.7만건의 배포를 수행. 하루 100회 이상
• 지난달 토큰에만 310만불을 사용
• 모든 실무는 사람의 승인 없이(human-in-the-loop) 에이전트가 자동으로 수행
• Fable이 등장하기 전에는 이런 방법이 동작하지 않았음. 다른 모델은 여러가지 이유로 실패함. Fable 5.1 이 나온 뒤로는 훨씬 더 좋아짐
• 군집 속의 개미처럼 스스로 에이전트들이 명시적 지시 없이 특정 목표를 향해 수렴하도록(즉 merge conflict 등이 발생하면 스스로 리베이스한다던가) 설계
• 코딩 에이전트는 실수를 하지 않나요? 함. 그러면 스스로 배포 전 테스트 실패나 배포 후 버그를 보고 스스로 복구하도록 함. 당연히 adversarial review도 수행함. 롤백은 전체 배포 중 0.9%만 이루어짐.
• 배포는 항상 24시간 내내 이루어져야함. 1시간 동안 배포가 이루어지지 않으면 최고 수준의 장애로 간주. ㅋㅋ
• 다음으로 필요한 기능은 무엇일까? 작성자는 두 가지를 제시함. 첫 번째는 사용자의 취향을 반영하는 것(대부분의 steering 이 사용자의 선호를 Claude와 정렬하는 작업이었음). 두 번째는 엔트로피(혹은 상상력).
• 지금 이미 존재하는 기성 대형회사들은 이러한 업무방식을 도입하기는 어려울 것임. 이러한 closed loop 방식은 본질적으로 (고장날) 위험성을 내포함. 이를 감수해야 함. 또한, 억지로 AI 모델을 인간 중심 사고틀에 맞추려고 하면 안 됨.
개인적으로 기대되는 건 이러한 extreme tokenmaxxing을 1년 뒤면 개인 수준의 자금력에서도 할 수 있지 않을까 싶은데 그 전에 빠르게 이 agent swarm 방식에 적응해야 할 것 같음. 스타트업하기 너무 좋은 시대 아닌가
https://x.com/jsnnsa/status/2115623382721126826
한국어: https://rosettalens.com/s/ko/how-i-built-the-most-ai-pilled-company-in-the-world