“AI를 100배 빠르게 만드는 것이 아니라, 기다릴 필요가 없는 작업을 골라 기존 인프라의 비싼 전제들을 제거하면 지능을 훨씬 싸게 생산할 수 있다.”
Sail은 자신을 오픈모델 API와 장기 실행 에이전트용 VM을 제공하는 ‘토큰 공장’으로 정의한다. 하지만 토큰은 현재의 측정·과금 단위일 뿐 최종 상품은 아니다.
고객이 정말 원하는 것은 다음과 같다.
- 내가 원하는 일을 끝낼 것
- 결과가 검증 가능할 것
- 정해진 품질을 만족할 것
- 마감시간을 지킬 것
- 비용 상한을 넘지 않을 것
따라서 운영 시스템이 최적화해야 할 값은 단순한 최저 토큰 가격이 아니다.
검증된 성공 1건의 기대비용
= 모델·GPU·메모리·도구·재시도·검증 비용
÷ 작업 성공확률
싼 모델이 계속 실패한다면 비싼 모델보다 결과적으로 더 비싸다. 장기적으로는 고객이 토큰 수를 지정하기보다, 에이전트가 여러 번 시도하고 도구를 사용해 결과를 완성하며 필요한 토큰 예산을 스스로 관리하게 된다.
2. 가장 중요한 제품 가설: 사람을 기다리게 하지 않는다
AI 작업은 크게 두 시장으로 갈라진다.
1. 실시간 작업
- 채팅, 음성, IDE 자동완성
- 사용자가 화면 앞에서 기다림
- 개별 응답의 지연시간이 중요
- 고가 GPU와 NVLink 같은 강한 인터커넥트가 유리
2. 백그라운드 작업
- 심층 연구, 보안 검사, 코드 유지보수
- 모델 eval, RL rollout, 대량 문서 처리
- 몇 시간에서 며칠 동안 실행
- 순간 속도보다 총처리량·성공률·비용이 중요
Sail의 핵심 가설은 앞으로 토큰 수요의 대부분이 두 번째 시장에서 발생한다는 것이다. Neil은 단기적으로 실시간과 백그라운드가 약 50:50, 장기적으로는 백그라운드가 90%까지 갈 수 있다고 전망한다.
이 가설이 맞으면 전체 인프라의 조건이 연쇄적으로 바뀐다.
검증 가능한 장기 작업
→ 사람이 결과를 기다리지 않음
→ 지연시간 제약 완화
→ 큰 배치로 GPU 처리량 극대화
→ NVLink가 약한 칩도 활용
→ 작고 분산된 데이터센터 활용
→ 낮은 가동률과 간헐 전력 수용
→ 토큰 비용 하락
→ 더 많은 시도와 더 긴 추론
→ 작업 성공률 향상
즉, 백그라운드 에이전트는 사용 사례 하나가 아니다. 칩·데이터센터·전력의 경제성을 모두 바꾸는 출발점이다.
3. GPU보다 메모리와 데이터 이동이 중요해진다
GPU는 많은 작업을 큰 배치로 처리할 때 가장 효율적이다. 여러 요청을 묶으면 총처리량은 높아지지만 각 사용자는 더 기다린다. Neil은 이를 자가용과 버스에 비유한다.
- 자가용: 한 사람에게 빠르지만 시스템 효율은 낮음
- 버스: 여러 사람을 함께 옮겨 효율적이지만 개별 도착은 느림
여러 GPU를 연결해도 성능은 선형으로 늘지 않는다. 인터뷰의 예에서는 GPU 8개를 사용해도 통신 오버헤드 때문에 속도는 약 4~5배만 개선될 수 있다. 최저 지연에는 NVLink가 중요하지만, 백그라운드 처리량이 목표라면 expert·pipeline parallelism으로 통신을 숨길 수 있다.
트랜스포머에는 성격이 다른 두 작업이 붙어 있다.
- MLP·가중치 계산: compute-bound
- Attention·KV cache: memory-bound
모델 가중치가 고정된 세계 지식이라면 KV cache는 현재 대화의 동적 기억이다. 문맥과 사용자 수가 늘수록 계속 커지고, 긴 세션에서는 가중치보다 큰 메모리를 차지할 수도 있다.
이 때문에 하나의 완벽한 칩보다 이종 컴퓨팅이 중요해진다.
- 빠르지만 작은 SRAM → 고속 가중치·계산 처리
- 크지만 상대적으로 느린 HBM·DRAM → 긴 문맥과 KV cache
- 더 느리고 싼 Flash → 지연을 감수한 KV offload 후보
Neil은 현재 KV cache가 정보량에 비해 지나치게 커서 약 10~100배 압축 여지가 있을 수 있다고 본다. 반면 큰 행렬곱은 이미 이론 성능의 약 70~80%까지 사용하므로 커널 개선만으로 1000배 절감은 불가능하다.
4. 공급 전략: 최고의 GPU가 아니라 가장 저평가된 자원을 찾는다
Neil의 원칙은 “나쁜 칩은 없고 나쁜 가격만 있다”이다.
- 저지연 추론 → NVIDIA·NVLink
- 대량 비동기 작업 → AMD·TPU·Trainium·신생 칩
- 계산 집약 단계 → 연산 성능이 좋은 칩
- 긴 문맥 단계 → 메모리 용량이 큰 칩
여기서 이기종 라우팅은 하나의 토큰을 여러 국가의 칩에 나누는 것이 아니다. 요청·작업·독립적인 작업 단계별로 적합한 칩과 사이트를 고르는 것이다. 진행 중인 KV cache는 같은 사이트에 두고, 사이트가 죽으면 의미적 체크포인트에서 다시 시작하는 편이 현실적이다.
데이터센터에서도 같은 논리가 적용된다.
훈련은 GPU가 끊임없이 통신해야 하므로 거대한 집중형 클러스터가 필요하다. 추론은 독립 요청을 여러 곳으로 나눌 수 있다. 미국에서는 1GW·100MW 시설보다 1MW 전력이 훨씬 많이 흩어져 있고, 액체냉각을 쓰면 약 8개 랙으로 1MW급 컴퓨트를 구성할 수 있다는 설명이다.
Sail은 다른 고객이 기피하는 자원을 모으려 한다.
- 놀고 있는 사설 GPU
- 시장에서 저평가된 칩
- 95% 가동률의 소형 데이터센터
- 백업 발전기·중복 회선이 없는 시설
- 태양광·풍력처럼 간헐적이지만 싼 전력
한 사이트가 멈추면 다른 사이트로 작업을 옮긴다. 몇 시간짜리 작업에 1~10분이 추가되는 것은 실시간 서비스에는 치명적이지만, 사용자가 자고 있는 백그라운드 작업에는 허용될 수 있다.
이것이 ‘scavenger strategy’다. OpenAI·Anthropic과 최고급 Blackwell과 안정적인 전력을 놓고 경쟁하지 않고, 시장이 제대로 가격을 매기지 못한 파편화된 자원을 모아 하나의 토큰 공장으로 운영한다.
5. 필요한 제품: Agent Compute Operating Layer
고객에게는 복잡한 인프라를 보여줄 필요가 없다. 고객은 다음만 지정하면 된다.
- 작업 목표와 완료 조건
- 품질 기준과 검증 방법
- 마감시간과 비용 상한
- 데이터 처리 지역
- 허용할 외부 작업과 부작용
뒷단의 운영계층은 다음을 처리한다.
1. 작업을 단계와 DAG로 분해
2. 단계별 모델·칩·사이트 선택
3. 배칭과 deadline 스케줄링
4. KV cache 위치와 세션 affinity 관리
5. 의미적 체크포인트 저장
6. 장애 시 다른 사이트에서 재실행
7. 이메일·결제·배포 같은 부작용 중복 방지
8. 결과 검증 후 필요하면 더 강한 모델로 승격
Long-horizon task에서 중요한 체크포인트는 GPU 메모리 전체가 아니다.
- 완료한 작업 단계
- 대화와 도구 실행 결과
- 생성한 파일과 Git 상태
- 사용한 모델·프롬프트·도구 버전
- 남은 비용과 마감시간
- 이미 실행한 외부 부작용
따라서 이 제품은 단순 GPU 중개나 최저가 추론 API가 아니다. 고객에게는 “일을 끝내주는 서비스”를 제공하고, 내부에서는 모델·칩·메모리·사이트·전력을 하나의 시스템으로 조정하는 운영체제다.
장기적인 해자도 특정 커널 하나가 아니다. 어떤 작업을 어떤 모델·칩·사이트에서 몇 번 실행해야 가장 싸고 확실하게 끝나는지를 축적한 라우팅·실행·검증 데이터다.