1. AI 비용의 본질
- 예전 클라우드 비용처럼, 이제는 토큰 비용이 새로운 인프라 청구서가 됨
- 문제는 AI를 많이 쓰냐가 아니라 AI가 쓸모 있는 맥락을 받고 있느냐
- Tokenmaxxing은 AI 사용량을 극대화하는 것
- Contextmaxxing은 AI 액션 1회당 유효한 맥락을 극대화하는 것
2. 나쁜 토큰 소모?
- 좋은 토큰 소모는 추론, 작성, 테스트, 검증에 쓰이는 비용
- 나쁜 토큰 소모는 조직이 이미 아는 내용을 AI가 매번 다시 찾는 비용
- 코드베이스, 슬랙, 회의록, 티켓, 문서를 매번 다시 읽으며 "왜 이 결정이 내려졌는지" 재구성하는 것 = 기억상실 비용
3. 큰 컨텍스트가 답은 아님
- 컨텍스트 윈도우가 커진다고 문제가 해결되는 건 아님
- 오히려 더 많은 무관한 자료를 모델에 밀어 넣는 유혹이 생김
- 핵심은 많이 넣는 게 아니라 지금 작업에 필요한 정확한 맥락만 넣는 것
- 관련 결정, 고객 약속, 실패한 접근, 담당자, 최신 문서, 충돌하는 티켓 같은 정보가 중요
4. 기업 AI의 다음 해자는 회사 기억
- 앞으로 기업 AI의 성능은 모델보다 메모리 레이어에서 갈릴 가능성이 큼
- 모든 에이전트가 매번 0에서 시작하면 토큰은 계속 낭비됨
- 조직의 지식, 의사결정, 작업 이력, 고객 맥락이 구조화돼 있으면 AI는 바로 실행과 판단에 토큰을 쓸 수
- 결국 기업용 AI의 핵심 인프라는 RAG를 넘어선 Company Brain에 가까워질 것
✍️이미 알고 있는 것을 다시 기억하는 데 토큰을 낭비하지 않는 회사가 되어야 함. 즉, 조직의 맥락을 얼마나 잘 압축하고 유지하느냐