SF에서 추론 엔지니어, 모델 연구자, 데이터센터 빌더, AI 기업의 현장 엔지니어(FDE)들과 나눈 이야기 몇 가지.
1. 고객 유지와 모델 경쟁력은 따로 봐야 한다.
고객은 데이터 정리, 평가, 배포, 장애 대응을 맡아주는 팀 때문에 남을 수 있다. 모델 자체의 우위는 실제 업무에서 검증하고, 새 범용 모델이 나왔을 때 다시 비교해야 한다. 고객이 늘 때마다 엔지니어도 같은 비율로 늘어야 하는지도 살펴볼 부분이다.
2. 큰 잠재시장에도 도입 시간은 필요하다.
여전히 낡은 ERP와 메신저 중심으로 일하는 기업이 많다. 모델이 좋아지는 속도와 기업이 업무를 바꾸는 속도는 다르다. AI의 장기 수요를 낙관하더라도, 지금 특정 GPU 물량에 투자할지는 고객의 계약·지출 시점까지 보고 판단해야 한다.
3. 전문 데이터 사업은 반복 구매가 관건이다.
CAD·기계설계·EDA 같은 전문 작업 데이터와 학습 환경도 기회로 거론됐다. 다만 특정 모델사의 당장 필요한 데이터에 의존한다면, 학습 수요가 바뀐 뒤에도 매출을 유지할 수 있는지가 남는다.
4. 밤새 돌리는 에이전트에도 마감은 있다.
응답이 몇 초 늦어도 괜찮을 수 있지만, 단계가 이어지면 지연이 쌓인다. 다음 날 아침까지 끝나야 하는 작업이라면 허용할 수 있는 속도에도 한계가 있다. 업무의 마감과 정확도를 정해야 추론 가격도 제대로 비교할 수 있다.
5. 음성·보안 AI는 사람이 마무리하는 비용까지 봐야 한다.
자연스러운 통화가 상담의 해결을 뜻하지는 않는다. 취약점 후보도 실제 문제인지 확인해야 한다. 예외 처리, 사람에게 넘기는 과정, 오탐 검토에 드는 시간까지 포함해야 실제 자동화 효과가 보인다.
6. GPU 금융에는 회수 이후의 계획이 필요하다.
차주가 부도나면 누가 장비를 회수하고, 가격을 매기고, 운영하거나 되팔 것인가. 구매 가격만으로는 답할 수 없다. 재판매 정보를 가진 운영사나 중개자가 대출기관의 판단을 도울 여지가 있다. 다만 중개에서 직접 매입·임대로 넘어가면 자본 부담과 가격 변동 위험도 직접 떠안게 된다.
7. 하드웨어 원가는 설치·운영까지 계산해야 한다.
배치 추론, 실시간 응답, 학습은 요구 조건이 다르다. 컨테이너에 넣어도 냉각·전력 연결·부품 조달·현장 작업은 남는다. 대체 칩도 성능과 가격에 더해 메모리, 소프트웨어, 실제 조달 가능성을 봐야 한다. 제조 현장을 관리하고 설치까지 끝내는 실행력이 원가에 영향을 준다는 이야기도 나왔다.