1. Databricks가 복잡한 문서에서 데이터를 추출하는 AI Extract Precision Mode를 공개했음. 단순한 PDF 인식 기능처럼 보이지만, 실제로는 AI 산업의 가치가 범용 모델에서 에이전트 실행 시스템으로 이동하고 있다는 사례
2. 범용 LLM은 기본적으로 다음 토큰을 예측하도록 학습됨. 그래서 문서에 적힌 값을 정확히 복사해야 하는 상황에서도 오탈자를 임의로 수정하거나, 형식을 보정하고, 존재하지 않는 정보를 채워 넣을 수 있음. 일반 대화에서는 장점이지만 회계·계약·의료에서는 치명적임
3. 특히 기존 방식은 수백 페이지 뒤의 조항을 앞부분과 대조하거나, 수천 개의 송장 항목을 빠짐없이 출력하고, 300개가 넘는 중첩 필드에 계산과 추론을 적용할 때 쉽게 무너짐. 컨텍스트 초과, 출력 잘림, 필드 누락, 스키마 오류가 발생하기 때문
4. Databricks의 해법은 더 큰 모델 하나에 문서 전체를 맡기는 것이 아님. 문서 추출에 특화된 모델과 에이전틱 하네스를 결합했음. 먼저 스키마를 분석하고 문서를 의미 단위로 나눈 뒤, 여러 서브에이전트가 병렬로 추출하고 중간 결과를 보존해 최종 구조로 병합함
5. Databricks 자체 벤치마크 기준으로 9,000개의 복잡한 문서에서 94.7%의 정확도를 기록했음. 가장 강한 범용 모델 기반 방식보다 7%p 높았고, 문서당 비용도 더 낮았음
6. 핵심은 범용 모델의 성능이 낮아서가 아니라, 범용 모델만 호출하는 방식의 한계가 드러나고 있다는 점임. 실제 엔터프라이즈 환경에서는 모델 자체보다 작업 분해, 병렬 실행, 메모리, 검증, 재시도, 스키마 준수와 같은 시스템 설계가 결과를 좌우함
7. 이는 AI 가치사슬에도 중요한 변화임. 범용 모델이 상향 평준화될수록 기업은 특정 모델에 높은 비용을 계속 지불하지 않을 것임. 값싼 모델이나 자체 특화 모델을 선택하고, 자사의 데이터, 워크플로우, 평가 시스템과 결합해 동일한 작업을 더 정확하고 저렴하게 처리하려 함
8. 그 결과 토큰당 가격은 하락하지만 전체 토큰 소비는 오히려 폭증함. 하나의 거대 모델 호출이 여러 특화 모델과 서브에이전트의 병렬 실행으로 바뀌기 때문. 모델 사업자의 초과이익은 압박받을 수 있지만, 전체 컴퓨팅과 추론 수요에는 강한 제번스의 역설이 나타남
✍️다음 AI 승부처는 누가 비정형 데이터를 낮은 비용으로 신뢰 가능한 업무 결과로 전환하는가에 있음