DeepSeek 추론 엔진 DeepInfer란? vLLM과 차이·공개 범위 정리

DeepSeek 추론 엔진 DeepInfer는 DeepSeek가 자사 대규모 서비스에 쓰는 고성능 추론 프레임워크를 Apache License 2.0으로 공개한 것이에요. 2026년 10월 20일 GitHub 저장소 README를 확인한 기준으로 지원 모델은 DeepSeek-V4.1-Flash 하나, 지원 하드웨어는 NVIDIA SM100 GPU와 화웨이 Ascend 950 NPU 두 가지이고, 공개판은 오프라인 추론을 제공해요. KV 캐시 시스템·프리필/디코드 분리·로드 밸런싱처럼 실제 API 서비스에 필요한 부분은 빠져 있어서, vLLM·SGLang을 바로 대체하는 범용 LLM 서빙 엔진이라기보다 DeepSeek 모델 전용 엔진의 핵심부라고 보는 편이 정확해요.

이 글은 추론 엔진이 무슨 일을 하는지부터 DeepInfer에 들어 있는 기능, 빠진 부분, 기존 오픈소스 서빙 엔진과의 차이, 자체 GPU로 모델을 운영하는 팀이 도입 전에 확인할 단계를 차례로 설명해요. 공개 직후의 저장소를 기준으로 했기 때문에 지원 범위는 이후 업데이트로 달라질 수 있어요.

DeepSeek 추론 엔진 DeepInfer란?

README는 DeepInfer를 DeepSeek의 대규모 프로덕션 서비스를 움직이는 고성능 추론 프레임워크라고 소개하고, 이번 공개판이 대규모 서빙에 필요한 핵심 기능을 갖춘 오프라인 추론을 제공한다고 적고 있어요. 처음부터 새로 짠 엔진은 아니에요. README 감사 문구에 따르면 DeepInfer는 주로 vLLM을 기반으로 만들어졌고 SGLang과 TensorRT-LLM에서도 아이디어를 얻었어요.

배경도 알아 두면 좋아요. DeepSeek는 이전에 open-infra-index 문서에서 내부 추론 엔진이 오래된 vLLM 포크를 자사 모델에 맞춰 크게 고친 것이고, 내부 클러스터 관리 도구와 강하게 묶여 있어 통째로 공개하기 어렵다고 밝혔어요. 그래서 당시에는 기존 오픈소스 프로젝트에 기능을 나눠 기여하겠다는 방향을 택했죠. DeepInfer는 그 엔진의 상당 부분을 별도 저장소로 내놓은 것이지만, 인프라와 맞물린 부분은 이번에도 공개 범위 밖에 있어요.

LLM 서빙 엔진은 무슨 일을 하나요

학습이 끝난 모델 가중치는 그 자체로는 큰 파일일 뿐이에요. 사용자의 요청을 받아 GPU에서 토큰을 만들어 내는 소프트웨어가 추론 엔진, 흔히 말하는 LLM 서빙 엔진이에요. 엔진은 모델을 GPU 메모리에 올리고, 여러 요청을 묶어 처리하고, 앞서 계산한 결과(KV 캐시)를 관리하며, 큰 모델을 여러 GPU에 나누는 일을 맡아요.

• 프리필(prefill): 입력 프롬프트 전체를 한 번에 계산하는 단계예요. 계산량이 많아 GPU 연산 성능이 중요해요.
• 디코드(decode): 답을 한 토큰씩 이어서 만드는 단계예요. 메모리 대역폭이 병목이 되기 쉬워요.
• 배칭·스케줄링: 여러 사용자의 요청을 묶어 GPU가 놀지 않게 하는 일이에요.
• 병렬화: 모델을 여러 GPU에 나눠 싣는 방법이에요. MoE(전문가 혼합) 모델은 전문가를 GPU마다 나눠 두는 전문가 병렬화(EP)를 자주 써요.

같은 모델이라도 어떤 엔진을 쓰느냐에 따라 초당 생성 토큰 수, 첫 토큰이 나오기까지의 지연, GPU 한 장이 감당하는 동시 사용자 수가 달라져요. 자체 GPU로 모델을 운영하는 기업에는 엔진 선택이 곧 GPU 비용 문제인 이유예요. 오픈소스 모델·엔진 공개 소식이 국내 AI 커뮤니티에서 어떻게 다뤄지는지는 아래 텔레그램 AI 트렌드에서 함께 살펴볼 수 있어요.

페이지 참고

트렌드theddari.com›트렌드텔레그램 · AIAI 채널 실시간 포스팅 피드

DeepInfer에 들어 있는 핵심 기능

커널과 병렬화

DeepInfer는 DeepSeek가 따로 공개해 온 FlashMLA·DeepGEMM·DeepEP·TileKernels·DeepSelect 같은 커널 라이브러리와 TileLang으로 작성한 커스텀 커널을 묶어 써요. 병렬화는 어텐션 쪽에 데이터 병렬(DP)과 균형 잡힌 컨텍스트 병렬(CP)을, MoE 쪽에 전문가 병렬(EP)과 전문가 부하 분산(EPLB)을 적용해요. DeepSeek의 MoE 모델 구조에 맞춰 GPU 간 통신과 연산을 최적화한 조합이라고 이해하면 돼요.

디코딩 가속: DSpark

README가 DSpark라고 부르는 기능은 초안(draft) 토큰으로 디코딩을 빠르게 하고, 신뢰도 추정을 이용해 언제 검증할지 정하는 방식이에요. 여러 토큰을 미리 추측한 뒤 검증하는 추측 디코딩(speculative decoding) 계열로 볼 수 있어요. 환경 변수로 켜고 끄며, 최대 초안 길이 기본값은 5예요.

재현성: 배치 불변 추론과 결정적 샘플링

배치 불변 추론은 요청이 어떤 다른 요청들과 함께 묶이든 결과가 같게 유지되도록 하는 기능이에요. 결정적 샘플링은 같은 입력 토큰과 샘플링 설정, 고정 시드를 주면 같은 출력을 내요. 둘 다 README상 NVIDIA 전용이에요. 모델 평가나 강화학습 롤아웃처럼 결과를 다시 재현해야 하는 작업에서 쓸모가 커요.

그 밖의 기능

• 비동기 스케줄링: CPU의 배치 스케줄링과 GPU 실행을 겹쳐 대기 시간을 줄여요. 기본으로 켜져 있어요.
• SWA bounded replay: 슬라이딩 윈도 어텐션 디코더에서 필요한 뒷부분만 다시 계산해 프리필 작업을 줄여요.
• 구조화 출력: 정규식, JSON 스키마, EBNF 문법에 맞춰 출력을 제한할 수 있어요.

공개되지 않은 부분: 엔진은 있지만 서비스 스택은 없어요

README는 완전한 추론 서비스에 필요하지만 이번 공개에 포함되지 않은 항목을 따로 적어 두었어요.

1. KV 캐시 시스템: 여러 요청이 공유하는 프롬프트 앞부분의 계산 결과를 저장해 재사용하는 계층이에요.
2. VE/프리필/디코드 분리(disaggregation): 단계별로 다른 장비에서 처리하는 구성이에요. README는 필요한 엔진 기능 대부분은 이미 구현돼 있다고 덧붙였어요.
3. 데이터 병렬 복제본 간 로드 밸런싱: 프리필과 디코드 각각에서 여러 복제본으로 요청을 나누는 기능이에요.

정리하면 GPU 한 묶음에서 모델을 효율적으로 돌리는 엔진은 받을 수 있지만, 수많은 사용자 요청을 받아 복제본에 나누고 캐시를 재사용하는 운영 계층은 직접 만들거나 다른 도구로 채워야 해요. README의 시작 안내도 오프라인 추론 예제 중심이고, OpenAI 호환 API 서버 같은 온라인 서빙 진입점은 소개돼 있지 않아요.

vLLM·SGLang과 무엇이 다른가요

차이의 핵심은 범위예요. vLLM과 SGLang은 여러 모델과 하드웨어에 두루 쓰는 범용 엔진이고, DeepInfer는 특정 모델과 최신 하드웨어에 맞춰 깎은 전용 엔진이에요. 아래 표는 2026년 10월 20일 각 저장소 README를 기준으로 정리했어요.

DeepInfer README에는 vLLM·SGLang과 같은 조건에서 비교한 수치가 없어요. 공개된 그래프는 DeepInfer 자체의 처리량-지연 곡선이라서 어느 엔진이 더 빠르다고 단정할 근거는 아직 없어요.

관계도 경쟁보다는 출발점을 공유하는 쪽에 가까워요. DeepInfer가 vLLM 위에서 출발했고, vLLM README도 FlashMLA를 지원 어텐션 커널 목록에 올려 두고 있어요. DeepSeek의 최적화 기법이 범용 엔진으로 흘러드는 경로가 이미 있다는 뜻이라, 이번 공개로 공개된 기법이 기존 엔진에 다시 반영될 가능성도 지켜볼 만해요.

자체 GPU로 모델을 운영한다면: 도입 전 확인 단계

1. 1

   하드웨어부터 확인해요

   NVIDIA SM100 GPU나 화웨이 Ascend 950 NPU가 아니라면 README 기준 지원 대상이 아니에요. H100 같은 이전 세대나 소비자용 GPU에서는 기존 엔진을 유지하는 편이 맞아요.

2. 2

   운영 모델을 확인해요

   DeepSeek-V4.1-Flash 외 모델을 함께 운영한다면 여러 모델을 한 엔진에서 다루는 vLLM·SGLang이 관리 부담이 적어요.

3. 3

   용도를 구분해요

   평가, 데이터 생성, 강화학습 롤아웃 같은 오프라인 배치 작업이면 바로 시험해 볼 수 있어요. 외부 사용자에게 API를 제공하려면 캐시·라우팅·분리 계층을 따로 마련해야 해요.

4. 4

   같은 조건으로 벤치마크해요

   자기 서비스의 프롬프트 길이와 동시 요청 수로 현재 엔진과 비교해요. 저장소의 run_sweep.sh는 README 그래프 재현용 스크립트라서 출발점으로 쓸 수 있어요.

5. 5

   품질을 점검해요

   eval README는 V4.1 모델의 Pass@1 참고치로 AIME 2026 99.9%, GPQA Diamond 93.4%, HLE-Full 42.6%를 제시해요. 반복 실행마다 조금 달라질 수 있는 참고치이며, 배포 설정이 올바른지 확인하는 기준으로 쓰라고 안내해요.

6. 6

   유지보수와 반입 절차를 확인해요

   커밋 이력이 짧은 첫 공개 단계라 업데이트 주기와 이슈 대응을 지켜봐야 해요. 사내 오픈소스 반입·보안 검토 절차가 있다면 의존 커널과 vendor 폴더까지 함께 검토해요.

화제가 된 수치는 어떻게 읽을까요

공개 직후 커뮤니티에는 DeepSeek 서비스 전체의 처리량이나 GPU 한 장당 수익 같은 수치가 함께 돌았지만, 이런 숫자는 저장소 README에 없어요. 저장소에서 확인되는 것은 측정 구성이 적힌 성능 그래프와 평가 참고치뿐이에요. 평가 참고치는 엔진이 모델 품질을 제대로 재현하는지 보는 용도이지 엔진 속도를 비교하는 지표가 아니에요.

• 오픈소스가 곧 저렴한 운영은 아니에요: 엔진 코드는 무료지만 SM100급 GPU 비용과 운영 인력이 필요해요.
• 엔진 공개와 API 요금은 별개예요: 엔진 공개 자체가 DeepSeek API 가격이나 이용 조건을 바꾸지는 않아요.
• 재현성 기능에는 조건이 있어요: 배치 불변 추론과 결정적 샘플링은 NVIDIA 전용이고, 결정적 샘플링은 DSpark 관련 설정을 꺼야 해요.
• 엔진과 모델 라이선스를 따로 봐요: 엔진은 Apache 2.0이지만 실행할 가중치는 모델 카드의 조건을 따라요.

기술 발표를 둘러싼 해석은 출처마다 차이가 커요. 국내 블로그와 커뮤니티에서 이 소식을 어떻게 다루는지 아래 블로그 트렌드에서 비교해 보면, 원문에 없는 주장을 걸러 내는 데 도움이 돼요.

페이지 참고

트렌드theddari.com›트렌드블로그 포스팅요약된 네이버 블로그 글 피드

정리: 오픈소스 LLM 서빙에서 무엇이 달라지나요

DeepInfer 공개로 달라지는 점은 크게 세 가지예요. 첫째, DeepSeek가 실제 서비스에 쓰는 커널·병렬화·스케줄링 조합을 코드로 볼 수 있게 됐어요. 둘째, DeepSeek-V4.1-Flash를 SM100이나 Ascend 950에서 대규모로 돌리는 팀에게 vLLM·SGLang 외의 선택지가 생겼어요. 셋째, 배치 불변 추론과 결정적 샘플링처럼 재현성을 중시하는 기능이 오픈소스로 제공돼요. 반대로 캐시·라우팅·분리 계층이 빠져 있고 지원 모델과 하드웨어가 좁기 때문에, 대부분의 팀에게는 당장 엔진을 바꾸기보다 자기 워크로드로 비교해 보고 기존 엔진에 기법이 반영되는지 지켜보는 쪽이 현실적인 대응이에요.