확산 언어 모델이란? Mercury 3로 본 기존 LLM과 차이·장단점
확산 언어 모델은 답변 전체를 여러 번 다듬으며 토큰을 병렬로 만드는 방식이에요. Mercury 3 발표 수치로 자기회귀 LLM과의 속도·품질·비용 차이와 한계를 정리했어요.
목차8개 섹션
핵심 요약
- 확산 언어 모델은 가려진(마스크된) 답안 전체를 여러 단계에 걸쳐 동시에 채우고 고치는 방식이라, 토큰을 하나씩 순서대로 만드는 자기회귀 LLM보다 순차 단계 수를 줄일 수 있어요.
- Inception Labs는 2026년 10월 19일 Mercury 3를 발표하며 NVIDIA GPU에서 초당 1,068토큰, 100만 토큰 컨텍스트, 입력 100만 토큰당 0.20달러·출력 0.70달러를 제시했어요.
- GPT-6 Luna·Claude Haiku 5.5 대비 품질 우위와 4~8배 속도는 회사 자체 발표라 독립 평가와 내 작업 기준으로 다시 확인해야 해요.
- 연구에서는 긴 컨텍스트와 대량 배치 처리에서 확산 모델의 이점이 줄어들 수 있고, 샘플링 단계 수가 속도와 품질을 함께 좌우한다고 지적해요.
확산 언어 모델(diffusion language model, 디퓨전 LLM)은 답변을 왼쪽부터 한 토큰씩 이어 쓰지 않고, 처음에 전부 가려진 답안을 놓고 여러 단계에 걸쳐 여러 위치를 동시에 채우고 고치는 방식의 언어 모델이에요. 그래서 같은 길이의 답을 만들 때 거쳐야 하는 순차 단계 수를 줄일 수 있고, 이것이 속도 주장의 근거가 돼요. 2026년 10월 기준 대표적인 상용 사례는 Inception Labs가 2026년 10월 19일 발표한 Mercury 3예요. 이 글은 발표 자료와 공개 논문을 바탕으로 기존 자기회귀 LLM과의 차이, 속도·품질·비용 장단점, 도입 전에 확인할 점을 정리해요.
확산 언어 모델이란? 한 글자씩이 아니라 전체를 다듬는 방식
지금 널리 쓰이는 ChatGPT·Claude 계열 LLM은 대부분 자기회귀(autoregressive) 방식이에요. 앞에 나온 토큰을 모두 보고 다음 토큰 하나를 예측하고, 그 토큰을 붙인 뒤 다시 다음 토큰을 예측해요. 500토큰짜리 답이라면 모델을 원칙적으로 500번 차례대로 돌려야 하고, 앞 토큰이 정해지기 전에는 뒤 토큰을 계산할 수 없어요. 이 순차성 덕분에 문장이 자연스럽게 이어지지만, 답이 길어질수록 기다리는 시간도 길어져요.
확산 언어 모델은 출발점이 달라요. LLaDA 논문이 설명하는 마스크 확산 방식을 예로 들면, 학습할 때는 문장의 토큰을 무작위 비율로 [MASK]로 가린 뒤 가려진 자리를 맞히도록 훈련해요. 답을 만들 때는 정해 둔 길이만큼 전부 가려진 답안에서 시작해, 한 단계마다 가려진 모든 위치를 한꺼번에 예측하고 확신이 높은 토큰은 남기며 확신이 낮은 토큰은 다시 가려요. 이 과정을 정해진 단계 수만큼 반복하면 답안이 점점 완성돼요. 학생이 빈칸 채우기 시험지를 여러 번 훑으며 확실한 칸부터 채우고 애매한 칸은 다시 지우는 모습과 비슷해요.
양방향 문맥을 본다는 점도 달라요
자기회귀 모델은 생성 중에 왼쪽 문맥만 볼 수 있어요. 확산 모델은 각 단계에서 이미 채워진 앞뒤 토큰을 모두 참고해요. LLaDA 연구진은 이 양방향성 덕분에 시를 거꾸로 이어 쓰는 '역방향 추론' 과제에서 GPT-4o보다 나은 결과를 보였다고 보고했어요. 다만 이는 특정 과제의 결과이고, 모든 추론에서 확산 모델이 우월하다는 뜻은 아니에요. 같은 논문은 LLaDA 8B가 같은 조건의 자기회귀 기준 모델과 비슷한 수준이며 LLaMA3 8B와 경쟁할 만하다고 정리했어요.
자기회귀 LLM과 디퓨전 LLM 비교
두 방식은 모두 Transformer 구조를 쓸 수 있어요. 차이는 무엇을 예측하도록 학습하고, 답을 어떤 순서로 만들어 내느냐에 있어요. 아래 표는 공개 논문에서 설명한 일반적인 특성을 정리한 것이에요. 개별 모델은 블록 단위 생성, 투기적 디코딩 같은 보완 기법을 섞기 때문에 표가 모든 제품에 그대로 들어맞지는 않아요.
생성 순서
- 자기회귀 LLM
- 왼쪽에서 오른쪽, 한 토큰씩
- 확산 언어 모델
- 전체 답안을 여러 단계에 걸쳐 동시에 채우고 수정
순차 단계 수
- 자기회귀 LLM
- 대체로 출력 토큰 수만큼
- 확산 언어 모델
- 정해 둔 샘플링 단계 수(답 길이보다 적게 설정 가능)
참고 문맥
- 자기회귀 LLM
- 앞쪽(왼쪽) 문맥만
- 확산 언어 모델
- 채워진 앞뒤 문맥 모두
속도·품질 조절
- 자기회귀 LLM
- 모델 크기, 디코딩 기법
- 확산 언어 모델
- 샘플링 단계 수가 속도와 품질을 함께 좌우
약점으로 지적된 부분
- 자기회귀 LLM
- 긴 답일수록 지연 증가
- 확산 언어 모델
- 긴 컨텍스트 확장, 대량 배치 처리량
생태계
- 자기회귀 LLM
- 도구·서빙 엔진·평가 자료가 풍부
- 확산 언어 모델
- 상용 모델과 서빙 사례가 상대적으로 적음
표에서 핵심은 순차 단계 수예요. 자기회귀 모델은 답이 길수록 단계가 늘지만, 확산 모델은 단계 수를 별도의 설정값으로 정해요. LLaDA 논문은 샘플링 단계 수가 효율과 생성 품질 사이의 균형을 정하는 하이퍼파라미터라고 설명해요. 단계를 줄이면 빨라지지만 품질이 떨어질 수 있다는 뜻이에요. 그래서 확산 모델의 속도 수치를 볼 때는 어떤 단계 설정과 어떤 하드웨어에서 측정했는지가 중요해요.
Mercury 3 발표 내용: 숫자를 읽는 법
Inception Labs는 Mercury 3 발표문에서 Mercury 3를 지금까지 나온 확산 기반 LLM 가운데 가장 성능이 높은 모델이라고 소개했어요. 발표에 담긴 주요 수치는 다음과 같아요. 모두 회사가 밝힌 값이며 2026년 10월 20일에 원문으로 확인했어요.
- 속도: NVIDIA GPU에서 초당 1,068토큰, 비교 모델 대비 4~8배 빠르다고 주장
- 품질: 여러 벤치마크에서 GPT-6 Luna, Claude Haiku 5.5와 같거나 앞선다고 주장
- 규모: 총 파라미터가 Mercury 1보다 40배 이상 크고, 표준 벤치마크 지능 점수는 Mercury 1(mini) 대비 3배 상승
- 컨텍스트: 100만 토큰(Mercury 2.5는 26만 토큰)
- 가격: 입력 100만 토큰당 0.20달러, 출력 100만 토큰당 0.70달러. 출시 기간에는 50% 할인된 0.10달러·0.35달러, 캐시된 입력 토큰은 입력 가격에서 90% 할인
- 제공 경로: Inception API 플랫폼, OpenRouter, Baseten, Vercel. OpenAI API 호환
이 숫자들을 읽을 때는 비교 대상부터 봐야 해요. GPT-6 Luna와 Claude Haiku 5.5는 각 사의 속도 중심 모델이에요. 즉 이 발표는 '가장 똑똑한 모델'이 아니라 '빠른 모델들 사이에서 품질이 높다'는 주장에 가까워요. 또 벤치마크 이름과 점수별 세부 조건은 발표 본문에서 표 형태로 충분히 확인하기 어려웠어요. 회사 자체 측정값은 측정 조건, 프롬프트, 하드웨어에 따라 크게 달라질 수 있으니 독립 평가가 나오면 함께 비교하는 것이 좋아요.
초기 파트너 사례도 같은 기준으로 읽어요. 웹 에이전트 사례에서는 실제 Mind2Web 탐색 과제 50개 중 50%를 완료했다고 했고, 검색 서비스 사례에서는 생성 시간 중앙값 0.9초, 전체 응답 시간 중앙값 2.2초를 보고했어요. 이런 수치는 실제 서비스 환경에서 나온 참고 자료지만 표본이 작고 각 회사의 하네스에서 측정된 값이에요. 참고로 이전 세대에 대한 Mercury 기술 보고서는 독립 평가 기관 Artificial Analysis 측정에서 Mercury Coder Mini가 H100 GPU 기준 초당 1,109토큰, Small이 초당 737토큰을 기록했다고 밝혔어요. 세대가 다르므로 Mercury 3 수치와 직접 비교하지는 않아요.
속도·품질 장단점: 언제 유리하고 언제 불리할까
유리한 경우
사용자가 답을 기다리는 시간이 곧 경험의 질인 서비스에서 이점이 커요. Inception Labs가 소개한 초기 사용처도 음성·채팅 상담, 실시간 튜터링, 브라우저 에이전트, 실시간 검색처럼 지연 시간에 민감한 작업이에요. 에이전트는 한 작업에서 모델을 여러 번 호출하기 때문에 호출마다 줄어든 대기 시간이 누적돼요. 출력 단가가 낮다면 같은 예산으로 더 많은 시도를 할 수도 있어요.
불리하거나 확인이 필요한 경우
Kim 등의 성능 분석 연구는 확산 모델이 토큰 위치 간 병렬성으로 GPU 연산 효율을 높일 수 있지만, 긴 컨텍스트에서는 효과적으로 확장되지 못한다고 분석했어요. 블록 단위 디코딩이 이 문제를 줄여 자기회귀 모델과 비슷한 확장성을 준다고 봤고, 여러 요청을 묶어 처리하는 배치 추론에서는 자기회귀 모델의 처리량이 더 높았다고 보고했어요. 오픈소스 확산 모델이 자기회귀 모델보다 낮은 지연을 얻으려면 샘플링 단계 수를 줄이는 것이 관건이라는 결론도 냈어요.
정리하면, 한 사용자에게 빠르게 답하는 상황에서는 확산 모델의 장점이 드러나기 쉽지만, 대량의 요청을 한꺼번에 처리하는 백엔드 작업이나 아주 긴 문서를 다루는 작업에서는 이점이 작아질 수 있어요. 품질 면에서는 생성 길이를 미리 정해야 하는 구조, 단계 수와 품질의 맞교환, 상대적으로 얇은 도구·평가 생태계가 실무 위험이에요. 단, 이 연구는 주로 공개된 오픈소스 모델을 분석한 것이라 Mercury 3 같은 상용 모델의 내부 최적화가 이 한계를 얼마나 줄였는지는 공개 자료만으로 판단하기 어려워요.
이미지 확산 모델과는 무엇이 같고 다를까
Stable Diffusion 같은 이미지 생성 모델도 노이즈가 가득한 상태에서 시작해 여러 단계로 원래 모습을 복원한다는 점에서 같은 계열이에요. 이름의 '확산'은 데이터를 점점 망가뜨리는 순방향 과정과, 그것을 거꾸로 되돌리는 역방향 과정을 가리켜요. 차이는 데이터의 성격이에요. 이미지는 연속적인 픽셀 값을 다루지만 텍스트는 정해진 어휘 중 하나를 고르는 이산 데이터예요. 그래서 LLaDA처럼 텍스트 확산 모델은 노이즈 대신 [MASK] 가리기를 '망가뜨리는 과정'으로 쓰고, 가려진 토큰을 맞히는 교차 엔트로피 손실로 학습해요. 이미지에서 익숙한 단계 수와 품질의 관계가 텍스트에서도 나타나지만, 측정 단위와 평가 방법은 따로 봐야 해요.
Mercury 3 같은 디퓨전 LLM 도입 전 점검 순서
- 1
내 병목이 지연인지 처리량인지 정해요
사용자가 한 번에 한 답을 기다리는 대화형 서비스라면 응답 지연이, 밤새 문서 수만 건을 처리하는 작업이라면 배치 처리량과 총비용이 핵심 지표예요. 연구 결과상 두 상황에서 확산 모델의 이점이 다르게 나타날 수 있어요.
- 2
실제 프롬프트로 비교 평가를 만들어요
지금 쓰는 모델과 같은 프롬프트 묶음, 같은 출력 형식으로 정확도·실패율·첫 토큰까지 시간·전체 응답 시간을 함께 측정해요. 발표 벤치마크보다 내 데이터에서의 결과가 판단 근거로 더 중요해요.
- 3
긴 문서와 도구 호출을 따로 시험해요
100만 토큰 컨텍스트를 지원한다는 것과 긴 문서에서 정확하다는 것은 별개예요. 긴 입력, 구조화 출력, 도구 호출 시나리오를 별도로 시험하고 실패 사례를 기록해요.
- 4
가격 조건과 기간을 기록해요
출시 할인 가격과 정상 가격, 캐시 할인 조건을 구분해 비용을 계산해요. 할인은 언제든 끝날 수 있으므로 정상가 기준으로도 예산을 확인해요.
AI 모델 소식은 발표 직후 커뮤니티 반응과 실제 사용 후기가 빠르게 쌓여요. 더따리 AI 텔레그램 트렌드에서는 관련 채널에서 화제가 되는 AI 소식 흐름을, 블로그 트렌드 대시보드에서는 블로그에서 다뤄지는 주제 흐름을 함께 살펴볼 수 있어요. 화제성은 품질의 증거가 아니므로, 관심이 몰린 모델일수록 원문 발표와 독립 평가를 교차 확인하는 습관이 필요해요.
확산 언어 모델은 '한 토큰씩 순서대로'라는 기존 LLM의 전제를 바꿔 속도를 끌어올리려는 접근이에요. Mercury 3는 이 방식이 규모를 키워도 작동한다는 회사의 주장을 담은 사례이고, 속도와 가격은 분명한 강점으로 제시됐어요. 반면 품질 비교는 속도 중심 모델끼리의 비교이며 회사 자체 측정이라는 점, 긴 컨텍스트와 대량 배치에서의 한계가 연구로 지적됐다는 점을 함께 기억해 두면 발표 수치를 균형 있게 읽을 수 있어요.
자주 묻는 질문
확산 언어 모델은 이미지 생성 AI와 같은 기술인가요?
Mercury 3가 GPT나 Claude보다 좋다는 말은 사실인가요?
확산 LLM은 항상 기존 LLM보다 빠른가요?
Mercury 3를 기존 OpenAI API 코드에 바로 쓸 수 있나요?
출처·참고 자료
- 1
