Xiaomi 8-GPU 클러스터로 1,000 tok/s 달성 — AI 추론 경제학이 재편된다

1,000 tok/s. 이 숫자가 얼마나 중요한지 먼저 짚고 가자.

지금까지 1조 파라미터(1T) 규모 LLM을 실시간으로 돌리려면 H100 수십 장, 전용 인프라, 억 단위 투자가 필요했다. Xiaomi가 표준 8-GPU 상용 서버로 이 장벽을 2배 이상 돌파했다는 건 AI 인프라 경제학의 가정이 통째로 흔들렸다는 의미다.

r/LocalLLaMA에서 즉시 반응이 터진 이유가 있다. 이건 스타트업이나 연구자 이야기가 아니다. 프로덕션에서 LLM 비용을 고민하는 모든 팀의 계산식이 바뀌는 일이다.

1,000 tok/s가 의미하는 수준

숫자를 맥락 안에 놓아야 한다.

현재 주류 추론 서비스의 실제 처리 속도:

• GPT-4o: ~50–100 tok/s (엔드유저 체감 기준)
• Claude 3 Opus: ~30–60 tok/s (streaming)
• 오픈소스 로컬 추론 (llama.cpp, vLLM): 보통 ~500 tok/s 전후가 commodity 한계선

Xiaomi 벤치마크가 달성한 1,000+ tok/s는 기존 commodity 한계선의 2배다. 모델 사이즈가 1T라는 점을 고려하면 이건 단순한 하드웨어 업그레이드가 아니라 소프트웨어 최적화 + 분산 추론 설계의 조합 결과다.

어떻게 가능했나 — 기술 배경

세부 구현을 Xiaomi가 전부 공개하지는 않았지만, r/LocalLLaMA 스레드와 유사 벤치마크 연구를 기반으로 핵심 요인을 분류하면:

1. 추측적 디코딩(Speculative Decoding) 드래프트 모델이 여러 토큰을 미리 생성하고, 메인 모델이 병렬로 검증하는 방식. 시퀀셜 생성 대비 2–4배 처리량 증가가 가능하다.

2. 텐서 병렬화 + 파이프라인 병렬화 혼합 8-GPU 설정에서 레이어를 파이프라인으로 분산하면서 어텐션 헤드를 텐서 병렬로 쪼개는 구조. 단순 데이터 병렬보다 메모리 병목을 훨씬 줄인다.

3. KV 캐시 압축 FlashAttention 계열 최적화와 KV 캐시 양자화를 조합해 VRAM 한계선을 늘린다. 1T 모델은 캐시 용량이 성능 천장인 경우가 많다.

4. 배치 처리 최적화 continuous batching + dynamic batching으로 GPU 유휴 시간을 줄이는 방식. vLLM이 대중화한 패턴이지만, 대규모 클러스터에서의 구현 난이도는 완전히 다르다.

인프라 경제학 재편 — 실제 비용 계산

이게 가장 중요한 부분이다.

기존 가정: 1T 모델 서비스 → H100 16–32장 최소 필요, 월 비용 수천만 원

Xiaomi 이후 가능한 가정: commodity 8-GPU 서버(H100 기준 8장 또는 A100 혼합) + 최적화 스택 → 동급 처리량 달성

비용 차이를 단순 계산하면:

• H100 8장 DGX 시스템: 약 $400,000 (클라우드 환산 월 $40,000–60,000)
• commodity 8-GPU 서버 (A100 80GB 기준): 약 $100,000–150,000 (클라우드 환산 월 $15,000–25,000)

처리량이 같다면 클라우드 비용 기준 40–60% 절감이 현실적 숫자가 된다.

경쟁 지형 변화 — 엣지와 프런티어의 경계

이 벤치마크가 더 큰 의미를 갖는 이유는 단순 비용 절감을 넘어서기 때문이다.

엣지 추론의 실용화: 1T 모델을 8-GPU 박스에서 돌릴 수 있다면, 데이터센터 없이도 병원, 제조 현장, 금융 기관 내부에 프런티어 모델 추론 장비를 직접 설치하는 시나리오가 현실이 된다. 데이터 주권 이슈가 있는 산업에서 이건 게임 체인저다.

오픈소스 가속: Xiaomi 벤치마크 + vLLM + llama.cpp 생태계의 조합은 클로즈드 API 의존도를 줄이는 실질적 대안을 만든다. 특히 한국처럼 온프레미스 선호도가 높은 엔터프라이즈 시장에서 영향이 클 것이다.

추측적 디코딩 경쟁 심화: 이미 DeepMind, Google, Meta가 speculative decoding 최적화를 발표하고 있다. Xiaomi 결과는 이 기술이 commodity 환경에서도 충분히 작동함을 증명해 더 많은 플레이어가 진입할 신호다.

한국 AI 개발자에게 실질적 의미

지금 당장 실천할 수 있는 것들:

1. 캐싱/배치 전략 재평가 타이밍 현재 Claude API나 OpenAI를 쓰고 있다면 prompt caching + batch API를 최대한 활용하는 게 단기 전략이다. 동시에 로컬 추론 스택(vLLM, llama.cpp)의 비용 비교를 지금 계산해둘 것.

2. speculative decoding 구현 검토 자체 추론 서버를 운영하거나 계획 중이라면 speculative decoding 적용 여부를 검토할 시점이다. vLLM은 이미 공식 지원한다.

3. 온프레미스 ROI 재계산 기존에 클라우드 대비 온프레미스 비용이 불리하다고 판단했다면, Xiaomi 수준의 최적화를 적용한 새로운 기준으로 ROI를 다시 계산할 것. 특히 24/7 heavy workload라면 12–18개월 내 손익분기점이 바뀔 수 있다.

4. 1T 모델 접근 시기 현재 70B–405B 모델이 일반적인 프로덕션 사용 범위라면, 1T 모델이 commodity 비용으로 내려오는 시점이 2026–2027년 사이로 당겨질 가능성이 높다. 지금 아키텍처를 설계할 때 이 전환을 고려해두는 게 좋다.

---

Xiaomi의 벤치마크 하나로 모든 게 바뀌는 건 아니다. 재현 가능성 검증이 필요하고, 실제 프로덕션 안정성은 별개 문제다. 하지만 방향은 분명하다. AI 추론은 더 빠르고 더 싸지는 중이고, 그 속도가 예상보다 빠르다. 비용 가정을 고정해두고 로드맵을 짜던 팀이라면 지금이 재검토 타이밍이다.

참고 자료

• Xiaomi MiMo and TileRT Push a 1-Trillion-Parameter Model Past 1000 Tokens Per Second on Commodity GPUs — MarkTechPost 원문 보도 (2026-06-08)
• Xiaomi MiMo-V2.5-Pro Just Hit 1,000 Tokens Per Second! — Gizchina 보도
• Xiaomi Hits 1,000+ Tokens/sec on 1T Model Using 8 GPUs — China Biz Insider 보도