Speculators: 표준 기반의 실서비스용 추측 디코딩 솔루션

https://developers.redhat.com/articles/2025/11/19/speculators-standardized-production-ready-speculative-decoding

Speculators: Standardized, production-ready speculative decoding | Red Hat Developer

 

Speculative decoding = “작은 똑똑이 먼저 왕창 써 보고, 큰 초슈퍼 똑똑이가 한 번에 검사해서 속도를 올리는 기술”
Speculators = 이 기술을 쉽게, 안전하게 쓰게 해주는 ‘규칙 + 도구 세트’

---

1. 느긋한 천재 친구 vs 도와주는 친구

상상해 봐요.

• A 친구:
  • 시험을 보면 항상 100점에 가깝게 맞추는 초천재야.
  • 대신 문제 한 개 한 개, 너무 신중하게 풀어서 시간이 오래 걸려.
• B 친구:
  • A 만큼 똑똑하진 않지만 속도가 엄청 빨라요.
  • 대신 가끔 틀려요.

시험을 빨리 끝내고 싶으면 어떻게 할 수 있을까요?

방법:
B 친구가 문제를 쭉~ 먼저 다 풀어본다. (초안)
A 친구는 그걸 보면서
맞는지 빠르게 검사만 한다.
틀린 곳만 다시 제대로 푼다.

이렇게 하면,

• A 혼자 전부 푸는 것보다
• 훨씬 빨리,
• 정확도도 거의 그대로 유지할 수 있겠죠?

---

2. 이걸 컴퓨터(LLM)에 대입하면?

요즘 챗봇, 번역기, 코딩 도우미 같은 건 전부 LLM(큰 인공지능 언어 모델)이에요.

• 큰 모델(검증기, Verifier)
  • 머리 진짜 좋음 (정확함)
  • 대신 느리고 비쌈 (계산이 무거움)
• 작은 모델(스펙레이터, Speculator / 초안 모델)
  • 머리는 조금 덜 좋지만
  • 엄청 빠름, 싸게 돌릴 수 있음

컴퓨터가 글자를 만들 때는

• “단어” 단위가 아니라
• 아주 작은 조각(토큰) 단위로
  하나씩 하나씩 만들어 가요.
  (안 → 녕하세요 → , → 반 → 갑 → 습 → 니 → 다 … 이런 식)

원래 방식은:

큰 모델이
토큰을 하나 만들고,
또 하나 만들고,
또 하나 만들고…
이런 식으로 계속 반복해요.
→ 엄청 느려요.

---

3. Speculative Decoding(추측 디코딩)은 뭐냐면?

위의 A/B 친구 이야기랑 똑같이 합니다.

1. 작은 모델이 먼저
   • “다음에 나올 글자들을 쭉~~ 여러 개 미리 써봐요.”
   • 이걸 “초안”이라고 생각하면 돼요.
2. 그다음에 큰 모델이
   • 작은 모델이 쓴 초안을 한 덩어리씩 빠르게 검사해요.
   • “오, 여기까지는 다 맞네?” → 그 부분은 그냥 통과
   • “어, 여기부터는 좀 이상한데?” → 그 부분부터는 다시 직접 생성

이렇게 하면?

• 큰 모델이
  • “한 글자씩 답장”이 아니라
  • “여러 글자를 한 번에 확인”하니까
• 전체 속도가 1.5배 ~ 2.5배, 잘하면 4배 이상 빨라질 수 있어요.

정확도는?

• 큰 모델이 계속 검사해 주기 때문에
• 대부분 원래 큰 모델만 썼을 때와 비슷한 수준을 유지하게 설계해요.

---

4. 그런데… 왜 “Speculators”라는 프로젝트가 필요할까?

문제는 이거예요.

“다들 자기 멋대로 speculative decoding을 만들어서 씀…”

• 연구실 A: 자기만의 방법, 자기만의 파일 형식
• 회사 B: 또 다른 코드, 또 다른 설정 방식
• 회사 C: 다른 모델, 다른 설정…

이러면 어떤 문제가 생기냐면:

1. 써먹기 힘듦
   • “이 알고리즘 좋다는데, 우리 서버에 붙이려면 골치 아프네…”
2. 서로 호환 안 됨
   • A에서 만든 초안 모델이 B의 시스템에서 안 돌아감.
3. 설정이 복잡
   • “이 옵션은 여기서 쓰고, 저 옵션은 저기 있고…”
   • 실수하기 쉬움 (프로덕션에서 위험)

그래서 Red Hat이 Speculators라는 프로젝트를 만든 거예요.
쉽게 말하면:

Speculators =
“추측 디코딩을 위한
하나의 공통 규칙 + 도구 상자 + 예제 모델 세트”

---

5. Speculators가 해주는 일 (초등학생 버전)

1) 규칙을 하나로 정리해 줌

• “모델을 이런 식으로 저장하자”
• “config.json 안에 speculators_config라는 이름으로 설정을 넣자”
• “이런 형식으로 구현하면 누구나 쓸 수 있게 하자”

→ 마치 보드게임 설명서를 통일해 놓은 느낌이에요.

• 다 같은 규칙을 쓰니
• 다른 집에 가도 그 게임을 똑같이 할 수 있는 것처럼요.

---

2) 여러 가지 전략(알고리즘)을 한 군데 모음

예를 들어,

• EAGLE, EAGLE-3, HASS 같은 여러 추측 디코딩 방법들이 있는데
• Speculators는 이걸 하나의 도구 상자 안에 넣어둔 거예요.

개발자는 이렇게 생각하면 돼요:

“어떤 전략을 쓸지 선택만 하면,
나머지 어려운 구현은 Speculators가 도와줌.”

---

3) 이미 훈련된 모델들을 준비해 줌

Red Hat은 미리 학습된 ‘초안용 모델들(스펙레이터 모델)’도 같이 공개했어요.

예를 들어 (이름만 가볍게 보면 돼요)

• Llama-3.1-8B-Instruct용 스펙레이터
• Qwen3-8B용 스펙레이터
  등등…

개발자는

“아, 우리 회사는 Llama-3.x 쓰는데?”
→ 그에 맞는 스펙레이터 모델을 바로 가져다 쓸 수 있음.

---

4) vLLM 같은 서버에 바로 붙여 쓰기 쉽게 해 줌

vLLM은 “LLM을 빠르게 서비스용 서버로 띄워주는 도구”라고 보면 되고요,

Speculators는:

• 스펙레이터 모델을
• vLLM 같은 서버에 쉽게 붙일 수 있게 해 줍니다.

개발자 입장에선 느낌이 이런 거예요:

# (느낌만 설명하는 예시)
vllm serve --model 어떤-스펙레이터-모델

→ 이러면 이미 speculative decoding 기능이 켜진 상태로 돌아가는 것처럼.

---

6. “연구용 장난감”이 아니라 “회사 서비스에서 바로 써도 되는 수준”

기사에서 강조하는 포인트가 바로 이거예요.

그냥 “논문용 코드”가 아니라,
실제 서비스(프로덕션)에서 바로 쓸 수 있을 만큼

• 표준화되어 있고
• 안정적이고
• 다양한 모델을 지원하는 생태계

를 만들겠다는 겁니다.

그래서 앞으로 계획도:

• 더 많은 큰 모델(검증기) 지원
• 더 다양한 알고리즘 지원
• 학습(훈련) 도구도 더 친절하게 제공
• 벤치마크(성능 비교)도 쉽게 할 수 있게

이런 방향으로 넓혀 가겠다는 거예요.

---

7. 진짜 짧게 다시 요약 🔁

1. 문제
   • LLM은 똑똑한데 너무 느림.
2. 아이디어 (Speculative Decoding)
   • 작은 모델이 먼저 잔뜩 써 보고,
   • 큰 모델이 그걸 검사해서 맞는 건 통과, 틀린 건 재생성
     → 속도 1.5~2.5배(최대 4배) 빨라질 수 있음.
3. Speculators 프로젝트
   • 이 아이디어를
     • 표준 규칙,
     • 여러 알고리즘,
     • 이미 학습된 초안 모델들,
     • 쉽게 붙여 쓸 수 있는 도구들
       로 묶은 “도구 상자 + 규칙서” 같은 것.
4. 목표
   • “연구실에서만 도는 실험 코드”가 아니라
   • 회사 서비스(프로덕션)에서
     바로 써도 되는 수준으로 만들자!

---