Cohere, AI 추론 속도 23% 높이는 '하드웨어 인식 동적 추측 디코딩' 기법 공개

AI 서비스를 대규모로 운용하는 기업에 가장 큰 숙제 중 하나는 '추론 비용'이다. 모델이 답변을 생성하는 속도와 처리량이 곧 서버 비용과 직결되기 때문이다. Cohere가 이 문제를 정면으로 겨냥한 '하드웨어 인식 동적 추측 디코딩(Hardware-Aware Dynamic Speculative Decoding, DSD)' 기법을 7월 10일 공개했다.

추측 디코딩(Speculative Decoding)은 작은 초안 모델이 여러 토큰을 한꺼번에 제안하고, 대형 목표 모델이 이를 동시에 검증하는 방식이다. GPU의 유휴 연산 주기를 활용해 품질 손실 없이 생성 속도를 높일 수 있다. 하지만 기존 방식은 초안 토큰 수(K)를 고정하는 탓에, 배치 크기가 커질수록 되레 성능이 저하되는 한계가 있었다.

Cohere의 DSD는 이 K값을 하드웨어 상태와 작업 부하에 따라 동적으로 조정한다. 배치 크기가 작아 메모리 대역폭에 병목이 생기면 초안 토큰을 늘리고, 배치 크기가 커서 연산 자원이 한계에 달하면 토큰을 줄이는 방식이다. 덕분에 낮은 배치에서도, 높은 배치에서도 일관된 성능 이득을 유지한다.

실험 결과는 뚜렷하다. 배치 크기 128~256의 고동시 환경에서 기존 고정-K 추측 디코딩 대비 처리량이 약 23% 향상됐다. 이 수치는 동일한 하드웨어로 23% 더 많은 요청을 처리할 수 있다는 의미다. 특히 대규모 강화학습(RL) 훈련 파이프라인에서도 효과가 검증됐다.

또한 DSD는 비단조적(non-monotonic) 특성을 지닌 Mixture-of-Experts(MoE) 모델에도 적용 가능하다. Mistral의 Mixtral이나 다양한 오픈소스 MoE 모델을 직접 운영하는 기업이라면 이 기법의 혜택을 직접 누릴 수 있다.

한국의 AI 스타트업과 기업들이 자체 GPU 인프라나 클라우드 위에 AI 서비스를 구축하는 경우가 늘고 있다. 추론 최적화 기술은 NVIDIA H100 같은 고가 GPU 클러스터의 활용률을 끌어올려 실질적인 비용 경쟁력으로 이어진다. 이런 연구 결과를 공개하는 것은 Cohere가 단순한 API 제공사가 아니라 엔터프라이즈 AI 인프라 기술 기업으로 포지셔닝하려는 의도도 담겨 있다.