Google DeepMind, 분산 AI 학습 혁신 기법 'Decoupled DiLoCo' 공개
Google DeepMind가 여러 지역 데이터센터에 걸쳐 대규모 AI 모델을 훈련하는 새 기법 'Decoupled DiLoCo'를 공개했다. 기존 방식 대비 네트워크 대역폭을 199분의 1 수준으로 줄이면서도 동등한 모델 성능을 유지하며, 하드웨어 장애 시에도 학습이 중단되지 않는 구조가 특징이다. 실제로 미국 4개 지역에서 120억 파라미터 모델을 학습하는 데 성공해 연구 단계를 넘어선 실전 검증 사례를 제시했다.
