OpenAI, 'Parameter Golf' 챌린지 결과 공개 — AI 에이전트가 바꾼 머신러닝 연구의 풍경

OpenAI가 8주간 운영한 'Parameter Golf' 챌린지의 종합 결과를 발표했다. FineWeb 데이터셋 기준 손실을 최소화하면서도 아티팩트 크기 16MB, 학습 시간 10분(8×H100) 이내라는 극단적 제약을 지켜야 하는 이 챌린지에 전 세계 1,000명 이상이 참가해 총 2,000건이 넘는 제출물을 보냈다.

이번 결과에서 OpenAI가 가장 강조한 점은 AI 코딩 에이전트의 광범위한 사용이다. 참가자들은 압도적으로 AI 에이전트를 작업 도구로 활용했으며, 이는 과거 유사 대회와 뚜렷이 구별되는 특징이었다. ML 연구자들조차 이제 직접 코드를 작성하는 대신 에이전트에게 아이디어를 위임하는 방식으로 업무 방식이 전환됐다는 것이다.

기술적인 측면에서도 흥미로운 발견들이 나왔다. 참가자들이 선택한 접근법은 ▲테스트 타임 트레이닝(test-time training) ▲양자화 인식 학습(QAT) ▲BitNet 방식 ▲저랭크 훈련(low-rank training) ▲신규 토크나이저 설계 등으로 다양했다. 일부는 평가 규칙의 경계를 탐색하며 창의적 접근을 시도했고, 또 다른 팀은 기존 문헌에서 발굴한 기법으로 예상치 못한 성과를 냈다.

특이할 점은 이번 챌린지가 단순한 기술 경연을 넘어 탁월한 ML 감각과 끈기를 가진 인재를 발굴하는 채용 파이프라인 역할도 했다는 것이다. OpenAI는 개방형 기술 챌린지가 실력자를 식별하는 효과적인 채널이 된다는 점을 공식적으로 확인했다.

OpenAI는 이번 챌린지를 통해 얻은 인사이트를 상세한 분석 블로그 포스트로 공개하며, 모델 연구 커뮤니티와 성과 및 교훈을 공유했다.