Kaggle, AI 벤치마크를 로컬 개발 환경에서 직접 만든다

AI 모델 성능을 측정하는 '벤치마크'는 AI 개발의 핵심 인프라다. 그런데 지금까지 Kaggle Benchmarks는 웹 인터페이스 안에서만 과제를 만들고 관리할 수 있어, 코드 중심으로 일하는 개발자와 연구자에게는 불편한 구조였다.

구글 Kaggle이 이 장벽을 낮추는 업데이트를 2026년 6월 4일 발표했다. 이제 개발자는 VS Code, Cursor, Antigravity 같은 친숙한 편집기에서 Kaggle CLI 명령어를 활용해 벤치마크 과제를 작성하고, 업로드하고, 결과를 내려받을 수 있다.

특히 주목할 기능은 AI 코딩 에이전트 연동이다. 새로운 'write-kaggle-benchmarks 스킬'을 이용하면 자연어로 에이전트에게 평가 과제 생성을 지시할 수 있다. "이런 능력을 테스트하는 벤치마크를 만들어줘"라고 입력하면 에이전트가 초안을 작성해 준다.

Kaggle Benchmarks는 출시 이후 글로벌 AI 커뮤니티가 이미 1만 건 이상의 평가 과제를 생성할 만큼 빠르게 성장했다. 이 플랫폼의 목표는 '신뢰할 수 있고 투명한 공개 리더보드'를 통해 AI 발전을 측정하는 것이다.

구글은 현대 AI 모델이 단순 챗봇을 넘어 코드를 작성하고 도구를 사용하며 복잡한 문제를 푸는 '추론 에이전트'로 진화하고 있다고 강조했다. 이에 따라 실제 세계의 어려운 문제를 반영한 커뮤니티 주도의 평가 체계가 더욱 중요해졌다는 설명이다.