구글의 8명 연구팀이 "Attention Is All You Need" 라는 논문을 발표했다. 기존의 순환 신경망(RNN) 대신 'Attention' 메커니즘만으로 언어를 처리하는 'Transformer' 구조를 제안했고, 현재 쓰이는 거의 모든 대형 언어 모델(LLM)의 근간이 됐다.
Research2017년 6월
Transformer 논문 — 현대 LLM 의 기반 구조 등장
"Attention Is All You Need" 논문이 공개됐다. 오늘날 ChatGPT·Claude·Gemini 전부 이 구조를 쓴다.
출처 / 더 읽을거리
https://arxiv.org/abs/1706.03762