트랜스포머의 역사적 서사

트랜스포머의 역사적 서사

1. 한계에 부딪힌 RNN (2010년대 중반)

2010년대 초반, LSTM과 GRU를 중심으로 한 RNN은 번역과 음성인식에서 화려한 성과를 내며 “시퀀스 모델의 왕좌”에 올랐습니다. 그러나 이내 치명적인 제약이 드러납니다.
• 순차적 계산: RNN은 입력을 앞에서 뒤로 차례대로 처리해야 해서 병렬화가 어렵습니다.
• 긴 문맥의 한계: LSTM이 개선했음에도 불구하고 수백 단어를 넘는 긴 문장을 다루기 힘듭니다.
• 학습 비용 증가: 시퀀스가 길어질수록 계산량과 메모리 사용량이 폭증합니다.

이 시점에서 연구자들은 “시간을 따라 순환하는 방식이 아니라, 한 번에 전체 문맥을 바라보는 새로운 방법”을 탐구하기 시작했습니다.

2. 혁신의 순간 (2017) ― “Attention is All You Need”

2017년, 구글 브레인의 Vaswani, Shazeer, Parmar, Uszkoreit, Jones, Gomez, Kaiser, Polosukhin 등이 역사적 논문 “Attention is All You Need”를 발표합니다.

그 핵심 메시지는 제목 그대로, 순환이나 합성곱 없이도 어텐션(attention) 메커니즘만으로 시퀀스를 처리할 수 있다는 것이었습니다.
• Self-Attention: 모든 단어가 문장 속의 다른 단어들과 직접 상호작용하도록 설계.
• 병렬성: 입력을 한꺼번에 처리하므로 GPU 병렬 연산에 최적화.
• 긴 문맥 처리: 멀리 떨어진 단어 간의 관계도 쉽게 포착.

이 논문에서 처음 제안된 모델이 바로 Transformer였습니다.

3. 확산과 진화 (2018~2020)

트랜스포머는 곧바로 자연어처리(NLP)의 패러다임을 송두리째 바꿔놓았습니다.
• 2018 – BERT (Google)
→ 양방향 트랜스포머를 이용한 사전학습(pre-training) 모델. 문장의 앞뒤 맥락을 동시에 고려.
→ 질의응답, 검색, 감성분석 등 다양한 태스크에서 폭발적 성능 향상.
• 2018 – GPT (OpenAI)
→ 단방향 트랜스포머 기반의 언어모델. 텍스트 생성 능력에서 뛰어남.
→ 후속작 GPT-2(2019), GPT-3(2020)가 공개되며 “생성형 AI” 붐의 불씨가 됨.
• 2019 – Transformer-XL, XLNet
→ 긴 문맥을 다루는 확장 구조.
• 2020 – T5, mBART
→ 다양한 언어 태스크를 하나의 통일된 프레임워크로 통합.

이 시기는 마치 르네상스의 봄처럼, 매달 새로운 변종과 혁신이 쏟아져 나온 시기였습니다.

4. 거대 모델의 시대 (2020년대 초반)

트랜스포머의 가장 큰 특징은 스케일 업(scale-up)이 가능하다는 점이었습니다.
• RNN은 크기를 키워도 한계가 뚜렷했지만,
• 트랜스포머는 파라미터 수와 데이터 양을 늘릴수록 성능이 거의 선형적으로 향상되었습니다.

이 특성 덕분에 빅테크들은 경쟁적으로 초대형 모델을 내놓기 시작했습니다.
• GPT-3 (2020, OpenAI): 1,750억 파라미터
• PaLM (2022, Google): 5,400억 파라미터
• GPT-4 (2023, OpenAI): 멀티모달 능력 확장
• Gemini, Claude, LLaMA, Mistral 등 다양한 계열 등장

트랜스포머는 이제 단순한 알고리즘이 아니라 산업과 문명을 바꾸는 엔진으로 자리잡습니다.

5. 현재와 미래 (2020년대 중후반)

오늘날, 트랜스포머는 NLP를 넘어
• 영상(비전 트랜스포머, ViT)
• 음성(Speech-Transformer)
• 단백질 구조 예측(AlphaFold)
• 멀티모달 AI(ChatGPT, Gemini 등)
까지 확장되었습니다.

그러나 동시에, 계산 자원의 폭발적 소비와 데이터 독점, 환경적 비용이 새로운 논쟁거리가 되고 있습니다.
그리고 연구자들은 다시 묻습니다.
“Attention is all we need인가? 아니면 새로운 패러다임이 필요한가?”

📌 정리
• 2017년 이전: RNN/LSTM의 한계 노출
• 2017: 구글 “Attention is All You Need” → Transformer 탄생
• 2018~2020: BERT, GPT, XLNet, T5 등으로 응용 폭발
• 2020년대 초반: 초거대 언어모델(LLM)의 시대 개막
• 현재: 멀티모달·산업 전반 확산, 새로운 패러다임 모색 중