RNN(Recurrent Neural Network, 순환 신경망)

RNN의 역사적 서사

인간의 언어와 시간은 직선적으로 흐르지 않습니다. 문장의 의미는 단어 하나에 머물지 않고 앞뒤 맥락 속에서만 드러납니다. 음악 역시 하나의 음표로 완성되지 않고, 이어지는 멜로디 안에서 생명을 얻습니다. 이런 ‘시간의 연속성’을 기계에게 가르치고자 한 열망에서 RNN(Recurrent Neural Network, 순환 신경망)의 여정이 시작됩니다.

1. 태동 (1980년대) ― 기억하는 기계의 발상

1980년대 중반, 데이비드 럼멜하트(David Rumelhart), 제프리 힌튼(Geoffrey Hinton), 로널드 윌리엄스(Ronald Williams)는 신경망이 단순히 입력을 한 번 흘려보내는 피드포워드 구조만으로는 시간적 데이터를 다루기 어렵다는 점을 인식했습니다.

그들은 Backpropagation Through Time(BPTT)라는 알고리즘을 제시합니다(1986). 이는 입력을 시간축으로 펼쳐놓고, 역전파 알고리즘을 그 시간축 전체에 적용하는 방식이었습니다. 이로써 신경망은 과거의 정보를 은닉 상태(hidden state)로 간직한 채 미래의 입력을 해석할 수 있는 가능성을 열게 됩니다.

2. 위기 (1990년대 초) ― 사라지는 기억의 문제

하지만 현실은 녹록치 않았습니다. 요슈아 벤지오(Yoshua Bengio)는 1994년 논문에서, RNN이 장기 의존성(long-term dependency)을 학습하는 데 심각한 어려움이 있음을 실험적으로 보여줍니다.

원인은 곧 ‘기울기 소실(Vanishing Gradient)’ 문제였습니다. 시간이 길어질수록 역전파 과정에서 기울기가 0에 가까워지며, RNN은 먼 과거의 정보를 사실상 잊어버리는 것입니다. 이 문제는 학계에서 RNN의 실용성을 의심하게 만들었고, 한동안 ‘아이디어는 훌륭하지만 쓸모없다’는 평가를 받기도 했습니다.

3. 혁신 (1997) ― LSTM의 등장

그러나 돌파구는 독일 뮌헨대학의 젊은 연구자 제프 호크라이터(Sepp Hochreiter)와 그의 지도교수 위르겐 슈미드후버(Jürgen Schmidhuber)에 의해 열렸습니다.

그들은 1997년, ‘Long Short-Term Memory(LSTM)’라는 구조를 발표합니다. LSTM은 게이트(gate) 구조를 도입해 정보를 선택적으로 저장·삭제할 수 있도록 했습니다.
• Input Gate: 어떤 정보를 새로 받아들일지 결정
• Forget Gate: 과거 정보를 버릴지 보존할지 결정
• Output Gate: 어떤 정보를 출력할지 결정

이 단순하면서도 강력한 아이디어는, 마치 인간의 ‘단기 기억과 장기 기억’을 흉내 낸 듯한 효과를 발휘했습니다.

4. 실용화의 시대 (2010년대) ― GRU와 응용 확산

2000년대 중반까지도 RNN은 연구자들의 관심 속에 머물렀지만, 2010년대 딥러닝의 부흥과 함께 다시 부각됩니다.

2014년, 조규홍(Kyunghyun Cho)과 동료들은 LSTM을 단순화한 GRU(Gated Recurrent Unit)를 제안합니다. 이는 계산량을 줄이면서도 성능은 비슷하게 유지해, 실용성이 크게 높아졌습니다.

그 무렵 구글, 페이스북, 마이크로소프트 같은 빅테크들은 RNN(LSTM/GRU)을 기계번역(Seq2Seq), 음성인식, 챗봇, 자율주행 등 다양한 분야에 적용하기 시작했습니다. “기계가 문장을 번역하고, 음성을 문자로 바꾸며, 시계열을 예측하는 시대”가 열린 것입니다.

5. 현재 (2020년대) ― 트랜스포머에 자리를 내어주다

그러나 2017년, 구글이 발표한 Transformer 모델은 어텐션 메커니즘을 통해 시퀀스 데이터를 훨씬 더 효율적으로 처리할 수 있음을 보여주었습니다. 긴 문맥을 다루는 데 탁월한 성능을 보인 트랜스포머는 NLP의 패러다임을 송두리째 바꿔 놓았고, 오늘날 ChatGPT 같은 초대형 언어모델의 기반이 되었습니다.

그 결과, RNN은 실무 최전선에서 물러났습니다. 하지만 시퀀스 모델링의 개념을 최초로 제시하고, 인간 언어의 시간성을 인공지능에 불어넣은 선구자라는 역사적 의미는 결코 사라지지 않습니다.

📌 정리
• Rumelhart, Hinton, Williams (1986): RNN 개념과 BPTT 학습법
• Bengio (1994): 장기 의존성 문제 제기
• Hochreiter & Schmidhuber (1997): LSTM으로 문제 해결
• Cho (2014): GRU로 실용화 촉진
• 2010년대 빅테크: 번역·음성·챗봇 등 실제 활용
• 2017 이후: 트랜스포머로 주도권 이동