딥러닝 알고리즘 IV · 트랜스포머 — 생성형 AI의 심장

트랜스포머(Transformer)란

트랜스포머는 2017년 발표된 신경망 구조로, 오늘날 거대 언어 모델과 생성형 AI의 바탕이 되는 핵심 기술입니다. RNN의 한계를 넘어 자연어 처리의 판도를 바꿔 놓았습니다.

어텐션(Attention)이 핵심이다

트랜스포머의 심장은 어텐션 메커니즘입니다. 문장 안의 모든 단어가 서로 얼마나 관련 있는지를 계산해, 중요한 단어에 더 ‘집중’합니다. 예를 들어 “그 사과는 빨개서 그것을 먹었다”에서 ‘그것’이 ‘사과’를 가리킨다는 관계를 직접 파악합니다.

RNN보다 무엇이 나을까요?

RNN은 단어를 앞에서 뒤로 하나씩 처리해 속도가 느리고 먼 거리 관계를 놓치기 쉬웠습니다. 트랜스포머는 문장 전체를 동시에(병렬로) 처리하므로 학습이 훨씬 빠르고, 멀리 떨어진 단어 사이의 관계도 잘 잡아냅니다.

대표 모델

문장 이해에 강한 BERT, 문장 생성에 강한 GPT 계열이 모두 트랜스포머에서 나왔습니다. 오늘날 우리가 쓰는 대화형 AI 대부분이 이 구조를 기반으로 합니다.

핵심 정리

• 트랜스포머는 어텐션으로 단어 간 관계를 파악한다.
• 문장을 병렬 처리해 빠르고 먼 관계에도 강하다.
• BERT·GPT 등 생성형 AI의 토대가 되었다.