트랜스포머

2017년 구글이 발표한 AI 구조로, ChatGPT를 비롯한 현대 생성형 AI 대부분의 기반 기술입니다.

트랜스포머는 2017년 구글 연구진이 발표한 딥러닝 구조로, 문장 안의 모든 단어가 서로 얼마나 관련 있는지를 한꺼번에 계산하는 어텐션이라는 방식이 핵심입니다. 책을 한 줄씩 순서대로만 읽던 이전 방식과 달리, 페이지 전체를 펼쳐 놓고 중요한 부분끼리 연결해 가며 읽는 독서법에 비유할 수 있습니다.

단어를 순서대로 처리하던 기존 구조는 긴 문장에서 앞 내용을 잊는 문제와 병렬 계산이 어렵다는 한계가 있었습니다. 트랜스포머는 이를 해결해 대규모 병렬 학습을 가능하게 했고, 그 결과 GPT 계열을 비롯한 현대 LLM과 이미지, 음성 생성 AI까지 대부분이 이 구조 위에 세워졌습니다. GPT의 T가 바로 트랜스포머를 뜻합니다.

다만 입력이 길어질수록 계산량이 급격히 늘어나는 구조적 부담이 있어, 이를 개선한 변형과 대안 구조 연구가 활발히 이어지고 있습니다.

✅ 왜 중요한가 · 장점

• 현대 생성형 AI 대부분의 기반이 되는 핵심 구조입니다
• 병렬 처리에 유리해 대규모 학습과 스케일링 경쟁을 가능하게 했습니다
• 언어를 넘어 이미지, 음성, 영상 등 다양한 분야에 확장되었습니다

⚠️ 한계 · 논쟁

• 입력이 길어질수록 계산량과 메모리 사용이 급격히 늘어납니다
• 대규모로 키워야 진가가 나와 학습 비용이 매우 큽니다
• 장기적으로 이를 대체하려는 새 구조 연구가 계속 도전하고 있습니다