어텐션

문장에서 어떤 단어끼리 관련이 깊은지 계산하는 기법으로, 트랜스포머의 핵심 원리입니다.

어텐션은 문장 안에서 어떤 단어들이 서로 관련이 깊은지 계산해, 중요한 부분에 집중하게 하는 기법입니다. 긴 문서를 읽으며 핵심 단어에 형광펜을 긋는 것처럼, AI가 "그것"이라는 대명사를 볼 때 앞에 나온 어떤 명사를 가리키는지 가중치를 두어 파악하는 식입니다.

이전의 AI는 문장을 순서대로만 처리해 멀리 떨어진 단어들의 관계를 놓치기 쉬웠습니다. 어텐션은 이 한계를 풀었고, 2017년 발표된 트랜스포머 구조가 어텐션만으로 언어를 처리하는 방식을 제시하면서 오늘날 LLM 전성기의 기술적 토대가 되었습니다.

다만 어텐션은 문장이 길어질수록 계산량이 급격히 늘어나는 특성이 있어, 긴 문서를 다루는 비용 문제의 원인이기도 합니다. 이를 줄이려는 효율화 연구가 활발히 이어지고 있습니다.

✅ 왜 중요한가 · 장점

• ChatGPT를 비롯한 현대 AI의 작동 원리를 이해하는 핵심 열쇠입니다
• 트랜스포머, LLM 같은 상위 개념들이 모두 이 위에 서 있습니다
• 긴 문맥 처리 비용 등 AI 서비스의 특성을 이해하게 해줍니다

⚠️ 한계 · 논쟁

• 입력이 길어질수록 계산량이 급증해 비용과 속도의 병목이 됩니다
• 수학적 개념이라 비유만으로는 정확히 이해하기 어렵습니다
• 어텐션이 사람의 주의집중과 같은 것이라는 오해가 흔합니다