컨텍스트

AI가 한 번의 대화에서 기억하고 참고할 수 있는 내용의 범위(분량)입니다.

컨텍스트는 AI가 한 번의 대화에서 기억하고 참고할 수 있는 내용의 범위를 말하며, 그 한도를 컨텍스트 윈도우라고 부릅니다. 책상 위 공간에 비유하면, 책상에 올려둔 자료는 바로 참고할 수 있지만 공간이 차면 오래된 자료부터 치워야 하는 것과 같습니다.

AI에게 문서를 주고 요약을 시키거나 긴 대화를 이어갈 때, 이 범위 안의 내용만 실제로 반영됩니다. 그래서 모델들이 얼마나 긴 컨텍스트를 다룰 수 있는지가 성능 경쟁의 주요 지표가 되었고, 책 한 권 분량을 통째로 넣을 수 있는 모델들도 등장했습니다.

긴 대화에서 AI가 앞부분을 잊은 듯 답하는 것은 이 한계 때문인 경우가 많습니다. 또한 컨텍스트가 길다고 그 안의 모든 내용을 고르게 잘 활용하는 것은 아니어서, 중간에 있는 정보를 놓치는 현상도 보고되어 있습니다.

✅ 왜 중요한가 · 장점

• AI가 왜 대화 앞부분을 잊는지 등 실사용 경험을 이해하게 해줍니다
• 모델 선택 시 긴 문서 처리 능력을 가늠하는 기준이 됩니다
• 프롬프트에 자료를 얼마나 넣을지 판단하는 실용 지식이 됩니다

⚠️ 한계 · 논쟁

• 범위가 길어질수록 처리 비용과 응답 시간이 늘어납니다
• 길이가 길다고 그 안의 정보를 모두 고르게 활용하는 것은 아닙니다
• 대화가 끝나면 내용이 사라지므로 영구 기억과 혼동하면 안 됩니다