토큰

AI가 글을 처리하는 최소 단위입니다. 단어보다 작을 수 있으며, 요금과 사용량 한도가 보통 토큰 수 기준으로 계산됩니다.

토큰은 AI가 텍스트를 읽고 쓸 때 사용하는 최소 처리 단위입니다. 문장을 단어나 그보다 작은 조각으로 자른 것으로, 예를 들어 영어에서 흔한 단어는 한 토큰이지만 긴 단어는 여러 토큰으로 쪼개지고, 한국어는 한 단어가 여러 토큰이 되는 경우가 많습니다. 레고 작품을 블록 단위로 조립하듯, AI는 글을 토큰 단위로 이해하고 생성합니다.

토큰이 중요한 이유는 AI 서비스의 요금, 사용량 한도, 그리고 한 번에 다룰 수 있는 글의 길이(컨텍스트 윈도우)가 모두 토큰 수로 계산되기 때문입니다. API 요금표의 토큰당 가격, 모델 스펙의 컨텍스트 길이를 읽으려면 이 개념이 필수입니다.

같은 의미의 문장도 언어에 따라 토큰 수가 달라, 한국어는 영어보다 토큰을 더 소모하는 경향이 있다는 점도 실사용에서 알아두면 좋습니다.

✅ 왜 중요한가 · 장점

• AI 요금과 사용량 한도를 이해하고 비용을 관리할 수 있게 됩니다
• 컨텍스트 윈도우 등 모델 스펙을 읽는 기초가 됩니다
• 긴 문서 처리나 API 활용 시 작업량을 가늠하는 단위가 됩니다

⚠️ 한계 · 논쟁

• 토큰 나누는 방식이 모델마다 달라 서비스 간 단순 비교가 어렵습니다
• 한국어는 영어보다 토큰 소모가 많아 비용에서 불리한 경향이 있습니다
• 글자 수나 단어 수와 정확히 일치하지 않아 직관적으로 셈하기 어렵습니다