ChatGPT는 어떻게 말을 할까? LLM 동작 원리 쉽게 이해하기
ChatGPT와 대화하다 보면 "이거 진짜 생각하면서 말하는 거 아냐?" 싶은 순간이 옵니다. 하지만 그 속을 들여다보면 의외로 단순한(그래서 더 놀라운) 원리가 있습니다. 오늘은 대규모 언어 모델(LLM, Large Language Model)이 문장을 만드는 원리를 수식 없이 설명해 보겠습니다.
핵심 원리: "다음에 올 말 맞히기"
LLM이 하는 일을 한 문장으로 줄이면 이렇습니다.
"지금까지의 글을 보고, 다음에 올 가장 그럴듯한 단어 조각을 계속해서 예측한다."
"대한민국의 수도는"이라는 글이 주어지면, 모델은 다음에 올 확률이 가장 높은 말로 "서울"을 내놓습니다. 그리고 "대한민국의 수도는 서울"까지를 다시 입력 삼아 그다음 말을 예측하고… 이 과정을 수백, 수천 번 반복해서 긴 답변이 완성됩니다. 카카오톡 자동완성의 초강력 버전이라고 생각하면 출발점으로는 충분합니다.
토큰: AI가 글을 읽는 단위
LLM은 글자를 통째로 읽지 않고 토큰(token)이라는 조각으로 잘라서 처리합니다. 토큰은 단어일 수도, 단어의 일부일 수도 있습니다. 예를 들어 "인공지능은 재미있다"는 [인공][지능][은] [재미][있][다]처럼 쪼개질 수 있습니다.
ChatGPT 요금제 설명에 나오는 "토큰 수 제한"이 바로 이것입니다. 모델이 한 번에 기억하고 처리할 수 있는 토큰의 양을 컨텍스트 윈도(context window)라고 부르는데, 이 크기가 클수록 긴 문서를 통째로 읽고 답할 수 있습니다.
학습: 인터넷의 글을 통째로 읽으며 예측 연습
그럼 "다음 말 맞히기"를 어떻게 그렇게 잘하게 됐을까요? 답은 압도적인 연습량입니다.
- 사전 학습(pre-training) — 인터넷의 방대한 텍스트에서 문장 일부를 가리고 맞히는 연습을 수조 번 반복합니다. 이 과정에서 문법, 상식, 추론 패턴까지 통계적으로 흡수합니다.
- 미세 조정(fine-tuning) — 사람이 만든 좋은 질문·답변 예시로 "도움이 되는 답변의 형식"을 다듬습니다.
- 사람 피드백 학습(RLHF) — 여러 답변 중 사람이 더 좋다고 평가한 쪽을 강화해, 무례하거나 위험한 답을 줄입니다.
1번이 "지식과 언어 감각"을, 2·3번이 "대화 매너"를 만든다고 보면 됩니다.
그래서 생기는 특징: 환각
이 원리를 이해하면 LLM의 가장 유명한 약점도 자연스럽게 이해됩니다. 모델은 "사실"을 검색하는 게 아니라 "그럴듯한 다음 말"을 만들 뿐이므로, 때때로 사실이 아닌데 매우 그럴듯한 문장을 자신 있게 만들어냅니다. 이것이 환각(hallucination)입니다.
존재하지 않는 논문 제목, 틀린 날짜, 가짜 판례를 진짜처럼 말하는 사례가 모두 여기서 나옵니다. 그래서 최근 서비스들은 웹 검색을 결합해 근거 자료를 함께 보여주는 방향으로 발전하고 있지만, 중요한 사실은 반드시 원 출처로 확인하는 습관이 필요합니다.
오늘의 정리
- LLM의 본질은 "다음 토큰 예측"을 반복해 문장을 만드는 것이다.
- 토큰은 AI가 글을 읽는 단위이고, 한 번에 다룰 수 있는 양이 컨텍스트 윈도다.
- 방대한 사전 학습 + 사람 피드백으로 지금의 대화 능력이 만들어졌다.
- 원리상 환각이 생길 수밖에 없으므로, 중요한 사실은 검증해야 한다.
다음 편에서는 텍스트를 넘어 이미지·영상·음성까지, 생성형 AI의 전체 지도를 그려봅니다.