AI 환각(할루시네이션)이란? 왜 생기고 어떻게 줄일까

AI에게 없는 책의 페이지 번호까지 붙은 인용문을 받아본 적이 있습니다. 문장은 완벽했고, 말투는 확신에 차 있었고, 그 책에는 그런 문장이 없었습니다. 이런 현상을 환각(hallucination, 할루시네이션)이라고 부릅니다. AI가 사실이 아닌 내용을 사실처럼 자신 있게 말하는 것입니다.

환각은 버그가 아니라 작동 방식의 부산물

많은 분이 환각을 "AI의 오류"라고 생각하지만, 정확히는 AI가 원래 하도록 만들어진 일을 한 결과에 가깝습니다. LLM의 작동 원리에서 다뤘듯, 언어 모델의 본업은 "다음에 올 가장 그럴듯한 단어"를 예측하는 것입니다. 여기서 핵심은 그럴듯한이지 사실인이 아닙니다.

훈련 데이터에 자주 나온 패턴이라면 그럴듯한 것과 사실인 것이 대체로 일치합니다. "세종대왕이 만든 문자는?"에 틀린 답을 내는 모델은 거의 없습니다. 문제는 훈련 데이터에 드물게 나온 주제입니다. 모델은 "모른다"보다 "그럴듯한 문장을 완성한다" 쪽으로 기울고, 그 결과가 페이지 번호까지 갖춘 가짜 인용문입니다.

특히 조심해야 하는 질문 유형

• 구체적인 숫자·날짜·통계 — "2023년 한국 1인 가구 비율은?" 같은 질문. 비슷한 숫자를 자신 있게 지어냅니다.
• 인용문과 출처 — 논문 제목, 책 구절, 판례 번호. 형식이 완벽해서 더 위험합니다.
• 마이너한 인물·지역·제품 — 자료가 적을수록 상상으로 채웁니다.
• 최신 사건 — 모델의 학습 시점 이후 일은 알 수 없는데도 아는 것처럼 답하는 경우가 있습니다.
• 내가 검증할 수 없는 분야 — 내가 모르는 분야일수록 틀린 답을 걸러낼 수 없으니 실질 위험이 커집니다.

환각을 줄이는 실전 방법 5가지

• 1. "모르면 모른다고 답해"를 미리 넣기 — 프롬프트에 이 한 줄을 추가하면 지어내는 대신 모른다고 답하는 비율이 눈에 띄게 올라갑니다.
• 2. 출처를 함께 요구하기 — "출처와 함께 답해줘"라고 하면, 출처를 못 대는 주장은 스스로 걸러내는 경향이 있습니다. 단, 출처 자체를 지어낼 수 있으니 링크는 꼭 클릭해서 확인하세요.
• 3. 검색 연동 도구 쓰기 — 사실 확인이 목적이라면 실시간 웹을 검색해 출처 링크와 함께 답하는 Perplexity 같은 검색형 AI가 챗봇보다 안전합니다.
• 4. 같은 질문을 두 AI에 물어보기 — 두 모델의 답이 갈리면 어느 한쪽이 지어내고 있을 확률이 높다는 신호입니다.
• 5. 숫자·이름·날짜만 따로 검증하기 — 글 전체를 검증하기는 어렵습니다. 팩트가 걸린 부분(고유명사, 수치, 인용)만 골라 검색으로 확인하는 것이 현실적입니다.

그래도 AI를 쓰는 이유

환각이 있다고 AI가 쓸모없는 것은 아닙니다. 요약, 초안 작성, 아이디어 확장, 코드 설명처럼 내가 결과를 바로 검증할 수 있는 작업에서는 환각의 피해가 작고 효율은 큽니다. 반대로 "내가 모르는 사실을 알아내는 용도"로만 쓰는 것이 가장 위험한 사용법입니다. 도구의 강점과 약점을 알고 역할을 나눠주는 것이 핵심입니다.