AI 환각(할루시네이션)이란? 왜 생기고 어떻게 줄일까
AI에게 없는 책의 페이지 번호까지 붙은 인용문을 받아본 적이 있습니다. 문장은 완벽했고, 말투는 확신에 차 있었고, 그 책에는 그런 문장이 없었습니다. 이런 현상을 환각(hallucination, 할루시네이션)이라고 부릅니다. AI가 사실이 아닌 내용을 사실처럼 자신 있게 말하는 것입니다.
환각은 이상한 오류가 아니라 자연스러운 한계에 가깝습니다
AI 환각을 처음 들으면 AI가 갑자기 고장 난 것처럼 느껴집니다. 하지만 실제로는 AI가 문장을 생성하는 방식에서 자연스럽게 생길 수 있는 한계에 가깝습니다. AI는 답변을 만들 때 사실 데이터베이스에서 정답을 꺼내는 것이 아니라, 주어진 문맥에서 이어질 가능성이 높은 문장을 만들어냅니다.
그래서 질문이 애매하거나, 자료가 부족하거나, 최신 정보가 필요한 상황에서는 그럴듯한 빈칸 채우기가 발생할 수 있습니다. 문제는 이 빈칸이 매우 자연스러운 문장으로 표현된다는 점입니다. 사용자는 틀린 답을 틀렸다고 느끼기 어렵습니다.
환각을 줄이는 가장 현실적인 방법은 AI에게 답만 요구하지 않는 것입니다. 근거를 함께 달라고 하고, 확인이 필요한 부분을 따로 표시하게 하고, 모르는 것은 추정하지 말라고 조건을 줘야 합니다. 특히 숫자, 날짜, 정책, 가격, 법률, 의료 정보는 반드시 원문 출처를 다시 확인해야 합니다.
AI를 믿지 말라는 뜻은 아닙니다. AI는 초안을 만들고 가능성을 좁히는 데 매우 유용합니다. 다만 사실 확인이 필요한 영역에서는 AI 답변을 최종 결과가 아니라 검토해야 할 초안으로 보는 습관이 필요합니다.
환각을 줄이는 실제 질문 방식
환각을 줄이려면 AI에게 답을 바로 요구하기보다 검증 역할을 같이 맡기는 편이 좋았습니다. 예를 들어 “정답을 말해줘”보다 “가능한 답과 확인해야 할 근거를 분리해줘”라고 쓰면 답변이 훨씬 조심스러워집니다. 또 AI가 숫자나 정책을 말했을 때는 “이 내용이 바뀔 수 있는 정보인지 표시해줘”라고 다시 묻는 습관이 도움이 됐습니다.
실제로는 ‘확신하는 말투’를 가장 경계해야 합니다
환각 답변은 대개 이상한 말투로 나타나지 않았습니다. 오히려 가장 위험한 답변은 문장 구조가 좋고 단정적인 표현을 쓰는 경우였습니다. 그래서 저는 AI가 확신 있게 말할수록 한 번 더 확인했습니다. 특히 존재하지 않는 기능명, 실제와 다른 가격, 오래된 정책, 출처 없는 통계는 사용자가 바로 알아채기 어렵습니다. 이런 답변은 공개 글이나 업무 문서에 들어가기 전에 반드시 공식 문서, 원문 기사, 서비스 화면 중 하나로 확인해야 합니다.
환각은 버그가 아니라 작동 방식의 부산물
많은 분이 환각을 "AI의 오류"라고 생각하지만, 정확히는 AI가 원래 하도록 만들어진 일을 한 결과에 가깝습니다. LLM의 작동 원리에서 다뤘듯, 언어 모델의 본업은 "다음에 올 가장 그럴듯한 단어"를 예측하는 것입니다. 여기서 핵심은 그럴듯한이지 사실인이 아닙니다.
훈련 데이터에 자주 나온 패턴이라면 그럴듯한 것과 사실인 것이 대체로 일치합니다. "세종대왕이 만든 문자는?"에 틀린 답을 내는 모델은 거의 없습니다. 문제는 훈련 데이터에 드물게 나온 주제입니다. 모델은 "모른다"보다 "그럴듯한 문장을 완성한다" 쪽으로 기울고, 그 결과가 페이지 번호까지 갖춘 가짜 인용문입니다.
특히 조심해야 하는 질문 유형
- 구체적인 숫자·날짜·통계 — "2023년 한국 1인 가구 비율은?" 같은 질문. 비슷한 숫자를 자신 있게 지어냅니다.
- 인용문과 출처 — 논문 제목, 책 구절, 판례 번호. 형식이 완벽해서 더 위험합니다.
- 마이너한 인물·지역·제품 — 자료가 적을수록 상상으로 채웁니다.
- 최신 사건 — 모델의 학습 시점 이후 일은 알 수 없는데도 아는 것처럼 답하는 경우가 있습니다.
- 내가 검증할 수 없는 분야 — 내가 모르는 분야일수록 틀린 답을 걸러낼 수 없으니 실질 위험이 커집니다.
환각을 줄이는 실전 방법 5가지
- 1. "모르면 모른다고 답해"를 미리 넣기 — 프롬프트에 이 한 줄을 추가하면 지어내는 대신 모른다고 답하는 비율이 눈에 띄게 올라갑니다.
- 2. 출처를 함께 요구하기 — "출처와 함께 답해줘"라고 하면, 출처를 못 대는 주장은 스스로 걸러내는 경향이 있습니다. 단, 출처 자체를 지어낼 수 있으니 링크는 꼭 클릭해서 확인하세요.
- 3. 검색 연동 도구 쓰기 — 사실 확인이 목적이라면 실시간 웹을 검색해 출처 링크와 함께 답하는 Perplexity 같은 검색형 AI가 챗봇보다 안전합니다.
- 4. 같은 질문을 두 AI에 물어보기 — 두 모델의 답이 갈리면 어느 한쪽이 지어내고 있을 확률이 높다는 신호입니다.
- 5. 숫자·이름·날짜만 따로 검증하기 — 글 전체를 검증하기는 어렵습니다. 팩트가 걸린 부분(고유명사, 수치, 인용)만 골라 검색으로 확인하는 것이 현실적입니다.
그래도 AI를 쓰는 이유
환각이 있다고 AI가 쓸모없는 것은 아닙니다. 요약, 초안 작성, 아이디어 확장, 코드 설명처럼 내가 결과를 바로 검증할 수 있는 작업에서는 환각의 피해가 작고 효율은 큽니다. 반대로 "내가 모르는 사실을 알아내는 용도"로만 쓰는 것이 가장 위험한 사용법입니다. 도구의 강점과 약점을 알고 역할을 나눠주는 것이 핵심입니다.