환각

AI가 사실이 아닌 내용을 사실처럼 자신 있게 말하는 현상입니다. 숫자, 인용, 출처에서 특히 자주 발생합니다.

환각은 AI가 사실이 아닌 내용을 사실처럼 자신 있게 말하는 현상입니다. 존재하지 않는 논문을 인용하거나 없는 판례를 지어내는 식으로, 모르면 모른다고 하는 대신 그럴듯한 답을 만들어내는 것이 특징입니다.

LLM은 사실을 조회하는 데이터베이스가 아니라 다음에 올 말을 확률적으로 예측하는 모델이기 때문에, 그럴듯함과 사실임이 어긋날 때 환각이 생깁니다. 특히 숫자, 인용, 출처, 인물 정보에서 자주 발생하며, 변호사가 AI가 지어낸 판례를 법원에 제출해 문제가 된 사례가 유명합니다.

검색 결합(RAG)이나 추론 강화로 줄일 수는 있지만 현재 기술로 완전히 없애기는 어렵다는 것이 중론입니다. 그래서 중요한 사실 확인은 사람이 직접 검증하는 습관이 AI 활용의 기본 수칙이 되었습니다.

✅ 왜 중요한가 · 장점

• AI 답변을 무조건 믿으면 안 되는 이유를 정확히 알려줍니다
• 숫자, 인용, 출처 등 특히 검증이 필요한 지점을 짚어줍니다
• RAG 등 환각을 줄이려는 기술 흐름을 이해하는 출발점이 됩니다

⚠️ 한계 · 논쟁

• 자신 있는 말투 때문에 틀린 내용도 그럴듯하게 들립니다
• 현재 기술로는 완전한 제거가 어렵다는 것이 중론입니다
• 검증 없이 업무나 법률 문서에 쓰면 실제 피해로 이어질 수 있습니다