RAG

답변 전에 관련 문서를 먼저 검색해 그 내용을 근거로 답을 생성하는 기법입니다. 환각을 줄이는 대표적인 방법입니다.

RAG(검색 증강 생성)는 AI가 기억에만 의존해 답하지 않고, 질문과 관련된 문서를 먼저 검색해 온 뒤 그 내용을 근거로 답을 만드는 기법입니다. 오픈북 시험에 비유할 수 있는데, 암기한 내용으로 답하는 대신 교과서를 펴서 해당 페이지를 확인하고 답안을 쓰는 방식입니다.

LLM은 학습 시점 이후의 정보를 모르고, 학습하지 않은 사내 문서 내용은 답할 수 없으며, 모르는 것도 그럴듯하게 지어내는 환각 문제가 있습니다. RAG는 이 세 가지를 한꺼번에 완화하는 현실적 방법으로, 사내 문서 챗봇이나 고객센터 자동화 등 기업 AI 도입의 표준 패턴이 되었습니다.

다만 RAG를 붙인다고 환각이 사라지는 것은 아닙니다. 검색이 엉뚱한 문서를 가져오면 답도 틀리기 때문에, 문서 정리와 검색 품질 관리가 성패를 좌우합니다.

✅ 왜 중요한가 · 장점

• 최신 정보와 사내 문서 등 모델이 모르는 지식으로 답하게 할 수 있습니다
• 근거 문서를 함께 제시할 수 있어 답변 검증이 쉬워집니다
• 모델을 재학습시키는 것보다 훨씬 저렴하고 빠르게 적용됩니다

⚠️ 한계 · 논쟁

• 검색이 부정확하면 답변도 함께 틀려집니다
• 환각을 줄여줄 뿐 완전히 없애지는 못합니다
• 문서 정리, 분할, 검색 튜닝 등 구축과 유지 관리에 손이 많이 갑니다