ChatGPT가 틀린 말을 할 때가 있습니다
ChatGPT를 쓰다 보면 가끔 이런 경험을 하게 됩니다. 분명히 자신 있게 답했는데, 알고 보면 틀린 정보였던 경우입니다. 존재하지 않는 책을 추천하거나, 잘못된 수치를 사실처럼 말하는 식입니다. 처음엔 그냥 넘겼는데, 직접 AI 에이전트를 만들면서 이 문제를 정면으로 마주치게 됐습니다.
이 현상을 ‘할루시네이션’이라고 부릅니다
AI가 사실처럼 틀린 정보를 생성하는 현상을 할루시네이션(Hallucination)이라고 합니다. 환각이라는 뜻인데, AI가 마치 없는 것을 본 것처럼 답변을 만들어낸다는 의미에서 붙은 이름입니다.
왜 이런 일이 생기는 걸까요. ChatGPT 같은 AI는 방대한 텍스트 데이터를 학습해서 “다음에 올 말이 뭔지”를 예측하는 방식으로 작동합니다. 정답을 저장해두는 게 아니라, 그럴듯한 문장을 생성하는 구조입니다. 그래서 모르는 내용이 나와도 “모른다”고 하는 대신, 그럴듯하게 들리는 답변을 만들어내는 경우가 생깁니다.
직접 만들어보니 더 명확하게 보였습니다
주식 정보를 답해주는 AI 에이전트를 만들면서 이 문제를 직접 겪었습니다. PER, PBR 같은 금융 용어를 설명하도록 했더니, 처음에는 그럴듯하지만 출처가 불분명한 답변이 나오는 경우가 있었습니다. 주식 정보는 틀리면 실제 피해로 이어질 수 있기 때문에 그냥 넘길 수 없었습니다.
그래서 적용한 방식이 RAG입니다. RAG는 AI가 답변을 만들기 전에 먼저 신뢰할 수 있는 문서를 검색해서 참고하도록 하는 구조입니다. 쉽게 말하면 AI에게 “네 머릿속 기억으로 답하지 말고, 이 자료를 보고 답해”라고 지시하는 방식입니다.
여기에 더해 hallucination_grader라는 평가 단계를 추가했습니다. AI가 생성한 답변이 실제로 참고한 문서에 근거하고 있는지 한 번 더 확인하는 과정입니다. 이 단계를 거치고 나서 훨씬 신뢰할 수 있는 답변이 나오기 시작했습니다.
할루시네이션을 줄이는 현실적인 방법
개발자 입장에서 할루시네이션을 완전히 없애는 건 현재로선 불가능합니다. 다만 줄이는 방법은 있습니다.
첫째, 질문을 구체적으로 합니다. “삼성전자 어때?”보다 “삼성전자 2024년 영업이익이 얼마야?”처럼 범위를 좁힐수록 틀릴 여지가 줄어듭니다.
둘째, 중요한 정보는 반드시 원본 출처를 확인합니다. AI의 답변은 참고용으로만 활용하고, 중요한 결정에는 공식 자료를 직접 찾아보는 습관이 필요합니다.
셋째, AI 서비스를 고를 때 출처를 함께 제공하는지 확인합니다. Perplexity처럼 답변과 함께 참고 링크를 제공하는 서비스는 검증이 훨씬 쉽습니다.
할루시네이션은 AI의 구조적인 특성에서 오는 문제입니다. 이를 이해하고 사용하는 것과 모르고 사용하는 것은 결과에서 꽤 큰 차이를 만들어냅니다.
추천 내부 링크
- 주식 AI 에이전트 구현기 — 할루시네이션 문제를 직접 해결한 프로젝트 글
- RAG란 무엇인가 — AI가 문서를 참고해 답하는 구조를 쉽게 설명한 글
- ChatGPT API 처음 써보는 법 — AI 직접 활용해보고 싶은 분을 위한 입문 글
