AI는 그럴듯하게 거짓말한다 — 비전공자가 6개월간 답을 검증해온 법

AI는 모르는 것도 자신 있게 지어냅니다. 이걸 '환각'이라고 부릅니다. 비전공자는 틀린 줄도 모르고 속기 쉽습니다. 6개월간 데여가며 만든, AI 답을 검증하는 5가지 루틴을 적습니다.

AI는 "모른다"고 잘 말하지 않는다

사람은 모르면 모른다고 합니다. AI는 다릅니다. 빈칸을 그럴듯한 말로 채웁니다. 출처가 없어도 있는 것처럼, 틀린 숫자도 확신에 찬 말투로 내놓습니다. 이걸 '환각(hallucination)'이라고 합니다.

진짜 문제는 따로 있습니다. 비전공자는 그 답이 맞는지 틀린지 모릅니다. 전문가라면 한눈에 잡아낼 오류를, 초보는 그대로 믿고 씁니다. 그래서 비전공자일수록 '검증 습관'이 도구 선택보다 중요합니다.

내가 데인 사건

직접 데여봤습니다. 자동 발행을 맡겨놨다가, 본문이 텅 빈 글이 24시간 동안 올라가 있던 적이 있습니다. 시스템은 "성공"이라고 했지만 실제 결과물은 비어 있었습니다. AI가 "됐다"고 말하는 것과 실제로 된 것은 다릅니다.

사실 확인에서도 마찬가지였습니다. 날짜, 통계, 인용을 자신 있게 틀리게 답하는 경우가 적지 않았습니다. 그럴듯해서 더 위험했습니다.

AI 답을 검증하는 5가지 루틴

6개월 써보며 효과를 본 것만 추렸습니다.

1. "왜 그렇게 생각해?"로 근거를 되묻는다. 진짜 근거가 있으면 같은 답을 유지합니다. 환각이면 답이 흔들리거나 슬그머니 바뀝니다. 가장 빠른 1차 필터입니다.
2. 숫자·날짜·인용·통계는 직접 1차 확인한다. AI가 가장 자주 틀리는 영역입니다. 중요한 수치는 원출처를 직접 봅니다.
3. "성공"이라는 말 말고 결과물을 직접 본다. 코드든 글이든, 말이 아니라 실제 산출물을 눈으로 확인하거나 돌려봅니다.
4. 한 번에 다 믿지 않고 작게 쪼갠다. 긴 답일수록 중간에 틀린 조각이 숨습니다. 단계로 나눠 확인합니다.
5. 중요한 사안은 Claude와 ChatGPT에 교차로 묻는다. 두 도구의 답이 갈리면, 그 지점이 바로 검증이 필요한 곳입니다.

그래서 — 의심하는 힘이 진짜 실력

AI를 오래 쓰며 배운 건 '더 좋은 답을 받는 법'이 아니라 '답을 안 믿는 법'이었습니다. 도구는 점점 똑똑해지지만, 그럴듯하게 틀리는 성질은 쉽게 사라지지 않습니다.

결국 AI는 일을 빠르게 해주는 비서일 뿐, 결재까지 해주는 사람은 아닙니다. 비전공자에게 마지막까지 남는 능력은 "이거 진짜 맞아?"라고 묻고 직접 확인하는 힘이더라고요.

함께 보면 좋은 글: Claude 1주차 의심 질문 5가지 — AI 비서 검수 패턴 · 자동 발행 글 본문이 텅 빈 채로 24시간 노출된 사건

---

이 글을 쓴 사람
8년간 한 분야를 공부하다 번아웃으로 멈춰 섰고, 지금은 회복하며 AI 도구로 다시 일과 글쓰기를 시작한 비전공자입니다. 도구를 '맹신'하기보다 직접 부딪혀 본 기록을 남깁니다.

참고: 본문은 2026년 기준 Claude·ChatGPT를 6개월간 매일 사용한 본인 경험이며, 도구·모델 업데이트에 따라 환각의 정도는 달라질 수 있습니다.