AI에게 물었더니 없는 논문을 인용하고, 없는 법 조항을 대고, 없는 기능을 설명한 적이 있으실 겁니다.
문제는 틀렸다는 티가 안 난다는 것입니다. 맞는 답과 지어낸 답의 말투가 똑같습니다. 이 글은 그 둘을 가르는 방법입니다.
30초 요약
- AI는 "모른다"를 배우지 않았습니다. 빈칸을 그럴듯하게 채우도록 훈련됐습니다
- 그래서 모를수록 더 구체적으로 지어내는 경향이 있습니다
- 신호 6개(숫자·고유명사·출처·최신·법조문·과한 확신)만 기억하면 대부분 걸립니다
- 검증은 3단계면 충분합니다: 되묻기 → 원문 확인 → 반대로 묻기
왜 지어내는가
같은 동작이라서 아는 답과 지어낸 답의 말투가 똑같습니다
위험 신호 6가지
여섯 개 중 하나라도 걸리면 다음 단계로 넘어가세요
검증 3단계
세 단계를 다 할 필요는 없습니다. 1단계에서 흔들리면 그걸로 충분합니다
1단계 — 근거를 되묻습니다
"방금 말한 내용의 출처를 알려줘. 없으면 없다고 말해줘."
"없으면 없다고 말해줘" 를 붙이는 게 핵심입니다. 이 한 문장이 "모른다"는 선택지를 열어 줍니다.
2단계 — 출처를 직접 확인합니다
받은 논문 제목이나 링크를 그대로 검색해 보세요. 없으면 지어낸 것입니다. 링크가 그럴듯하게 생겼어도 열어 보기 전에는 모릅니다.
3단계 — 반대로 물어봅니다
"방금 답이 틀렸다고 볼 근거도 있을까?"
AI는 사용자에게 동조하는 경향이 있습니다. 반대로 물었을 때 똑같이 그럴듯한 반대 답을 내놓는다면, 둘 다 못 믿는 것입니다.
줄이는 방법
자료를 먼저 주기
가장 확실합니다. 근거 문서를 붙여 넣고 "이 문서 안에서만 답해" 라고 지시하세요. 문서에 없으면 없다고 답하게 하는 것도 함께 적어 주세요.
검색 기능을 켜기
요즘 AI 서비스 대부분이 웹 검색을 붙일 수 있습니다. 켜면 출처 링크가 함께 나와 확인이 쉬워집니다. 다만 검색해 온 페이지가 부정확할 수도 있으니 링크는 여전히 열어 봐야 합니다.
어려운 질문은 쪼개기
"이 사업 전체를 분석해 줘"보다 "이 문단에서 예산 금액만 뽑아 줘"가 훨씬 정확합니다. 범위가 좁을수록 지어낼 여지가 줍니다.
자주 묻는 질문
유료 모델은 덜 지어내나요?
대체로 그렇지만 없어지지는 않습니다. 더 그럴듯하게 지어내는 쪽에 가깝습니다.
"모르면 모른다고 해"라고 하면 되나요?
효과가 있습니다. 완벽하진 않지만 지시 한 줄로 눈에 띄게 줄어듭니다. 습관으로 붙이세요.
한국어라서 더 심한가요?
학습 자료가 영어보다 적은 분야에서는 그럴 수 있습니다. 특히 국내 법령·행정 절차·지역 정보는 확인이 꼭 필요합니다.
요약은 안전한가요?
내가 준 문서를 요약하는 건 비교적 안전합니다. 다만 문서에 없는 결론을 덧붙이는 경우가 있으니 요약본과 원문을 한 번은 대조하세요.
정리
AI는 거짓말을 하는 게 아니라, 모른다는 걸 표현하도록 만들어지지 않았습니다. 그래서 사용자가 그 자리를 대신 지켜야 합니다.
숫자·이름·출처·최신·법조문·과한 확신 — 이 여섯이 나오면 한 번 되물어 보세요. 그 한 번이 대부분을 걸러냅니다.
AI가 정리한 내용을 실제 업무에 쓰기 전에, AI 텍스트 분석기로 문서의 톤과 핵심 키워드를 먼저 점검해 볼 수 있습니다.