AI가 준 답, 그대로 믿어도 되나 — 5분 안에 거짓말 거르는 4가지 방법

AI에게 뭘 물어보면 출처까지 척척 붙여서 답을 줍니다. 그럴듯해 보이죠. 그런데 그 출처, 눌러보면 엉뚱한 페이지거나 아예 없는 주소인 경우가 생각보다 많습니다. 그래서 결론부터 말씀드리면, AI 답은 "일단 의심하고 중요한 것만 확인"이 정답입니다. 아래 4가지를 습관으로 만들면 5분 안에 거를 수 있습니다.

검증 단계	뭘 하나	언제 특히
① 출처 클릭	붙은 링크를 눌러 그 내용이 진짜 거기 있는지 확인	항상
② 자료 가두기	"이 자료 안에서만 답하고, 없으면 모른다고 해"	내 문서로 물을 때
③ 교차 확인	같은 질문을 다른 AI에도 던져 답이 갈리나 본다	중요한 판단
④ 숫자 의심	수치·날짜·이름·인용은 특히 다시 확인	항상

먼저 "왜 AI가 그렇게 자신 있게 틀리는지"부터 짧게 짚고, 하나씩 풀겠습니다.

AI는 원래 '그럴듯한 말'을 만드는 기계다

많은 분이 AI를 검색엔진이나 백과사전처럼 생각합니다. 하지만 AI는 사실을 저장해두고 꺼내오는 게 아니라, "다음에 올 법한 단어"를 확률로 이어붙여 문장을 만듭니다. 그래서 아는 것도, 모르는 것도 똑같이 매끄러운 문장으로 답합니다.

흥미롭게도 이건 AI를 만든 회사가 직접 인정한 사실입니다. 오픈AI는 2025년 발표한 논문에서 환각(그럴듯한 거짓말)은 고장이 아니라 이 방식의 자연스러운 결과라고 밝혔습니다. 게다가 AI는 "모른다"고 답하기보다 찍어서라도 답하는 쪽으로 훈련돼 있습니다. 시험에서 빈칸보다 찍는 게 이득이듯, AI도 그렇게 학습됐다는 겁니다. 그래서 틀렸을 때조차 확신에 차 있습니다. 이 점만 알아도 절반은 방어됩니다.

① 붙은 출처를 직접 눌러보라 (가장 중요)

AI가 출처를 달아줬다고 안심하면 안 됩니다. 출처가 붙어 있다는 것과, 그 출처가 실제로 존재하고 그 내용을 뒷받침한다는 것은 전혀 다른 문제니까요.

2025년 3월 컬럼비아대 저널리즘 연구소(Tow Center)가 AI 검색 도구 8종을 조사했는데, 뉴스 출처를 제대로 짚는지 1,600건을 테스트한 결과 60% 넘게 출처를 틀리게 댔습니다. 어떤 도구는 링크의 절반 이상이 깨졌거나 엉뚱한 페이지로 연결됐습니다. (이건 "뉴스 출처를 정확히 대는가"라는 좁은 시험 결과이니, "AI 답의 60%가 거짓"이라는 뜻은 아닙니다.)

실제로 미국에서는 변호사가 AI가 지어낸 가짜 판례를 법정에 냈다가 벌금을 문 사건도 있었습니다. AI는 존재하지도 않는 판결문·논문·URL을 진짜처럼 만들어냅니다. 그러니 중요한 사실이라면 붙은 링크를 눌러 원문에 그 내용이 정말 있는지 눈으로 확인하세요. 이 한 단계가 검증의 8할입니다.

② "이 자료 안에서만 답해"라고 가둬라

AI가 자기 머릿속 지식으로 답하게 두면 지어낼 여지가 큽니다. 대신 내가 준 문서·자료 안에서만 답하도록 묶으면 헛소리가 크게 줍니다.

• 자료를 붙여넣거나 파일로 올린 뒤, "이 자료 안에 있는 내용으로만 답하고, 없으면 '자료에 없음'이라고 말해"라고 지시하세요.
• 여기에 "확실하지 않으면 추측하지 말고 모른다고 해"를 덧붙이면 더 좋습니다. 앞서 말한 "AI는 찍는다"는 성향을, 프롬프트로 눌러주는 겁니다.

저도 이 두 문장을 붙이기 전과 후가 확연히 다릅니다. 그냥 물으면 그럴듯하게 지어내던 것이, "자료에 없으면 없다고 해"를 붙이면 "해당 내용은 자료에 없습니다"라고 정직하게 답하는 경우가 눈에 띄게 늘었습니다. 관련 연구들도 이렇게 근거를 가두거나 "모른다"를 허용해주면 환각이 준다는 방향을 지지합니다.

③ 같은 질문을 다른 AI에도 물어보라

이건 품이 조금 들지만 효과가 확실합니다. 같은 질문을 두세 개의 다른 AI에 던져보는 겁니다.

원리는 간단합니다. 지어낸 내용은 도구마다 답이 제각각으로 흔들리는 경우가 많습니다. 학계에서도 여러 모델의 답을 교차 검사해 거짓을 잡아내는 방법이 연구돼 있습니다. 무료 도구가 여럿이니(제미나이·퍼플렉시티 등), 판단이 걸린 중요한 질문은 한 곳 답만 믿지 말고 답이 갈리는지 대보세요. 답이 엇갈리면 최소한 "이건 다시 확인하라"는 신호입니다. (반대로 답이 같다고 무조건 맞는 건 아닙니다 — 여러 AI가 같은 잘못된 정보를 학습했을 수도 있으니까요. 그래도 갈리는 것부터 걸러내면 사고가 크게 줍니다.)

④ 숫자·날짜·이름은 특히 의심하라

AI가 가장 자주, 그리고 가장 태연하게 틀리는 게 구체적인 수치·날짜·고유명사·인용문입니다. 앞서 말했듯 "모른다"보다 "그럴듯하게 채우기"를 하기 때문에, 정확한 숫자가 필요한 자리를 비슷하지만 틀린 값으로 메꿉니다.

특히 조심할 것:

• 가격·통계·퍼센트 — 소수점까지 그럴듯하게 대지만 출처를 확인하면 다른 경우가 흔합니다.
• 날짜·연도 — "작년 제도"를 "올해"라고 하는 식의 시점 오류.
• 누가 말했다는 인용 — 실제로는 그 사람이 한 말이 아닌 경우.

돈·법·건강처럼 틀리면 손해가 큰 사안일수록, AI 답은 출발점으로만 쓰고 반드시 공식 원문으로 확인하세요. 이런 분야는 AI에게 최종 판단을 맡길 자리가 아닙니다.

그래서 어떻게 쓰면 되나

AI를 안 믿자는 게 아닙니다. AI는 여전히 초안 잡기, 자료 훑기, 아이디어 얻기엔 훌륭한 도구입니다. 다만 "AI는 똑똑한 조수지 판사가 아니다"로 선을 그으면 됩니다.

• 가벼운 참고 → 그냥 써도 됩니다.
• 남에게 보여줄 글·중요한 판단 → 위 4단계로 거르세요. 특히 ①(출처 클릭)과 ④(숫자 의심)는 5분이면 됩니다.
• 출처를 달아주는 기능이나 "자료 안에서 답하기"도 헛소리를 줄이긴 하지만 없애진 못합니다. 실제로 출처 기반으로 만든 전문 도구조차 상당 비율이 여전히 틀렸다는 연구가 있습니다.

정리하면, AI가 준 답에서 "이게 틀리면 내가 곤란해지는 부분"만 골라 원문으로 확인하는 습관, 이거 하나면 대부분의 사고를 막을 수 있습니다. 무료로 깊이 있는 조사를 시키는 법은 앞 글(AI 딥리서치 무료로 쓰는 법)에서 다뤘으니, 그렇게 받은 보고서도 이 4단계로 한 번 걸러 쓰시면 됩니다.