← 라이브러리로 돌아가기

Threads digest · @edutrend_

사고·창의성

AI로 점수는 올랐는데, 내 실력도 늘어난 걸까요?

AI 덕분에 문제를 잘 풀었다고 해서, 내가 얼마나 잘했는지까지 정확히 아는 것은 아닙니다. 높아진 점수와 자신감 뒤에서 놓치기 쉬운 자기점검의 감각, 그리고 답을 검증하는 비판적 사고를 이야기합니다.

거울에 비친 완성된 퍼즐과 아직 맞추지 못한 나무 조각 · AI 생성 주제 이미지
글의 주제를 표현한 AI 생성 이미지 · 실제 연구 장면이 아닙니다.

문제는 척척 풀리는데, 내 실력도 늘었을까요?

AI를 쓰면 문제도 척척 풀리고 일도 훨씬 수월해집니다. 그런데 과연 그만큼 ‘내 실력’도 늘어난 걸까요?

최근 인지과학 연구에서 AI와 함께 문제를 푼 사람들은 과제 점수는 높았지만, “내가 무엇을 알고 무엇을 모르는지 파악하는 감각”, 즉 메타인지는 그만큼 따라오지 못했습니다.

AI를 쓸 때 왜 근거 없는 자신감에 빠질 수 있는지, 쉽고 친절하게 정리해 드립니다.

AI와 함께 푼 그룹의 점수는 훨씬 높았습니다

연구진은 혼자 문제를 푼 성인 187명과 AI와 함께 푼 성인 179명, 총 366명의 결과를 비교했습니다. 두 그룹은 퍼즐이나 논리 퀴즈 같은 추론 문제 40개를 풀었습니다.

혼자 푼 그룹은 오직 자기 머리로만 풀었습니다. AI와 함께 푼 그룹은 문제마다 AI에게 최소 한 번 이상 질문하고 상의하며 풀었습니다.

결과는 AI를 쓴 그룹의 완승이었습니다. 40점 만점에 평균 약 28점을 기록해, 혼자 푼 그룹의 약 21점보다 점수가 훨씬 높았습니다. 확실히 AI가 ‘정답 자판기’ 역할을 톡톡히 해준 셈이죠.

“한 30개는 맞혔을걸요?”라는 자신감

진짜 문제는 시험이 끝난 뒤에 나타났습니다.

참가자들에게 “방금 푼 40문제 중 몇 개나 맞힌 것 같나요?”라고 물어보았습니다.

혼자 푼 그룹에서는 점수를 잘 받은 사람일수록 높게, 못 받은 사람일수록 낮게 예상하는 경향이 나타났습니다. 실제 점수와 예상 점수의 상관관계는 0.40이었습니다.

AI와 함께 푼 그룹에서는 실제 점수가 달라도 성적대별 평균 예상 점수가 30개 안팎에 머물렀습니다. “한 30개는 맞혔을걸요?”라는 반응에 가까웠던 것이죠. 실제 점수와 예상 점수의 상관관계는 0.07로, 거의 0에 가까웠습니다.

자신감은 넘치는데, 틀린 답을 알아채기는 어려웠습니다

더 놀라운 건 “내가 맞힌 문제와 틀린 문제를 스스로 구분하는 능력”이었습니다.

문제를 하나 풀 때마다 “이 답이 맞다고 얼마나 확신하나요?”를 물어봤더니, AI를 쓴 사람들의 평균 자신감은 78%로 혼자 푼 사람들의 66%보다 높았습니다.

그런데 여러 유형의 문제를 모아 보면, AI를 쓴 사람들은 맞은 답과 틀린 답에 매긴 자신감의 차이가 훨씬 작았습니다. 자신감은 넘치는데, 오답을 알아채는 감각은 약했던 것이죠.

정답과 오답을 구분하는 지표는 AI 그룹에서 0.56, 혼자 푼 그룹에서 0.65였습니다. 동전 던지기처럼 우연에 맡기는 기준인 0.50보다는 높았지만, AI 그룹은 그 기준을 조금 웃도는 수준이었습니다.

하위권은 9점 높게, 상위권은 4점 낮게

성적이 낮은 사람일수록 자신을 과대평가하는 더닝-크루거 효과(Dunning-Kruger Effect)의 패턴도 나타났습니다. 관찰된 성적대별 차이는 AI와 함께 푼 그룹에서 더 크게 나타났습니다.

AI 그룹의 하위 25% 참가자는 자기 점수를 평균 9점 넘게 부풀려 예상했습니다. 반면 상위 25% 참가자는 자기 점수를 평균 4점 정도 깎아내렸습니다.

점수의 측정 오차와 통계적 착시를 통제한 분석에서도, AI 그룹에서 낮은 성적대일수록 더 많이 과대평가하는 패턴은 줄어들었지만 사라지지는 않았습니다. 다만 통제 후 두 그룹의 차이까지 확실하다고 결론 내릴 수는 없었습니다.

수월한 느낌을, 이해했다는 신호로 착각한다면

왜 이런 인지적 착각이 생길까요?

우리는 원래 혼자 고민할 때 머리가 지끈거리고 막히는 느낌을 통해 “아, 이 문제는 어렵구나, 내가 잘 모르나 보다” 하고 눈치챕니다.

연구진이 제안하는 한 가지 설명은, AI가 막힘없이 술술 답을 써 내려갈 때 그 ‘편안하고 수월한 느낌’을 ‘내가 완전히 이해해서 문제를 잘 풀었다’는 신호로 착각할 수 있다는 것입니다. 내 뇌가 푼 게 아니라 AI가 풀어준 부분까지 말이죠.

답을 빨리 얻는 것만으로는 충분하지 않습니다

이 연구가 던지는 메시지는 간단합니다.

“AI 덕분에 점수가 잘 나왔다고 해서, 내 실력과 메타인지까지 똑똑해진 것은 아니다.”

AI를 잘 쓴다는 건 단순히 답을 빠르게 얻어내는 게 아닙니다.

AI가 내놓은 답이 그럴듯해 보여도 “이게 진짜 맞나?” 하고 의심하며 스스로 점검하고 검증할 줄 아는 비판적 사고가 반드시 함께 가야 합니다.

이 글에서 소개한 원문

Confident, Not Wiser: The Dunning-Kruger Effect in Human-AI Interaction

Daniela Fernandes, Michelle Rausch, Agnes Mercedes Kloft, Daniel Buschek, Robin Welsch (2026)

arXiv 사전공개 논문 · arXiv:2609.31095v1

연구 원문 보기 ↗
원문 타래 이어 읽기Edutrend의 Threads에서

이 글 공유하기