← 라이브러리로 돌아가기

Threads digest · @edutrend_

학습·교육

AI의 가혹한 점수, 교사가 마지막에 확인하면 괜찮을까요?

AI의 오류를 교사가 마지막에 확인하면 충분할까요? 같은 잘못된 점수도 AI가 매겼다는 표시와 가혹함·관대함에 따라 다르게 받아들여졌습니다. 교사를 운전석에 둔다는 말의 의미를 다시 묻게 합니다.

자동 채점의 붉은 표시를 보기 전 자신의 판단을 남기는 교사의 손 · AI 생성 주제 이미지
글의 주제를 표현한 AI 생성 이미지 · 실제 연구 장면이 아닙니다.

마지막에 교사가 확인하면 괜찮을까요?

학생 평가처럼 중요한 의사결정에서 오류를 막기 위해 인간을 최종 검토자로 두는 휴먼 인 더 루프(Human-in-the-loop). 이 장치가 기대만큼 작동하지 않을 수 있습니다.

Goulas 등(2026)은 잘못된 점수의 출처가 AI인지 동료 교사인지, 그 점수가 가혹한지 관대한지에 따라 교사의 판단이 어떻게 달라지는지 살폈습니다.

교사에게 정답 여부가 표시된 학생 답안과 일부러 틀리게 매긴 점수를 보여주고, 그 점수의 출처를 AI 또는 동료 교사로 무작위 표시했습니다. 점수가 실제보다 가혹한지, 관대한지도 달리했습니다.

가혹한 점수는 엄격함으로 읽힐 수 있습니다

평가자가 엄격하고 가혹할 때 오히려 전문성과 능력을 높게 보는 심리가 있습니다. 눈여겨볼 것은 이런 인식이 AI 채점에 대한 반응에도 얽힐 수 있다는 점입니다.

점수가 실제보다 낮게 매겨진 가혹한 조건에서는, AI가 매겼다고 표시한 점수를 교사들이 더 받아들이는 경향이 나타났습니다. 같은 오류 점수라도 동료 교사의 채점이라고 표시했을 때보다, 교사가 수정한 최종 점수가 객관적 기준에서 더 멀리 남았습니다.

논문의 매개분석에서는 채점자의 능력과 책임에 대한 인식이 가혹한 AI 점수를 덜 바로잡는 경향과 통계적으로 연결됐습니다. 저자들은 이를, 가혹함이 AI의 무능함보다 엄격함으로 읽힐 수 있다는 심리적 설명의 단서로 해석합니다.

관대한 오류 점수에는 다른 반응이 나타났습니다

반대로 실제보다 높은 점수가 제시된 관대한 조건에서는, AI라고 표시된 채점자에 대해 능력(Ability), 이해(Comprehension), 공정성(Fairness), 의도(Intent), 책임(Responsibility)의 다섯 차원에서 동료 교사보다 낮은 평가가 나타났습니다. 이런 인식은 오류 점수를 더 바로잡는 방향과 연결됐습니다.

최종 점수의 정확도를 직접 비교하면, 관대한 조건에서는 AI 표시와 동료 교사 표시 사이에 통계적으로 유의한 차이가 없었습니다.

교사는 마지막 검사자가 아니라 운전석에 있어야 합니다

AI는 기존 에듀테크와 달리 인간의 심리적 메커니즘에도 영향을 미칩니다. “인간이 주도하는 평가의 보조도구로 쓰면 된다”는 말은 생각보다 간단하지 않을 수 있습니다.

그래서 저는 AI에게 채점을 맡기기 전에 교사가 반드시 먼저 평가해야 한다고 생각합니다. AI의 점수를 보기 전에 자신의 판단 기준을 세우면 자동화 편향과 가혹한 점수에 대한 과도한 수용을 줄이는 데 도움이 될 수 있다는 실천적 제안입니다.

평가라는 고위험 영역에서 교사는 반드시 운전석에 앉아야 합니다. 루프의 마지막에서 단순히 검사하는 자리에 놓이는 것만으로 온전한 평가가 이루어진다고 볼 수는 없습니다.

이 글에서 소개한 원문

Why do experts miss AI’s errors? Evidence from a randomized labeling experiment

Sofoklis Goulas, Rigissa Megalokonomou, Panagiotis Sotirakopoulos (2026)

PNAS Nexus 정식 출판 연구 논문 · 5(6), pgag146 · doi:10.1093/pnasnexus/pgag146

연구 원문 보기 ↗
원문 타래 이어 읽기Edutrend의 Threads에서

이 글 공유하기