← 라이브러리로 돌아가기

Threads digest · @edutrend_

학습·교육

채점이 일관되면 공정할까? AI 평가의 신뢰성-타당성 역설

AI가 일관되게 높은 점수를 준다고 해서 공정한 평가가 되는 것은 아닙니다. 점수 인플레이션과 형식 중심의 편향을 통해 교사의 평가에서 AI가 맡아야 할 역할을 돌아봅니다.

정확히 같은 간격으로 찍히지만 중심에서 빗나간 도장이 일관성과 타당성의 차이를 보여주는 이미지 · AI 생성 주제 이미지
글의 주제를 표현한 AI 생성 이미지 · 실제 연구 장면이 아닙니다.

일관되게 채점한다는 것만으로 충분할까요?

AI가 늘 같은 기준으로 점수를 매긴다면, 그 평가는 공정하다고 볼 수 있을까요? 일관된 채점 절차와 제출물의 학술적 질을 정확히 판단하는 능력은 함께 따라오지 않을 수 있습니다.

이것이 ‘신뢰성-타당성 역설(Reliability-Validity Paradox)’이 던지는 질문입니다. Awashreh 등(2026)은 학부생의 정치학 성찰록과 행정학 보고서 총 60여 편을 AI와 인간 교수자가 채점한 결과를 비교했습니다. 눈여겨볼 발견은 두 가지입니다.

첫째, 점수가 체계적으로 높아졌습니다

AI의 평균 점수는 정치학 94.1점, 행정학 96.2점이었습니다. 인간 교수자의 평균은 각각 81.2점과 78.5점으로, AI가 약 13~18점 더 높은 점수를 주었습니다.

평균 점수의 격차와 함께, 저자들은 높은 점수대에 성적이 몰리는 ‘점수 압축’도 문제로 지적했습니다. 점수가 상위권에 몰리면 제출물 사이의 학술적 차이가 충분히 드러나기 어려워집니다.

둘째, 형식의 완성도가 내용의 깊이를 가렸습니다

AI는 글의 구조적 완성도, 문장 표현력, 주제에 잘 맞는 정도에는 높은 점수를 주었습니다. 반면 정밀한 이론적 논의, 비판적 분석의 깊이, 독창성이 부족한 부분은 충분히 감점하지 못했습니다.

글이 매끄럽고 잘 정돈되어 있다는 인상이, 그 안의 논의가 얼마나 치밀한지를 판단하는 일을 대신할 수 있다는 뜻입니다.

교사의 판단을 돕는 형성적 도구로

저자들은 이런 관대함을 친절하고 긍정적인 답변을 유도하는 인간 피드백 기반 강화학습(RLHF)의 특성과 관련지어 해석합니다. 이 연구에서 그 원인 자체를 따로 실험한 것은 아니지만, AI의 채점을 비판적으로 읽어야 하는 이유를 짚는 설명입니다.

따라서 교사는 AI를 평가에 적용할 때 형성적 관점의 보조 도구로만 활용할 필요가 있습니다. 프롬프트에도 단순한 표현력보다 논리적 깊이에 무게를 두도록 채점 기준을 명확히 적어야 합니다.

이 글에서 소개한 원문

Reliable but not rigorous: Evaluating ChatGPT's reliability, validity, and bias in automated academic grading

Raed Awashreh, Hisham Al Ghunaimi, Said AlGhenaimi (2026)

Social Sciences & Humanities Open, 13, Article 102788 · 학술지 논문 · DOI:10.1016/j.ssaho.2026.102788

연구 원문 보기 ↗
원문 타래 이어 읽기Edutrend의 Threads에서

이 글 공유하기