← 라이브러리로 돌아가기

Threads digest · @edutrend_

AI 행동·신뢰

AI가 멍청해진 걸까, 우리의 눈높이가 높아진 걸까

요즘 AI가 예전보다 멍청해졌다고 느껴지나요? 고정 버전 모델 쌍에 대한 약 126만 건의 평가에서는 상대적 우열 판단이 안정적인 가운데 ‘둘 다 별로’라는 반응이 늘었습니다. 달라진 것은 우리의 합격점 기준일 수도 있습니다.

고정된 두 답변 패널 앞에서 사람이 평가 기준선을 위로 올리는 모습을 표현한 AI 생성 주제 이미지 · AI 생성 주제 이미지
글의 주제를 표현한 AI 생성 이미지 · 실제 연구 장면이 아닙니다.

요즘 AI, 왜 이렇게 별로일까요?

“요즘 챗GPT, 클로드, 제미나이가 왜 이렇게 멍청해졌지?” AI를 쓰다 보면 한 번쯤 해봤을 불평입니다. 그런데 AI의 변화와 함께, 우리의 눈높이도 달라지고 있다면 어떨까요?

처음에는 감탄했던 답변이 어느새 당연해지고, 이제는 그 정도로는 만족하기 어려워지는 것이죠. Chen, Zheng, Zhu의 연구는 이 가능성을 고정 버전 모델에 대한 사람들의 평가에서 살펴봤습니다.

모델 버전을 고정하고, 사람들의 평가를 따라가 보니

연구진은 두 AI의 답변을 이름을 모른 채 비교하는 Chatbot Arena에서 2023년 5월부터 2024년 8월까지, 약 16개월 동안 모인 투표를 분석했습니다. 그중 날짜가 붙은 스냅샷이나 공개 가중치가 고정된 모델끼리의 대결 약 126만 건을 골랐습니다.

핵심은 같은 고정 버전 모델 쌍을 시간이 흐른 뒤에도 비교할 수 있다는 점입니다. 모델 이름만 같고 내부 버전은 바뀔 수 있는 경우를 섞지 않고, 같은 조합에 대한 평가가 어떻게 달라지는지 본 것입니다.

늘어난 것은 ‘둘 다 별로’라는 평가

같은 고정 버전 모델 쌍 안에서 두 답변 모두 마음에 들지 않는다는 ‘둘 다 별로’ 투표 비율은 월 1.71%포인트씩 증가하는 추세를 보였습니다.

두 시기에 충분히 자주 관찰된 14개 모델 쌍에서도 모두 같은 방향의 변화가 나타났습니다. 2023년 5~10월과 2024년 2~8월을 비교했을 때, 이 쌍들의 불만족 비율은 가중평균 15.5%에서 23.3%로 올랐습니다. 앞뒤 투표의 평균 간격은 5.3개월이었습니다.

고정된 버전의 모델을 보면서도 사람들은 점점 더 자주 퇴짜를 놓았습니다. 예전에는 괜찮았던 답변이 지금도 괜찮다고 느껴지는 것은 아니었던 셈입니다.

누가 더 나은지는 알지만, 둘 다 합격점 미달

재미있는 건 사람들이 두 모델의 상대적 우열을 가려내는 판단은 비교적 안정적이었다는 점입니다. 특히 투표가 많이 모인 2024년에는 승패를 고른 투표 중 더 강한 모델의 손을 들어주는 비율에 시간에 따른 추세가 없었습니다.

이 결과는 사람들이 대충 읽어서 두 답변을 구별하지 못하게 됐다는 설명과는 다릅니다. 어느 쪽이 더 나은지는 판단하면서도, “내 기준에는 둘 다 합격점 미달!”이라고 보는 기준선이 올라간 모습에 가깝습니다.

질문이 어려워지고, 평가자가 바뀐 탓일까요?

사람들이 AI에 익숙해지면서 갈수록 어려운 질문을 던졌기 때문일 수도 있습니다. 그래서 연구진은 짧고 쉬운 영어 질문을 따로 살펴봤습니다. 그 안에서도 ‘둘 다 별로’라는 반응이 늘어나는 경향은 남았습니다.

평가하는 사람이 달라진 탓만으로 설명하기도 어려웠습니다. 같은 사용자 식별자가 같은 모델 쌍을 나중에 다시 평가한 경우에도 더 엄격해지는 경향이 나타났습니다. 질문과 평가자 구성의 변화만으로는 이 흐름을 설명하기 어려운 것입니다.

발전하는 AI와 함께 올라가는 눈높이

연구진은 이 패턴을 ‘적응 수준 이론’과 ‘쾌락의 쳇바퀴’로 해석합니다. 더 좋은 경험에 익숙해지면 그것이 새로운 기준이 되고, 예전의 만족은 더 이상 같은 만족으로 남지 않는다는 이야기입니다. 몇 달마다 더 똑똑한 AI가 등장하는 환경이라면 우리의 합격점도 함께 올라갈 수 있습니다.

2024년 8월의 대결에 등장한 모델을 2023년 5월의 모델과 비교하면, 무승부를 반점으로 계산한 추정 기대점수가 약 78%였습니다. 그만큼 모델이 발전했지만 전체 ‘둘 다 별로’ 비율은 시작과 끝에서 약 20%로 비슷했습니다.

세상이 발전하는 동안 가만히 멈춰 있는 AI는 퇴보한 것처럼 느껴질 수 있습니다. 다만 이 연구가 실제 서비스의 모든 성능 저하를 부정하는 것은 아닙니다. 고정 버전이라도 제공 설정의 변화 가능성은 남으며, 사용자의 불만을 이해할 때 모델의 변화와 기대 기준의 변화를 함께 살펴봐야 한다는 뜻입니다.

작년의 합격점과 오늘의 합격점은 다를 수 있습니다

이 연구를 읽고 나면 세 가지를 생각하게 됩니다. 첫째, 기술이 빠르게 발전할 때는 현상 유지만 해도 사용자에게 뒤처진 것으로 느껴질 수 있습니다. 성능을 유지했다는 사실만으로 만족도까지 유지되는 것은 아닙니다.

둘째, 과거의 ‘좋아요’와 현재의 ‘좋아요’를 같은 눈금으로 바로 비교하기는 어렵습니다. 답변이 달라졌는지뿐 아니라, 그 답변을 평가하는 사람들의 합격점이 달라졌는지도 봐야 합니다.

셋째, AI를 평가할 때는 “만족스럽나요?”라고만 묻기보다 기준이 되는 고정된 샘플을 나란히 놓고 비교할 필요가 있습니다. AI가 달라진 것인지, 우리의 눈높이가 달라진 것인지 구분하려면 평가의 기준점부터 함께 붙잡아야 하겠습니다.

이 글에서 소개한 원문

AI Isn't Getting Dumber, We're Getting Pickier: Rising Standards in Human Evaluation of Large Language Models

Zihan Chen, Lei Nico Zheng, Di Zhu (2026)

arXiv 프리프린트 · arXiv:2611.14333

연구 원문 보기 ↗
원문 타래 이어 읽기Edutrend의 Threads에서

이 글 공유하기