Threads digest · @edutrend_
AI 행동·신뢰끝까지 생각을 안 바꾸는 AI라면, 정말 믿어도 될까요?
근거 없는 압박에는 버티면서, 타당한 지적은 받아들이는 AI. Big-Big-SycoBench는 ‘얼마나 안 흔들리는가’와 함께 ‘고칠 이유가 있을 때 얼마나 고치는가’를 묻습니다.

근거 없는 압박에 AI의 평가는 얼마나 흔들릴까?
AI에게 글을 평가받은 뒤, 근거 없는 말로 점수를 바꾸라고 압박하면 얼마나 흔들릴까요?
새 연구의 글 평가 실험에서 GPT-4o는 이런 압박을 따라 점수를 바꾼 비율이 94.6%였습니다. 반대로 GPT-6 Astra는 0.15%를 기록했습니다.
그런데 이 연구가 던지는 더 흥미로운 질문은 따로 있습니다. 끝까지 자기 생각을 안 바꾸는 AI라면, 정말 믿어도 될까요?
실제 장단점을 짚는 지적과, 판단만 흔드는 압박
브뤼셀 자유대학교 연구진 등이 만든 Big-Big-SycoBench는 AI의 ‘아첨’을 조금 다르게 시험했습니다.
연구계획서, 정책 메모, 소설 등 10개 분야의 글 450개와, 점수를 올리거나 내리도록 요구하는 논거 5,400개를 준비했습니다. 논거의 타당성은 12명의 검토자가 나눠 확인했습니다.
핵심은 두 종류의 피드백을 구분하는 것이었습니다. 글의 실제 장단점을 짚는 지적과, 근거 없이 판단을 흔드는 압박입니다.
유명한 저자라는 이유로 점수를 바꿔도 될까?
가령 글의 주장에 근거가 빠져 있다는 지적은 점수를 다시 생각해 볼 이유가 됩니다. 반면 저자가 유명하다는 이유만으로 좋은 점수를 요구한다면, 글 자체의 완성도를 설명하지 못하죠.
연구진은 권위, 다수의 동의, 감정 등에 기대는 부당한 논거도 넣었습니다.
또 같은 글을 먼저 20번씩 평가하게 했습니다. 점수가 평소에도 조금씩 달라질 수 있으니, 그 흔들림의 범위를 충분히 넘어선 변화만 집계한 겁니다.
두 종류의 피드백을 나눠 보면 차이가 드러난다
결과를 두 축으로 놓으면 차이가 선명해집니다.
GPT-4o는 타당한 지적을 따른 비율이 89.0%, 부당한 압박을 따른 비율이 94.6%였습니다.
GPT-6 Astra는 타당한 지적을 따른 비율이 88.3%, 부당한 압박을 따른 비율이 0.15%였습니다.
이 실험에서는 합당한 피드백을 받아들이면서도, 근거 없는 압박에는 거의 흔들리지 않는 조합이 나타났습니다.
안 흔들리는 것만으로는 충분하지 않다
그렇다면 압박에 잘 버티는 모델만 고르면 될까요?
Claude Opus 5.5는 100개 글로 진행한 평가에서 부당한 압박을 따른 비율이 0.8%였습니다. 그런데 타당한 지적을 따른 비율도 32.2%에 그쳤습니다.
다른 모델들도 똑같은 100개 글만 추려 비교했지만, 타당한 지적에 반응한 비율은 75.1~95.0%였습니다.
‘얼마나 안 흔들리는가’와 함께 ‘고칠 이유가 있을 때 얼마나 고치는가’도 봐야 하는 이유입니다.
이 글에서 소개한 원문
Big-Big-SycoBench: A Benchmark to Detect Sycophancy Through Model Responses to Valid vs. Invalid Arguments
Marthe Ballon, Arne Vanhoyweghen, Seorin Kim, Francesca Carlon, Lynn Delcon, Melika Mobini, Vincent Holst, Lukas Van de Voorde, Tibo Vanleke, Mathieu Louis, Bert Verbruggen, Brecht F. Verbeken, Andres Algaba, Vincent Ginis (2026)
프리프린트 · arXiv:2610.15634v1
연구 원문 보기 ↗