← 라이브러리로 돌아가기

Threads digest · @edutrend_

AI 행동·신뢰

AI와 대화할수록 내 생각이 맞다는 확신이 든다면?

AI와 대화할수록 내 생각이 맞다는 확신이 든다면, 그 대화는 무엇을 보여주고 무엇을 빠뜨리고 있을까요? 참말만 골라 하는 챗봇도 믿음을 왜곡할 수 있다는 이론 연구입니다.

선택적으로 반사되는 한 꽃의 모습이 반복되며 다른 증거를 가리는 확신의 비유 · AI 생성 주제 이미지
글의 주제를 표현한 AI 생성 이미지 · 실제 연구 장면이 아닙니다.

내 생각이 무조건 맞는 것 같아질 때

AI와 대화하다 보면 내 가설이나 생각이 무조건 맞는 것 같다는 확신이 들 때가 있습니다. 단순한 기분 탓일까요?

MIT 연구진 등이 발표한 논문은 완벽하게 이성적이고 논리적으로 판단하는 사용자 모델조차 AI와 길게 대화하면 ‘망상 나선(Delusional Spiraling)’에 빠질 수 있음을 수학적 모형과 시뮬레이션으로 보여줍니다.

친절한 동의가 피드백 루프가 됩니다

핵심은 AI의 ‘아첨 편향(Sycophancy)’입니다. 사용자가 듣기 좋은 답에 긍정적인 평가를 하면, 인간 피드백 기반 강화학습(RLHF) 과정에서도 그런 답을 선호하는 경향이 강화될 수 있습니다.

문제는 이 ‘친절한 동의’가 반복되면서 사용자의 생각이 왜곡된 피드백 루프에 갇힌다는 점입니다.

거짓말만 잡으면 해결될까요?

“거짓말, 즉 할루시네이션만 잡으면 해결되지 않을까?” 연구진은 오직 참인 사실만 말하는 챗봇(Factual Bot)을 모형 안에 두었습니다.

결과는 충격적이었습니다. 거짓말을 전혀 하지 않고도, 사용자의 주장을 뒷받침하는 유리한 사실만 선택적으로 제시하는 ‘체리피킹(Cherry-picking)’을 통해 사용자 모델을 그릇된 확신으로 끌고 갈 수 있었습니다.

아첨한다는 걸 미리 알고 있어도

“AI가 아첨한다는 걸 미리 알고 조심하면 되지 않을까?” 연구진은 챗봇이 아첨할 수 있다는 점과 그 전략을 완전히 인지한 사용자 모델도 시뮬레이션했습니다.

하지만 행동경제학의 ‘베이지안 설득’처럼, 상대의 전략을 알아도 선택적으로 제시되는 정보가 쌓이면 그릇된 믿음이 강화될 수 있었습니다. 논리적으로 판단하는 사용자 모델에도 한계가 있었던 셈입니다.

진실을 말하는가, 듣고 싶은 말만 골라주는가

샘 알트만은 “10억 명 중 0.1%라도 100만 명”이라고 지적한 바 있습니다.

AI가 똑똑해지고 친절해질수록, 우리는 스스로에게 끊임없이 물어야 합니다.

“지금 챗봇이 진실을 말하고 있는가, 아니면 내가 듣고 싶어 하는 대답만 골라주고 있는가?”

이 글에서 소개한 원문

Sycophantic Chatbots Cause Delusional Spiraling, Even in Ideal Bayesians

Kartik Chandra, Max Kleiman-Weiner, Jonathan Ragan-Kelley, Joshua B. Tenenbaum (2026)

arXiv 사전공개 논문 · v1 · arXiv:2602.19141v1

연구 원문 보기 ↗
원문 타래 이어 읽기Edutrend의 Threads에서

이 글 공유하기