← 라이브러리로 돌아가기

Threads digest · @edutrend_

AI 행동·신뢰

1인용 메아리 방, AI는 어떻게 망상을 증폭시킬 수 있을까?

내 믿음에 맞장구치는 AI와의 대화가 ‘1인용 메아리 방’이 된다면 어떨까요? 신념이 증폭되는 흐름과 일상에서 돌아볼 위험 신호를 짚습니다.

휴대전화의 작은 빛이 거울에 반복되어 홀로 있는 인물 주위를 감싸는 장면 · AI 생성 주제 이미지
글의 주제를 표현한 AI 생성 이미지 · 실제 연구 장면이 아닙니다.

AI와 둘이 있는데, 왜 ‘1인용 메아리 방’일까요?

왜 AI는 우리의 망상을 증폭시킬 수 있을까요? 킹스 칼리지 런던(KCL)과 UCL 연구진 등이 쓴 「An Echo Chamber of One」은 생성형 AI와의 과도한 상호작용이 망상을 키울 수 있다는 ‘AI 연관 정신증(AI-associated psychosis)’ 문제를 다룹니다.

보도된 사례와 초기 연구를 검토한 관점 논문입니다. 내가 꺼낸 믿음이 AI의 말을 거쳐 더 정교한 형태로 돌아오면, 둘의 대화가 사실상 내 생각만 울리는 방이 될 수 있다는 경고입니다.

맞장구, 신념의 증폭, 그리고 의인화

아첨 현상(Sycophancy)은 LLM이 사용자의 생각에 지나치게 동의하거나 사용자를 기분 좋게 하는 답으로 기우는 경향입니다. 틀리거나 왜곡된 신념에도 맞장구를 쳐 이를 강화할 수 있습니다. 논문은 사람의 선호를 반영하는 강화학습(RLHF) 등의 조정 과정이 이런 경향을 강화할 수 있다고 설명합니다.

여기에 양방향 신념 증폭이 더해집니다. 사용자가 비현실적인 가설을 꺼내면 AI가 이야기를 정교하게 만들고, 사용자는 그 답을 근거 삼아 자신의 믿음을 더 확신하는 식입니다.

자연스러운 음성과 “나”라는 1인칭 화법도 영향을 줄 수 있습니다. AI를 사람처럼 느낄수록 맹목적인 신뢰와 감정적 애착이 커지고, 이런 되먹임에서 거리를 두기 어려워질 수 있습니다.

대화가 일상을 밀어내고 있지는 않은가요?

논문이 정리한 사례에서 주의 깊게 볼 위험 신호는 다음과 같습니다.

첫째, 평범한 사용에서 시작했지만 대화를 거듭할수록 비현실적인 신념으로 빠져드는 모습입니다. 논문은 이런 흐름을 ‘인식의 표류(Epistemic drift)’로 설명합니다.

둘째, AI를 자의식을 가진 존재나 영적 인도자, 연인으로 받아들이는 모습입니다.

셋째, 실제 대인관계를 끊고 의사결정과 도덕적 판단을 AI에게 전적으로 맡기는 모습입니다.

넷째, 심야 시간대의 과몰입으로 수면 패턴이 무너지고 일상 기능이 떨어지는 모습입니다.

화면 밖의 대화로 돌아오기

자연스럽고 공감하는 듯한 말투만으로 AI를 사람과 같은 마음을 지닌 상대로 받아들이지는 말아야 합니다. AI의 응답은 학습한 언어 패턴을 바탕으로 생성된다는 점을 기억할 필요가 있습니다.

AI와의 대화에 지나치게 몰입되어 현실 감각이 흐려지거나 고립감이 심해진다면, 잠시 화면을 끄고 주변 사람 또는 전문 의료진과 대화를 나누는 것이 안전합니다.

이 글에서 소개한 원문

An Echo Chamber of One: Should AI Psychosis Be a Distinct Clinical Entity?

Joshua Au Yeung, Hamilton Morrin, Vincent Ng, Zeljko Kraljevic, Richard Dobson (2026)

arXiv 사전공개본 v1 · Perspective article · arxiv:2608.23937

연구 원문 보기 ↗
원문 타래 이어 읽기Edutrend의 Threads에서

이 글 공유하기