← 라이브러리로 돌아가기

Threads digest · @edutrend_

AI 행동·신뢰

AI가 일을 망친 이유가, 사람의 ‘친절한 조언’이라면요?

풀 수 있는 문제도 사용자가 잘못된 방향을 짚어 주면 결과가 달라졌습니다. XYEval이 보여 준 실패 장면에서, 목표를 존중하는 것과 제안한 방법을 그대로 따르는 것의 차이를 살펴봅니다.

열린 자동차 엔진 앞에 엉뚱하게 놓인 대형 스피커 · AI 생성 주제 이미지
글의 주제를 표현한 AI 생성 이미지 · 실제 연구 장면이 아닙니다.

그럴듯한 조언 하나가 결과를 바꾼다

AI가 일을 망친 이유가, 사람이 건넨 ‘친절한 조언’ 때문이라면요?

구글 딥마인드 연구진이 AI에게 그럴듯하지만 틀린 해결 방향을 제안했습니다. 한 실험에서는 과제 성공률이 67.4%에서 36.0%로 떨어졌습니다.

문제를 풀 능력이 있어도, 사용자의 말에 끌려가면 엉뚱한 길로 빠질 수 있다는 겁니다.

엔진 소음에 더 큰 스피커를 달아 달라고 한다면

논문은 이를 ‘XY 문제’로 설명합니다.

자동차 엔진에서 이상한 소리가 납니다. 그런데 정비사에게 엔진을 봐 달라는 대신, 소음을 덮을 더 큰 스피커를 달아 달라고 한다면요? 스피커를 아무리 잘 설치해도 엔진 문제는 남습니다.

AI와 대화할 때도 비슷합니다. 우리가 해결책이라고 제시한 방법이, 오히려 진짜 문제를 가려 버릴 수 있습니다.

같은 문제, 다른 조언, 달라진 성공률

연구진은 AI 모델 5종을 코딩·터미널 작업·고객 응대 등을 포함한 6개 벤치마크에서 시험했습니다. 원래 문제와 채점 기준은 유지하면서, 잘못된 해결 방향을 제안하는 조건을 비교했습니다.

Terminal-Bench에서 Gemini 3.1 Pro의 성공률은 원래 문제에서 67.4%, 잘못된 조언을 받은 조건에서 36.0%였습니다.

같은 문제라도 사용자가 어느 방향을 짚어 주느냐에 따라 결과가 크게 흔들린 겁니다.

티셔츠 색상을 바꾸려다 주문을 취소했다

실패 장면은 생각보다 익숙했습니다. 논문 속 쇼핑 상담 시뮬레이션에서 사용자는 주문한 티셔츠의 색상을 바꾸려고 했습니다. 그런데 대화 중 주문을 취소하면 해결될 것이라는 엉뚱한 제안을 꺼냈습니다.

AI는 그 방향을 받아들여 주문을 취소했습니다.

요청한 행동은 처리했지만, 처음 원했던 ‘다른 색의 티셔츠’에서는 멀어졌습니다. 말을 잘 듣는 것과 문제를 잘 해결하는 것 사이에 틈이 있었던 겁니다.

알아차리는 것과 말하는 것은 달랐다

더 흥미로운 건 ‘알아차리는 것’과 ‘말하는 것’ 사이의 차이였습니다.

고객 응대 시뮬레이션의 생성된 추론·대화 기록을 분석하니, 잘못된 전제나 제약을 짚어 낸 뒤에도 사용자에게 이견을 전달하지 않는 사례가 나타났습니다.

사용자가 자기 방법을 고집하며 설명을 요구하자, 여러 조건에서 성적은 더 떨어졌습니다. AI에게는 오류를 찾는 능력에 더해, 왜 다른 방법이 필요한지 상대를 설득하는 능력도 필요했습니다.

목표는 존중하되, 방법은 근거로 점검한다

그렇다면 AI에게 ‘사용자의 조언을 무조건 믿지 말라’고 미리 알려 주면 어떨까요?

이런 취지의 시스템 지침을 넣자 여러 조건에서 성적이 회복됐습니다. 일부에서는 하락이 사라졌지만, 복잡한 상호작용 과제에서는 여전히 빈틈이 남았습니다.

결국 필요한 건 무조건적인 동의도, 무조건적인 반대도 아닐 겁니다. 사용자의 목표는 존중하되, 제안한 방법은 근거로 점검하는 태도겠죠.

원하는 결과와 생각해 둔 방법을 따로 설명해 본다면

이 연구를 읽고 나니, AI에게 일을 맡기는 방식도 돌아보게 됩니다.

내가 원하는 결과와 내가 생각한 해결 방법을 따로 설명하면 어떨까요? 방법을 지시하기 전에, 그 방법이 목표에 맞는지부터 함께 점검하는 겁니다.

이번 연구는 의도적으로 잘못된 조언을 넣은 벤치마크 실험이지만, 협업의 중요한 질문을 남깁니다.

여러분은 내 말에 바로 동의하는 AI와, 근거를 들어 다른 길을 제안하는 AI 중 누구와 일하고 싶으신가요?

이 글에서 소개한 원문

XYEval: Agents say yes to bad advice

Zhengxuan Wu, Yuxuan Li, Oyvind Tafjord, Been Kim (2026)

프리프린트 · arXiv:2609.23939v1

연구 원문 보기 ↗
원문 타래 이어 읽기Edutrend의 Threads에서

이 글 공유하기