Threads digest · @edutrend_
AI 행동·신뢰AI와 의견이 같아졌다고, 판단까지 나아진 걸까요?
사람과 AI의 최종 의견이 일치한다는 것만으로 AI가 판단을 개선했다고 말할 수 있을까요? 의료 판단 연구 네 편을 다시 살펴보면, 처음부터 같았던 의견과 AI 덕분에 바로잡은 판단을 구분해야 하는 이유가 보입니다.

의견이 같다는 것과 판단이 좋아졌다는 것
사람과 AI의 최종 의견이 80% 가까이 일치했다면, AI가 사람의 판단을 잘 도왔다고 볼 수 있을까요? 어쩌면 두 의견은 처음부터 같았을지도 모릅니다.
AI를 도입한 뒤 얼마나 동의했는지만 보면, 정작 중요한 질문을 놓칠 수 있습니다. AI의 조언을 보고 사람이 생각을 바꿨는지, 그리고 그 변화가 더 나은 판단으로 이어졌는지를 함께 살펴야 합니다.
처음 판단, AI의 조언, 그리고 최종 판단
연구진은 MRI, 심전도(ECG), X-ray, 내시경을 다룬 기존 사용자 연구 네 편을 다시 분석했습니다. 전체 참가자는 의사 330명이며, 분석한 결정은 15,000개가 넘습니다. 새로 한 번 모집한 단일 임상시험이 아니라, 여러 의료 영상 판단 과제의 데이터를 모아 살핀 연구입니다.
처음에 혼자 내린 판단, 이후 확인한 AI의 조언, 마지막에 내린 판단을 비교했습니다. 실제 환자의 치료 결과를 측정한 것이 아니라, 과제에서 판단이 어떻게 바뀌고 얼마나 정확해졌는지를 살펴본 것입니다.
71~81%의 일치율 뒤에 숨은 8%
연구별 사람과 AI의 최종 의견 일치율은 71~81%였습니다. 하지만 전체 판단이 바뀐 비율은 약 8%에 그쳤습니다. 높은 일치율의 상당 부분은 사람이 처음부터 AI와 같은 답을 내렸기 때문에 나타났습니다.
가장 높은 81%는 내시경 연구의 수치입니다. 한편 MRI 연구에서는 일치율이 약 71%였지만, 우연에 의한 변화를 보정한 영향 지수는 약 0이었습니다. 서로 다른 연구의 수치이며, MRI에서 AI의 모든 효과가 정확히 0이었다는 뜻도 아닙니다.
맞는 조언이어도 처음 생각을 붙들었습니다
MRI 연구에서는 처음 내린 판단을 고수하는 자기 고착 편향이 강하게 나타났습니다. 자신의 판단과 AI의 의견이 다를 때, 올바른 AI 조언을 받아들이면 오답을 고칠 수 있는 상황에서도 처음 판단을 유지한 경우가 많았습니다.
그렇다면 AI가 이유를 더 자세히 설명해 주면 될까요? 설명이 언제나 도움이 되는 것은 아니었습니다. MRI와 ECG의 일부 집단에서는 설명이 제공될 때 자기 고착이 더 강해지는 패턴도 나타났습니다. 다만 사람들이 일부러 설명에서 꼬투리를 찾았다고까지 말할 수는 없습니다. 관찰된 것은 판단과 행동의 패턴입니다.
이득이 큰 집단에서도 무엇을 함께 봐야 할까요?
AI의 도움이 더 크게 나타난 집단도 있었습니다. X-ray 연구에서 전공의 집단의 AI Decision Impact는 3.29였습니다. 다만 이 값은 AI 사용 전후 오류에 관한 오즈비이지, 정확도가 3배가 됐다는 뜻은 아닙니다.
ECG 연구에서 설명 없이 AI 조언을 받은 초보자 집단의 NND는 3으로 추정됐습니다. 이는 오류를 줄이는 효과에서 계산한 파생 지표입니다. 실제 진료에서 세 번마다 반드시 큰 실수를 한 번 막아줬다는 뜻으로 읽어서는 안 됩니다.
이런 이득과 함께 잘못된 조언을 따를 위험도 평가해야 합니다. 그렇다고 이 연구에서 초보자의 자동화 편향이 훨씬 더 많았다고 단정할 수는 없습니다. ECG의 해당 초보자 집단에서는 자동화 편향의 존재 여부를 명확히 결론 내리기 어려웠고, X-ray 전공의 결과 역시 단순한 ‘초보자의 AI 과신’ 이야기로 설명할 수 없었습니다.
동의의 비율보다, 무엇을 바로잡았는지
AI가 사람을 얼마나 설득했는지보다, 어떤 오답을 정답으로 바꿨는지를 살펴야 하겠습니다. 맞는 판단을 틀린 판단으로 바꾸지는 않았는지도 함께 봐야 합니다.
설명을 무조건 늘리는 것만으로 충분하지 않습니다. 사용자의 숙련도, 처음 판단에 대한 확신, 판단 과제의 특성에 맞춰 지원 방식을 설계해야 합니다. AI와 의견이 같아지는 것 자체가 목표는 아니기 때문입니다. 중요한 것은 함께 판단한 뒤, 우리가 실제로 더 나은 결정을 내렸는가 하는 질문입니다.
이 글에서 소개한 원문
Under what influence: Measuring AI influence to fit user profiles in decision-making
Andrea Campagner, Caterina Fregosi, Chiara Natali, Federico Cabitza (2026)
International Journal of Human-Computer Studies, 210, 103763 · 학술지 논문 · doi:10.1016/j.ijhcs.2026.103763
연구 원문 보기 ↗