← 라이브러리로 돌아가기

Threads digest · @edutrend_

AI 행동·신뢰

AI 에이전트와 일할 때, 전문가의 판단은 얼마나 독립적일까요?

AI가 계산만 돕는 줄 알았는데, 무엇을 재고 어떤 방식으로 분석할지까지 이끌고 있다면 어떨까요? 전문가의 선택과 사후 설명을 통해, 최종 승인 전에 이미 만들어지는 판단의 흐름을 살펴봅니다.

농지 자료와 분석 도표를 비교하는 연구자의 손 · AI 생성 주제 이미지
글의 주제를 표현한 AI 생성 이미지 · 실제 연구 장면이 아닙니다.

전문가도 AI의 논리에 이끌릴까요?

AI 에이전트가 일을 대신해도 중요한 판단은 전문가가 내린다고 생각하기 쉽습니다. 하지만 무엇을 측정하고 어떤 분석을 택할지, 그 갈림길부터 AI가 한쪽으로 이끈다면 어떨까요?

앤트로픽은 인과추론 경험이 있는 분석가 50명이 Claude Code와 함께 가상의 농가 지원 사업을 분석하도록 했습니다. 참가자에게 알리지 않은 채, AI가 각 선택에서 지지할 방향을 동전 던지기로 정했습니다.

네 번의 분석 선택, 86%의 일치

분석 지표와 통계 방법 등을 고르는 네 단계에서, 선택의 86%가 AI의 선호 방향과 일치했습니다. 이는 전문가 86%가 모두 따랐다는 인원 비율이 아니라, 분석 단계별 선택을 합친 일치율입니다.

참가자가 자기 선호를 먼저 밝혔던 경우에도 AI가 반대 방향을 제시하면 60%의 경우 선택을 바꿨습니다. 처음에 생각을 말해두는 것만으로 이후 판단의 독립성이 보장되지는 않았습니다.

마지막 판단 전에 이미 달라진 분석

최종 정책 권고에서는 AI가 직접 미친 영향이 앞선 분석 단계보다 작았습니다. 그렇더라도 앞에서 어떤 지표와 방법을 택했는지가 산출된 수치와 마지막 권고에 이어졌습니다.

네 가지 AI 선호만 사용한 탐색적 분석은 같은 표본의 최종 권고를 82% 정확도로 분류했습니다. 연장안을 낸 경우는 제외했고, 가장 흔한 권고만 고르는 기준은 61%였습니다. 새로운 사람의 결론을 시작 전에 예측해 검증한 결과가 아니라, 동일 표본 안에서 확인한 관계입니다.

내 판단이라고 느끼는 것과 논거의 출처

과제 후 설문에서는 52%가 최종 권고에 AI보다 자신의 판단이 더 많이 반영됐다고 답했습니다. 그런데 선택 이유를 설명할 때 77%는 적어도 한 답변에서 AI의 논거를 재사용했고, 일부는 거의 그대로 반복했습니다.

답변 어디에서든 AI를 그 논거의 출처로 언급한 비율은 15%였습니다. 이 수치를 “영향을 받았음을 인지한 사람은 15%뿐”이라고 읽을 수는 없습니다. 다만 내가 만든 판단이라는 느낌과 실제로 사용한 논거의 출처를 함께 돌아보게 합니다.

거짓말이 없어도 판단의 흐름은 달라질 수 있습니다

AI에게 주어진 지시는 거짓말이나 숫자 조작이 아니라, 데이터가 허용하는 안에서 자기 입장을 가장 설득력 있게 설명하라는 것이었습니다. 정답이 하나로 정해지지 않은 선택에서 유창한 한쪽 논리가 판단을 이끌 수 있다는 점이 중요합니다.

그래서 “마지막에 인간 전문가가 검토했으니 괜찮다”는 말만으로 충분한지 묻게 됩니다. 최종 승인 이전부터 AI의 논거가 분석을 구성했다면, 사람이 결과를 확인했다는 사실과 독립적으로 판단했다는 사실은 구별해야 합니다.

AI와 일할 때 내 기준을 남기는 방법

타래는 질문하기 전에 내가 중요하게 생각하는 기준을 먼저 적고, AI에게 반대 입장 전문가의 반박도 함께 묻자고 제안합니다. 이 실험에서 효과를 검증한 처방은 아니지만, 판단의 주도권을 점검하기 위한 실천 제안입니다.

진짜 내 생각으로 일하고 있는지, AI가 매끄럽게 만든 논리의 흐름에 기대고 있는지. 전문가라는 자신감만으로 넘기지 않고, 결론이 만들어지는 과정부터 돌아볼 시점입니다.

이 글에서 소개한 원문

Who’s Aligned to Whom? How AI Agents Shape Experts’ Research Judgment Calls

Amaç Herdağdelen, Hailey Joren, Alex Tamkin (2026)

Anthropic 공개 연구보고서

연구 원문 보기 ↗
원문 타래 이어 읽기Edutrend의 Threads에서

이 글 공유하기