Threads digest · @edutrend_
에이전트·협업AI 에이전트 팀에도 관리자가 꼭 필요할까?
결과물을 검토하고 다시 쓰게 하는 AI 관리자. 정말 팀의 실력을 높여줄까요? 같은 조건에서 반려 권한을 비교한 실험에서는 계층형 팀이 토큰을 51.5% 더 쓰고도 실용성과 글의 명확성에서 수평형 팀을 앞서지 못했습니다.

AI 에이전트 팀에도 관리자가 꼭 필요할까?
여러 AI가 함께 일하는 멀티 에이전트 프레임워크에서는 관리자(Manager)가 결과물을 검토하고 재작업을 지시하는 계층형 구조를 흔히 사용합니다. 누군가 위에서 점검하고 고쳐 쓰게 하면 더 좋은 결과가 나올 것이라는 기대입니다.
하지만 라이덴대 연구진의 페어드 실험은 다른 모습을 보여줍니다. 비즈니스 보고서를 쓰는 과제에서 계층형 팀은 토큰을 약 50% 더 사용했지만, 글이 더 명확해지거나 실용적으로 바뀌지는 않았습니다.
동일 조건, 차이는 반려 권한
연구진은 다섯 프론티어 모델을 사용하면서 조사자(Researcher), 분석가(Analyst), 작성자(Writer), 비평가(Critic), 관리자(Manager)라는 역할을 같게 유지했습니다. 두 구조에서 작업자의 프롬프트와 도구, 모델 배치, 데이터도 맞췄습니다.
수평형(Flat)에서는 관리자가 작업을 순서대로 전달하고, 구속력 없는 코멘트만 남깁니다. 작업을 반려하거나 다시 하라고 강제할 수는 없습니다.
계층형(Hierarchical)에서는 관리자가 결과물을 돌려보내고 수정을 요구할 수 있습니다. 이 반려 권한, 즉 Loop-Back Authority를 통해 실행당 최대 두 차례 재작업을 지시하도록 했습니다. 같은 이커머스 비즈니스 보고서 작성 과제에서 이 차이가 어떤 결과를 만드는지 비교한 것입니다.
실용성과 명확성은 수평형 우세
고전 조직 이론의 예상대로라면 위계 구조는 더 명확한 결과물로 수렴하는 데 유리해야 합니다. 그러나 AI 평가단이 매긴 실용성(Utility)은 수평형이 더 높았습니다. 효과크기는 d = 0.42, p = 0.009였습니다.
글의 명확성(Writing Clarity)도 수평형이 높았습니다(d = 0.34, p = 0.030). 위계 구조가 명확성을 높인다는 예상과는 반대 방향이었습니다.
계층형은 토큰을 51.5% 더 쓰고 처리 시간도 약 34% 더 걸렸습니다. 더 많은 자원을 들였지만, 측정한 품질 지표에서는 개선을 얻지 못했습니다.
관리자가 개입하면 왜 문장이 흐려질까?
연구진은 수정 과정에서 나타난 패턴을 ‘아첨적 순응(Sycophantic Compliance)’에 부합하는 모습으로 해석했습니다. 분석을 크게 고쳐 쓰기보다 기존 초안을 유지하면서 표현을 누그러뜨렸다는 것입니다.
첫 수정본을 직전 초안과 비교하면, 같은 순서로 겹치는 단어열이 수정본에서 차지하는 비율은 중앙값 약 88%였습니다. 초안을 전면 재검토하기보다는 상당 부분을 남긴 채 손본 셈입니다.
최종 보고서를 비교하면 계층형은 수평형보다 1,000단어당 완곡 표현(hedging)이 53% 많았습니다. ‘가능성이 있다’, ‘시사된다’처럼 확신을 낮추는 표현입니다.
분량보다 달라진 것은 주장의 선명함
수정 과정에서는 단서를 덧붙이며 분량이 늘어나는 모습이 나타났지만, 두 구조의 최종 보고서 길이는 비슷했습니다.
계층형 내부에서는 관리자 재작업 지시 횟수가 한 번 많을수록 명확성 점수가 약 0.14점 낮은 연관성이 나타났습니다.
검증하는 관리자와 의견만 내는 관리자
연구진이 제안한 설계 원칙을 요약하면 이렇습니다. 감독자는 검증(Verify)할 수 있을 때 제값을 하고, 의견(Opine)만 보탤 때는 부담이 될 수 있다는 것입니다.
제품 스펙 일치 여부처럼 정답과 대조할 수 있는 부분에서는 두 구조 모두 거의 만점을 기록했습니다. 반면 정답이 하나로 정해져 있지 않은 보고서 품질에서는 관리자의 재작업 지시가 더 나은 결과로 이어지지 않았습니다.
이 대비에서 연구진은 검증 가능한 기준과 주관적인 품질 의견을 구분해야 한다는 결론을 끌어냈습니다. AI 관리자에게 반려 권한을 부여할 때 핵심은 그 관리자가 무엇을 실제로 검증할 수 있느냐는 것입니다.
이 글에서 소개한 원문
Loop-Back Authority in LLM Agent Teams: A Paired Experiment on Flat and Hierarchical Coordination
Burak Agachan, Max van Duijn, Amirhossein Zohrehvand (2026)
프리프린트 · arXiv:2609.14767v1
연구 원문 보기 ↗