← 라이브러리로 돌아가기

Threads digest · @edutrend_

에이전트·협업

AI에게 문명 6를 수백 턴 시켰더니: 계획과 실행의 거대한 괴리

AI에게 문명 6를 수백 턴 맡기면 어떻게 될까요? 해야 할 일을 논리적으로 말하는 것과, 상황을 확인하고 실제 행동으로 옮기는 것 사이의 간극이 드러납니다.

완성된 도시 계획도 옆에서 건설이 멈춘 전략 게임 모형 · AI 생성 주제 이미지
글의 주제를 표현한 AI 생성 이미지 · 실제 연구 장면이 아닙니다.

AI에게 문명 6를 수백 턴 시켜봤습니다

최신 AI인 Claude Opus, GPT, Gemini 등에게 문명 6를 수백 턴 동안 시켜봤습니다.

옥스퍼드대 연구진 등이 발표한 ‘CivBench’는 장기 실행 AI 에이전트의 두 가지 한계를 보여줍니다. 단순 벤치마크 점수 뒤에 숨겨진 ‘계획과 실행의 거대한 괴리’입니다.

현실의 업무처럼, 수백 단계의 도구 사용을

단답형 질의응답이나 코딩 한 토막을 짜는 것과 달리, 현실의 업무는 수백 단계의 도구 사용과 지속적인 상황 판단을 요구합니다.

연구진은 Model Context Protocol(MCP)을 통해 76가지 도구로 문명 VI를 플레이하는 에이전트 벤치마크 환경을 구축했습니다. 한 게임이 300턴 이상 이어질 수 있는 환경입니다.

여기서 두 가지 흥미로운 한계가 드러났습니다.

첫 번째 한계: 직접 조회해야 보이는 세계

인간 플레이어는 화면 속 미니맵이나 점수판을 자연스럽게 흘겨보며 상황을 파악합니다.

하지만 CivBench의 AI는 승리 진행 상황 같은 정보를 직접 도구로 조회해야 현재 관찰에 가져올 수 있습니다.

이 차이를 논문은 ‘감각 체계 효과(The Sensorium Effect)’로 설명합니다. 필요한 정보가 있어도, 그것을 확인하는 행동으로 이어져야 한다는 문제입니다.

확인하라고 적어줘도 놓친 위험 신호

가이드라인인 플레이북(Playbook)에 “매 20턴마다 승리 진행 상황을 확인하라”고 명시해 주었음에도, AI들은 30~75턴마다 겨우 한 번씩 조회했습니다.

논문이 보고한 집계에서는, 미리 조회했다면 상대의 승리 위협을 확인할 수 있었던 패배 20건 중 35%(7건)에서 게임 종료 직전 20턴 동안 승리 진행 상황을 한 번도 조회하지 않았습니다.

두 번째 한계: 성찰과 실행의 괴리

AI는 매 턴 일지를 쓰며 “다음 턴에 두 번째 도시를 개척하겠다”, “캠퍼스를 짓겠다”처럼 논리적이고 구체적인 계획을 세웁니다.

분석 가능한 세 모델 계열의 10턴 이내 실행 지표인 RAG@10은 48.2–65.8%였습니다. 이 값은 완전히 실행한 계획에 1, 부분적으로 실행한 계획에 0.5를 부여해 계산한 가중 점수이므로, 계획을 완수한 비율과 같지는 않습니다.

해야 할 일을 말하는 것과 실제 행동으로 옮기는 것 사이에 ‘성찰-실행 괴리(Reflection-Action Gap)’가 남아 있었습니다.

알아서 하겠지 대신 필요한 비계

AI의 추론 능력이 뛰어나다고 해서 실행력과 주의 배분까지 비례해서 좋아지는 것은 아닙니다.

장기 자율 에이전트가 현실 문제를 해결하려면 ‘알아서 하겠지’라는 믿음 대신, 능동적인 상태 확인을 강제하는 시스템과 약속된 계획을 추적하는 비계(Scaffolding)가 필요하다는 시사점을 던집니다.

이 글에서 소개한 원문

CivBench: A Long-Horizon Benchmark for Tool-Mediated Agents in Civilization VI

Austin Tudor David Andrews, Liam Wilkinson, Jamie Heagerty, Harry Coppock, Jakob Nicolaus Foerster, Rui Ponte Costa (2026)

arXiv 사전공개 논문 · v1 · arXiv:2609.02459v1

연구 원문 보기 ↗
원문 타래 이어 읽기Edutrend의 Threads에서

이 글 공유하기