← 라이브러리로 돌아가기

Threads digest · @edutrend_

에이전트·협업

모든 걸 다 잘하는 ‘만능 1등 AI’는 없었습니다

같은 AI라도 체스, 포커, 마피아 게임에서 순위가 달라졌습니다. 시험 점수 하나로 고르기보다, 어떤 정보와 상대를 다뤄야 하는 문제인지 먼저 봐야 한다는 이야기입니다.

체스 말과 카드, 포커 칩이 놓인 녹색 게임 테이블 · AI 생성 주제 이미지
글의 주제를 표현한 AI 생성 이미지 · 실제 연구 장면이 아닙니다.

정적 시험 대신, AI끼리 게임을 시켰습니다

구글 딥마인드와 캐글이 프론티어 AI들을 맞붙인 평가 플랫폼, ‘게임 아레나(Game Arena)’ 연구 결과를 공개했습니다.

객관식 문제나 수학 풀이 같은 정적 시험은 점수가 포화에 가까워질수록 모델 간 차이를 가려내기 어려워집니다. 연구진은 MMLU 같은 고정된 문제 대신 체스, 포커, 마피아 게임에서 상대의 선택에 대응하는 전략을 평가했습니다.

체스: 장기적 계획과 수읽기

체스의 최상위권은 Gemini 3 Pro Preview와 Gemini 3 Flash Preview였습니다.

초반 오프닝에서는 모델 간 차이가 크지 않았습니다. 하지만 판세가 복잡해지는 중·후반으로 갈수록 격차가 벌어졌습니다.

Gemini 계열은 점차 유리한 판을 만들었습니다. 반면 하위권 모델들은 불리한 위치에 몰리고, 킹이 공격받는 상황에서도 그 위협을 해소하지 못하는 수를 제안하거나 규칙·표기 오류로 재시도를 반복했습니다.

포커: 확률과 상대 파악, 그리고 리스크

포커에서는 순위가 뒤집혔습니다. 수익 지표의 상위권은 GPT-5.2, o3, Grok 4였고, 그중 GPT-5.2가 가장 높았습니다.

연구진은 10개 모델을 총 90만 핸드 규모로 대결시켰습니다. 같은 카드 순서를 두 번 사용하면서 자리와 카드를 서로 바꾸는 ‘핸드 미러링’으로 운의 영향을 줄였습니다.

체스에서 강했던 Gemini 3 Pro Preview는 지나치게 소극적으로 카드를 접는 성향을 보였고, -15.2 BB/100의 손실을 기록했습니다. 100핸드당 큰 블라인드 베팅액의 약 15.2배를 잃었다는 뜻입니다.

반면 GPT-5.2와 o3는 적극적으로 베팅하고 상대의 레이즈에 쉽게 물러서지 않으며 높은 수익을 냈습니다. 상대의 이전 베팅 기록을 보며 판단하는 환경에서, 체스와 다른 강점이 드러난 겁니다.

마피아 게임: 속이고, 설득하고, 함께 추리하기

마피아 게임의 일종인 늑대인간(Werewolf)에서는 Gemini 3 Pro Preview와 Gemini 3 Flash Preview가 다시 최상위권에 올랐습니다.

8명이 서로의 정체를 숨기고 추리하는 게임을 3만 판 이상 진행했습니다. Gemini 두 모델은 늑대인간 역할과 시민 진영의 여러 역할 모두에서 팀 승리에 긍정적으로 기여했습니다. 속이는 쪽과 함께 추리하는 쪽을 오가며 고른 성과를 보인 것입니다.

반면 GPT-5 mini는 모든 역할에서 팀 승리에 대한 기여도가 음수로 평가됐습니다. 이 게임의 협동 추리와 기만·설득에서 약한 모습을 보였습니다.

‘어떤 AI가 1등인가’보다 ‘어떤 문제인가’

이번 대결에서는 ‘모든 걸 다 잘하는 만능 1등 AI’가 없었습니다. 체스와 마피아 게임에서는 Gemini 두 모델이, 포커에서는 GPT-5.2·o3·Grok 4가 상위권을 차지했습니다.

업무에 비유해보면, 규칙 안에서 길게 계획하는 기획은 체스를, 가려진 정보 속에서 상대를 읽고 리스크를 판단하는 협상은 포커를 떠올리게 합니다. 사회적 맥락을 읽고 협력해야 하는 상황은 마피아 게임과 연결해 생각할 수 있습니다.

이 비유에서 가져갈 실무적 메시지는, 업무나 서비스에 AI를 도입할 때 문제의 성격에 맞춰 모델을 선택해야 한다는 것입니다.

이 글에서 소개한 원문

Game Arena: Strategic LLM Evaluation in Competitive Environments

Bovard Doerschuk-Tiberi, Yao Yan, Justin Chiu, Hann Wang, Timothy Chung, Martyna Plomecka, John Schultz, Jon Lipovetz, Clayton Drazner, Yuchen Zhuang, Jaimie Hwang, Nate Keating, Riley Jones, Andrew Lee, Oran Kelly, Ian Gemp, Michael Aaron, Laurel Prince, Kate Larson, Jeff Moser, Harrison Jobe, Chad Woodford, Siqi Liu, Andrew Wang, Bo Chang, Christopher D’Mello, Diane Chaleff, Addison Howard, Johnny Yip, Chuck Sugnet, Antonio Gulli, Meghan O’Connell, Will Cukierski, Nenad Tomasev, Dima Yeroshenko, Kinjal Parekh, Roxanne Daniel, Marc Lanctot, Domino Weir, Elsa Dong, Daniel Hennes, Melissa Nalubwama, Robert Fraser, Ryan Trostle, Jun Peng, Tom Mason, Lloyd Hightower, Chiamaka Chukwuka, Yuexiang Zhai, Phoebe Kirk, Yi Su, Yuting Han, Jie Ren, Chris Prichard, Sahand Sharifzadeh, Karim Hakimzadeh, DJ Sterling, Meg Risdal, Kate Olszewska, Ya Xu, Orhan Firat, Minmin Chen (2026)

프리프린트 · 기술 보고서 · arXiv:2609.31473v1

연구 원문 보기 ↗
원문 타래 이어 읽기Edutrend의 Threads에서

이 글 공유하기