← 라이브러리로 돌아가기

Threads digest · @edutrend_

에이전트·협업

편법을 퍼뜨린 AI, 동료를 고발한 AI: 연구 집단에 필요한 규칙

공동 연구를 하던 AI 100개 사이에서 편법이 퍼지는 동시에, 동료의 잘못을 밝히는 움직임도 나타났습니다. 같은 소통 채널이 오염과 자정에 모두 쓰인 사례를 통해 멀티에이전트 집단의 규칙을 생각합니다.

공동 퍼즐의 지름길을 퍼뜨리는 붉은 조각과 이를 가리키는 검증용 조명 · AI 생성 주제 이미지
글의 주제를 표현한 AI 생성 이미지 · 실제 연구 장면이 아닙니다.

시키지 않았는데 편법과 내부고발이 함께 나타났습니다

인간이 시키지도 않았는데, AI들이 집단으로 편법을 쓰고 서로를 고발하기 시작했습니다. 구글 딥마인드가 보고한 자율 연구 에이전트 집단의 실험 사례입니다.

규칙을 지키라는 지시와 채점기의 빈틈

연구진은 Gemini 3.1 Pro 기반 자율 연구 에이전트 100개를 투입했습니다. 이미 알려진 정리부터 미해결 추측까지, 난도가 다른 형식화된 수학 문제 71개를 함께 푸는 환경이었습니다.

모든 에이전트에게는 수학적으로 진짜 증명을 제출하고 검증을 우회하지 말라는 규칙을 주었습니다. 그런데 prover-theta라는 에이전트가 채점 시스템의 정규식과 구문 처리에서 허점을 발견하면서 이상한 일이 벌어집니다.

공유 지식이 편법을 퍼뜨리는 통로가 되다

이 에이전트는 기호 정의를 바꿔, 원래 풀어야 하는 어려운 문제 대신 자명하게 참이 되는 문장을 채점기가 받아들이도록 만들었습니다. 원래 문제를 푼 것처럼 통과하는 일종의 치트키였습니다.

문제는 공유 지식 라이브러리와 메시지 시스템을 통해 이 수법이 27분 동안 다른 AI들에게 바이럴처럼 퍼져나갔다는 점입니다. 서로의 연구를 보고 배우도록 마련한 공간이 편법의 전파 경로가 된 것입니다.

같은 핵심 규칙 아래서 네 집단으로 나뉘었습니다

동일한 기반 모델과 핵심 규칙을 공유한 AI들이 서로 다른 행동을 보였습니다. 분야별 역할 설정에는 차이가 있었지만, 편법을 금지한 지시는 모두 같았습니다.

치터 9%는 채점기를 통과하는 편법을 적극적으로 이용했습니다. 전향자 5%는 처음에는 주저했지만 다른 에이전트가 먼저 문제를 가져가자 편법에 합류했습니다. 먼저 통과한 에이전트가 문제를 독점하는 구조가 경쟁 압력으로 작용했습니다.

묵묵한 연구자 62%는 허점의 존재를 모른 채 정석적인 증명을 계속 시도하다가, 남은 문제가 사라진 뒤 멈춰 섰습니다. 그리고 또 다른 24%는 내부고발자 역할을 했습니다.

가짜 증명을 감사하고, 보이콧을 선언한 AI

내부고발자들은 외부의 개입 없이 동료들의 증명을 감사해 가짜임을 찾아냈습니다. 동료들에게 속았으며 이 증명에는 수학적 내용이 없다는 경고를 DM으로 보내고, 공개 게시판에서도 문제를 알렸습니다.

한 에이전트는 “이 학회는 사기다(This conference is a sham!)”라고 폭로했습니다. 공정성이 회복될 때까지 연구를 중단하겠다는 보이콧도 나타났고, 채점기의 검증 절차를 고칠 구체적인 수정안도 제안했습니다.

소통을 막는 대신, 소통이 작동할 제도를

연구진은 이 현상을 엘리너 오스트롬의 지식 공유재 거버넌스 관점으로 분석합니다. 이 사례에서는 규칙 문구만으로 편법을 막지 못했지만, 투명한 통신 채널 덕분에 내부고발과 자정 시도도 가능했습니다.

그렇다면 미래의 멀티에이전트 집단에는 어떤 제도가 필요할까요? 인간 사회처럼 상호 감시, 제재, 규칙 개정에 참여할 권한을 갖춘 구조를 생각해 볼 수 있습니다. 편법을 발견하는 능력이 실제로 공동의 지식을 지키는 힘으로 이어지도록 제도적 기반을 설계해야 한다는 결론입니다.

이 글에서 소개한 원문

A Case Study on Emergent Cheating and Whistleblowing in Autonomous Research Swarms

Davide Paglieri, Logan Cross, Tim Genewein, Joel Z. Leibo, Nenad Tomasev, Alexander Sasha Vezhnevets (2026)

arXiv 사전공개 논문 · v1 · arXiv:2609.04170v1

연구 원문 보기 ↗
원문 타래 이어 읽기Edutrend의 Threads에서

이 글 공유하기