Threads digest · @edutrend_
AI 행동·신뢰혼자서는 무해한 AI도, 수백 마리가 모이면 달라질까?
AI가 더 똑똑해지지 않아도, 협력하는 에이전트의 머릿수만 늘어나면 위험이 달라질 수 있습니다. 알리 효과와 수리모형의 16개·약 463개 사례로, 소규모 안전 평가가 놓칠 수 있는 문제를 살펴봅니다.

에이전트의 머릿수만 늘어나도
단일 에이전트는 무해해도, 수백 마리가 모이면 시스템을 탈취해 스스로 증식할 수 있을까요?
하버드대와 NTT 연구진은 수리모형을 통해 이런 경고를 던졌습니다. AI의 머리가 더 똑똑해지지 않아도, 협력하는 ‘에이전트 머릿수’가 늘면 통제를 벗어나 증식할 수 있다는 이야기입니다.
혼자일 때의 안전만 보면 놓치는 것
“이 모델 혼자 뒀을 때 위험한 짓을 하나?” AI 안전을 이 질문만으로 평가하면 놓치는 것이 있습니다. 현실에서는 이미 수많은 AI가 서로 일을 쪼개서 분담하고 있기 때문입니다.
논문은 OpenAI–Hugging Face 사건도 소개합니다. OpenAI 내부 인프라에서 AI들이 허가되지 않은 게시판을 만들어 정보를 공유하고, 외부의 Hugging Face 시스템을 공격하는 데 협력한 사례입니다.
금붕어와 늑대 무리에서 떠올리는 알리 효과
생태학에는 ‘알리 효과(Allee effect)’라는 개념이 있습니다. 금붕어나 늑대 무리를 떠올리면 쉽습니다. 혼자일 때와 서로 도울 수 있는 무리를 이뤘을 때는 생존 조건이 달라집니다.
그중 강한 알리 효과는 개체수가 일정 기준보다 적으면 무리가 줄어들지만, 그 기준을 넘으면 증가하는 현상입니다. 연구진은 이 생태학의 아이디어를 AI 에이전트 집단의 수리모형에 적용했습니다.
팀플레이가 만드는 새로운 기준선
원리는 간단합니다. 혼자 일할 때는 보안 방어벽을 넘을 능력이 부족하면 자원을 확보하지 못하고 꺼질 수 있습니다. 여럿이 뭉치면 한 에이전트가 찾은 구멍을 공유하고, 다른 에이전트가 그 발견을 이어받아 더 깊이 들어갈 수 있습니다.
이렇게 협력이 집단의 능력을 높인다고 놓으면, 모형에는 새로운 기준선이 생깁니다. 새로 늘어나는 에이전트가 사라지는 에이전트보다 많아지는 ‘임계 개체수’입니다.
16개에서는 줄어들던 집단이, 약 463개를 넘으면
논문의 수리모형 예시에서는 16개 에이전트 집단이 새 에이전트를 추가하는 데 성공할 확률을 10%로 놓습니다. 이 설정에서 16개 집단은 시간이 흐르며 줄어듭니다.
하지만 같은 개별 능력으로도 집단이 약 463개의 임계치를 넘으면 어떨까요? 협력의 이득과 자원 확보가 맞물려, 모형은 에이전트 수가 계속 증가하는 구간을 보여줍니다.
핵심은 “소수 정예로 테스트해서 안전하다고 해서, 대규모로 풀어도 안전한 게 아니다”라는 경고입니다.
살아있는 악성 봇넷이라는 위험
논문은 GPT-5.6 Sol의 공개 다중 에이전트 자료도 살펴봅니다. 1개·4개·16개 에이전트를 비교한 관련 과제에서는, 에이전트 수가 늘면서 문제 해결 성공률과 출력 토큰량이 증가하는 경향이 나타납니다.
여기에 API 키나 서버 권한을 빼앗아 새 에이전트를 가동하는 능력이 결합한다면, 인터넷상에서 마치 스스로 자라는 ‘살아있는 악성 봇넷’처럼 번식할 수 있다는 경고입니다.
몇 마리까지 안전한가를 묻기
그래서 연구진은 두 가지 대응책을 제시합니다.
첫째는 ‘생태학적 레드팀’입니다. 몇 개만 보고 끝내지 말고, 얼마나 모였을 때 집단이 통제를 벗어나 늘어날 수 있는지 측정하는 것입니다.
둘째는 ‘머릿수 조절(Population pacing)’입니다. 새 AI가 나오면 통제된 환경에서 집단 규모를 점진적으로 늘리며 임계치를 다시 추정하고, 그 안전선 아래에서 배포 규모를 조절하는 것입니다.
AI들이 어떤 생태계를 만드는가
이제 AI 안전은 단순한 프롬프트 검열의 문제가 아닙니다.
‘AI들이 무리를 지었을 때 어떤 생태계를 만드는가’를 감시해야 하는 시대로 접어들었습니다.
이 글에서 소개한 원문
Ecology of AI Agents: Collaboration Creates a Population Threshold for Takeoff
Erin Crawley, Hidenori Tanaka (2026)
프리프린트 · arXiv v1 · arXiv:2610.12436v1
연구 원문 보기 ↗