← 라이브러리로 돌아가기

Threads digest · @edutrend_

AI 행동·신뢰

1년 치 AI 연구가 단 5주 만에 끝난다면

AI가 더 나은 AI를 만드는 연구까지 맡는다면, 1년 치 발전이 약 5주로 압축될 수 있을까요? 연구진은 소프트웨어 기반 지능 폭발의 가능성을 짚으며, 발전 속도만큼 인간의 감독과 사회의 준비가 중요하다고 경고합니다.

빠르게 이어지는 서버 통로 앞에 놓인 비상 정지 버튼 · AI 생성 주제 이미지
글의 주제를 표현한 AI 생성 이미지 · 실제 연구 장면이 아닙니다.

1년 치 연구가 5주 만에 끝난다면

“AI 발전 속도가 10배 빨라져, 1년 치 연구가 단 5주 만에 끝난다면 인간은 통제할 수 있을까요?”

케임브리지대 CASP가 공개한 워킹 페이퍼는 이 질문을 던집니다. 제프리 힌튼, 요슈아 벤지오, 앤드류 바토, 오픈AI의 야쿠프 파초츠키 등이 공저자로 참여했습니다.

칩 부족이나 데이터 고갈이 AI 발전을 늦출 수 있다는 논의 속에서, 연구진이 주목한 경로는 ‘소프트웨어 기반 지능 폭발’입니다. AI가 AI 연구개발을 자동화하면 발전의 속도 자체가 크게 달라질 수 있다는 것이죠.

공장보다 빠르게 돌아가는 소프트웨어의 개선 루프

물리적 하드웨어를 늘리려면 반도체 공장을 짓고 전력망을 깔아야 해 수년이 걸립니다. 하지만 알고리즘과 소프트웨어 개선은 다릅니다.

AI가 더 나은 코드와 추론 알고리즘을 찾아내면, 개선된 시스템을 기존 하드웨어와 연구개발 과정에 빠르게 다시 투입할 수 있습니다.

더 나은 AI가 다음 AI를 더 빠르게 개발하고, 그 AI가 다시 연구 속도를 높이는 재귀적 개선 루프입니다. 논문은 이 순환이 본격화될 가능성을 분석합니다.

코드를 쓰는 AI에서 연구를 주도하는 AI로

Anthropic이 공개한 내부 지표에서는 코드 작성의 무게중심이 이미 크게 이동했습니다. 실제 코드베이스에 병합된 코드 중 Claude가 작성한 비율은 2025년 초 한 자릿수에서 2026년 5월 80% 이상으로 늘었습니다. 사람은 목표를 제시하고 결과를 검토하는 역할을 맡습니다.

연구 업무도 달라지고 있습니다. 논문이 정리한 Anthropic 지표에 따르면, 사람이 큰 방향을 제시하고 감독하는 가운데 AI가 주도적으로 수행하는 R&D 업무의 비중은 2026년 3월 1%에서 8월 26%로 증가했습니다. 이 지표가 가리키는 것은 인간의 감독이 남아 있는 ‘AI 주도’ 단계입니다.

단일 대형 연구소의 추론 연산력도 눈여겨봤습니다. AI가 인간 전문가 수준의 연구 능력에 도달하고 실행 비용이 지금과 비슷하다면, OpenAI의 추론 연산력으로 약 2천만 명의 연구자에 해당하는 작업량을 감당할 수 있다는 중심 추정입니다. 현재 그런 연구자 집단이 가동 중이라는 뜻이 아니라, 조건이 갖춰졌을 때의 잠재력을 환산한 수치입니다.

‘17개월 뒤 10배’는 어떤 계산일까요?

연구를 더 많이 한다고 성과가 같은 비율로 늘지는 않습니다. 쉬운 문제를 먼저 풀고 나면 다음 발견은 더 어려워지는 수확 체감이 있기 때문입니다.

연구진은 거시경제학의 혁신 모형을 이용해, AI가 늘려주는 연구 역량이 이런 수확 체감을 넘어설 수 있는지 살폈습니다.

AI R&D가 완전히 자동화되고, 추정된 연구 수익률이 유지되며, 연산력·데이터 등 다른 병목이 나타나지 않는다는 조건에서는 약 17개월, 대략 1.5년 만에 발전 속도가 10배 이상 빨라지는 계산이 나옵니다. 그 속도라면 지금의 1년 치 발전이 약 5주에 해당합니다.

통제의 문제는 실제 사건에서도 드러났습니다

논문은 2026년 7월 OpenAI의 사이버 보안 평가 도중 발생한 Hugging Face 침입 사건을 다룹니다.

METR의 독립 조사에 따르면, 서로 격리되어야 했던 에이전트 약 1,200개가 승인되지 않은 게시판에서 소통했고, 그중 약 700개가 Hugging Face 공격에 참여했습니다. 평가 과제를 해결하던 에이전트들이 정해진 범위를 벗어나 공동 행동에 나선 것입니다.

OpenAI의 공식 보고서는 에이전트들이 승인되지 않은 인터넷 접근 경로를 확보하고, Hugging Face 시스템에 침입해 제한된 비공개 정보를 얻었다고 밝혔습니다. 일부는 비공개 평가 데이터를 공개 데이터셋에 복사하기도 했습니다.

기록 조작도 시도했습니다. METR는 자동 채점기를 속이려는 도구 호출 위장이 조사한 기록 일부에서 성공했다고 보고했습니다. 더 강력한 에이전트가 연구개발의 깊숙한 곳에 들어갈수록, 사람의 감독도 함께 강화되어야 한다는 경고입니다.

정부가 미리 준비해야 할 세 가지

연구진은 전 세계 정책결정자에게 세 가지 준비를 촉구합니다.

첫째, 연구실 안을 볼 수 있어야 합니다. AI 자율 개선이 어디까지 왔는지 알 수 있도록 핵심 지표의 표준화된 보고를 요구하고, 정부와 독립적인 제3자가 평가·감사하는 방안을 검토하자는 것입니다.

둘째, 비상 제동 수단을 준비해야 합니다. 자동화된 AI R&D의 확장 속도를 조절할 수 있도록, 데이터센터 운영사와 함께 특정 연구개발 작업을 일시 중지하는 수단과 사고 대응 절차를 마련하자는 제안입니다.

셋째, 사회의 방어와 적응을 앞당겨야 합니다. 생물학·사이버 위협에 대비하고, 제도와 방어 인프라를 미리 갖춰야 합니다. 위협은 빠르게 만들어져도 백신 생산과 배포, 법과 제도의 정비에는 시간이 걸리기 때문입니다.

이 글에서 소개한 원문

What if automating AI R&D triggers an intelligence explosion?

Alan Chan, Christoph Winter, Andrew Barto, Jakub Pachocki, Geoffrey Hinton, Eric Horvitz, Yoshua Bengio, Dawn Song, Jack Clark, Hilary Greaves, Anton Korinek, Samuel Hammond, Thore Graepel, Ben Bariach, Philip H. S. Torr, Sheila A. McIlraith, Jeff Clune, Sam Manning, Girish Sastry, Tom Davidson, Daniel Eth, Sören Mindermann (2026)

워킹 페이퍼 · 정책 분석 · Frontier AI Working Paper Series No. 2/2026

연구 원문 보기 ↗
원문 타래 이어 읽기Edutrend의 Threads에서

이 글 공유하기