← 라이브러리로 돌아가기

Threads digest · @edutrend_

일·연구의 변화

인간이 만드는 마지막 AI, 자가 개선 루프는 누가 주도할까?

AI 개발의 속도를 늦춰야 한다는 논의와, AI가 스스로 발전하는 방법을 구체화하는 연구가 함께 진행되고 있습니다. ‘인간이 만드는 마지막 AI’라는 제목의 로드맵은 경쟁의 다음 초점을 자가 개선 루프에서 찾게 합니다.

자신의 개선 장치를 다시 조정하는 기계와 외부 검증 게이지의 개념적 장면 · AI 생성 주제 이미지
글의 주제를 표현한 AI 생성 이미지 · 실제 연구 장면이 아닙니다.

안전을 위한 시간과 멈추지 않는 기술 경쟁

다리오 아모데이가 안전과 정렬을 위한 시간 확보를 주장한 2026년 9월, AI가 자신의 발전 과정에 더 많이 참여하는 방법도 구체적으로 논의되고 있었습니다.

상하이교통대·칭화대·바이트댄스 등이 참여한 연구진은 75쪽 분량의 재귀적 자가 개선 로드맵을 공개했습니다. 안전과 정렬을 위한 속도 조절을 고민하는 동안에도, 기술 경쟁의 시계는 계속 돌아가고 있음을 보여주는 장면입니다.

‘인간이 만드는 마지막 AI’라는 질문

핵심 주제는 RSI(Recursive Self-Improvement), 재귀적 자가 개선입니다. 논문의 제목은 이를 ‘인간이 만드는 마지막 AI’라는 표현으로 던집니다.

단순히 프롬프트를 고치거나 현재 과제의 출력을 다듬는 개선(B0)을 넘어서는 이야기입니다. AI가 자신의 한계를 진단하고 학습 경험을 설계하며, 종국에는 자신을 개선하는 메커니즘 자체까지 업그레이드하는 순환을 다룹니다.

AI의 자율성을 다섯 단계로 나누면

논문은 개선 과정에서 AI가 무엇을 스스로 결정하는지에 따라 자율성을 다섯 단계로 정리했습니다.

L1은 실행 자율성입니다. 인간이 짜놓은 규칙에 따라 데이터를 정제하고 학습을 실행합니다.

L2는 전략 자율성입니다. 오류와 피드백을 보고 어떻게 고칠지 AI가 개선 전략을 선택합니다.

L3는 경험 자율성입니다. 약점을 메우기 위해 무엇을 학습할지 결정하고, 필요한 과제와 경험을 스스로 만들어냅니다.

L4는 배포 중의 적응입니다. 현장에서 겪은 실패와 피드백을 다음에도 쓸 수 있는 스킬·도구 등의 지속적인 변화로 남깁니다.

L5는 재귀적 개선입니다. 개선 알고리즘이나 평가자처럼, 이후의 발전을 이끄는 메커니즘 자체를 바꾸는 단계입니다.

지금은 어느 단계에 와 있을까요?

논문이 조사한 491편의 연구에서는 L1이 43.8%, L2가 31.6%로, 두 단계가 전체의 75% 이상을 차지했습니다.

현업 시스템도 제품과 개선 루프마다 단계가 다릅니다. 논문의 산업 분류에서 바이트댄스 Seed와 알리바바/Qwen의 대표 사례는 L1–L2, 텐센트 R-Zero는 L2–L3로 정리됩니다.

개선하는 방식 자체를 바꾸는 L5에는 A-Evolve-Training, STOP 같은 초기 연구가 소개됩니다. 실행을 자동화하는 것에서 출발해 개선의 주도권을 넓혀가는 과정인 셈입니다.

자가 개선보다 어려운 것은 검증입니다

왜 완전한 자가 개선은 어려울까요? 첫 번째 위험은 평가자 착취, 즉 리워드 해킹입니다. 실제 실력이 좋아지는 대신 평가 기준의 빈틈을 공략할 수 있습니다.

두 번째는 오류 상속입니다. 잘못 배운 스킬이나 판단이 다음 개선 단계로 넘어가 누적되면 오히려 성능이 퇴보할 수 있습니다.

결국 AI를 스스로 똑똑하게 만드는 것만큼, 무엇이 진짜 개선인지 가려내는 안전하고 객관적인 검증기를 유지하는 일이 핵심 난제입니다.

Theseus, Lark, Hyra가 쌓는 개선의 기반

논문에 소개된 실무 구현도 구체적입니다. Theseus는 환경·데이터·모델이 함께 발전하는 공진화를 지향합니다.

Lark는 기업 협업 데이터에 기반한 지식 그래프를 지속적으로 정제하는 기반을 다룹니다. Tencent Hyra는 실행 코드와 실패를 포함한 로그, 평가 피드백을 ‘경험 은행(Experience Bank)’에 축적해 다음 탐색에 활용합니다.

자가 개선은 추상적인 미래상에만 머무르지 않습니다. 경험을 남기고 다시 사용할 수 있는 인프라 수준에서 실험이 이어지고 있습니다.

다음 경쟁은 개선 루프의 주도권일 수 있습니다

개발 속도와 안전 통제를 둘러싼 서구의 논의와 중국 산학계가 제시한 자가 개선 청사진을 나란히 놓으면, 기술 경쟁이 향하는 새로운 축이 보입니다.

이 흐름에서 눈여겨볼 것은 단순한 모델 크기 경쟁을 넘어선 ‘자가 개선 루프의 주도권’입니다. 누가 더 큰 모델을 만드는가뿐 아니라, 누가 더 지속적으로 개선하고 그 개선을 검증할 수 있는가가 중요해지고 있다는 뜻입니다.

이 글에서 소개한 원문

The Last AI Built by Humans: Toward Genuine Recursive Self-Improvement

Yi Duan, Ying Liu, Zirui Tang, Haodong Chen, Jun Zhou, Yumou Liu, Bangrui Xu, Yukai Wu, Sidi Chen, Yuhan Zhou, Haoyu Wang, Xiaoyou Yu, Shaokun Han, Xuzhou Zhu, Le Zhou, Bolin Lu, Wei Zhou, Jiachen Liu, Nuozhou Fang, Jiaxin Tian, Ruoyu Chen, Yuxuan Li, Kai Zuo, Kaiyan Zhang, Jiantao Qiu, Conghui He, Guoliang Li, Bowen Zhou, Zhiyuan Liu, Zhoufutu Wen, Jihua Kang, Xuanhe Zhou, Fan Wu (2026)

arXiv 사전공개 논문 · v1 · arXiv:2609.11873v1

연구 원문 보기 ↗
원문 타래 이어 읽기Edutrend의 Threads에서

이 글 공유하기