Threads digest · @edutrend_
에이전트·협업잠자는 동안에도 실력이 느는 AI가 있다면?
실전의 시행착오를 기록해 두고, 그 위에서 다음 탐색 전략을 연습한다면 어떨까요? Dream-RSI는 ‘꿈’이라는 비유로 과거 경험을 재사용하는 AI의 자기개선 과정을 보여줍니다.

잠자는 동안에도 실력이 느는 AI가 있다면?
우리는 잠을 자며 낮 동안 겪은 일을 꿈속에서 재구성하고 복기한다는 비유를 쓰곤 합니다. 구글과 메릴랜드대 연구진의 Dream-RSI는 이 ‘꿈’이라는 은유를 AI의 탐색 전략 개선에 적용한 연구입니다.
실전에서 쌓은 기록을 다시 활용해, 다음에는 어떤 순서로 시도할지 더 잘 배우게 만드는 것입니다.
지독한 연습벌레에게 부족했던 요령
스스로 코드를 짜고 연구하는 자율 AI 에이전트는 지독한 연습벌레에 가깝습니다. 수학 문제를 풀거나 알고리즘을 개선하려고 수천 번 코드를 만들고 실행해 봅니다.
문제는 탐색 방법을 바꿀 때마다 비싼 실험을 다시 돌려야 한다는 점입니다. 어떤 전략이 좋은지 확인하는 일 자체에 많은 계산과 시간이 들어갑니다.
왜 낮의 경험으로 밤에 꿈꾸지 않을까?
연구진은 과거의 경험 위에서 “그때 이렇게 행동했다면 어땠을까?”를 따져볼 공간을 만들었습니다. 그것이 재생 시뮬레이터(Replay Simulator)입니다.
실제 탐색에서 실패하고 성공하며 걸어온 경로와 결과를 ‘탐색의 기억 트리’로 저장합니다. 이 기록을 이용하면, 이미 해 본 계산을 다시 실행하지 않고도 여러 탐색 전략을 빠르고 저렴하게 비교할 수 있습니다.
꿈속에서 과거 기억의 다른 길을 따라가 보듯, 어느 가지를 먼저 살피고 언제 멈출지 다시 시험하는 것입니다.
낮의 탐험, 꿈의 무대, 밤의 전략 개선
첫째, 현실 탐험입니다. 현재 전략으로 문제를 풀며 경험과 실행 기록을 쌓습니다.
둘째, 꿈의 무대를 만듭니다. 쌓인 탐색 트리를 다시 살펴볼 수 있는 시뮬레이터로 바꿉니다.
셋째, 꿈속에서 전략을 개선합니다. 기록 위에서 여러 대안 전략을 평가하고, 더 나은 전략을 다음 실제 탐색에 투입합니다. 새 탐색이 만든 기록은 다시 다음 꿈의 재료가 됩니다.
이때 바뀌는 것은 탐색을 지휘하는 전략 코드입니다. 기반 AI 모델 자체를 다시 학습시키는 방식은 아닙니다.
더 적은 시도로 찾은 알고리즘
알고리즘 최적화 실험에서 SimpleTES는 5만 번 넘는 시도를 사용했습니다. Dream-RSI는 더 적은 탐색 에이전트 호출로 평균 실행 성능이 더 좋은 해법을 찾았습니다.
논문이 제시한 최대 약 162배 절감은 실제 지출액이 아니라 탐색 에이전트 호출 횟수의 비교입니다. 기존 기록을 다시 활용해 필요한 시도를 크게 줄였다는 의미입니다.
GPU 고속화와 수학 문제에서도
GPU 커널 실험에서는 비슷한 성능에 도달하는 데 필요한 생성 횟수가 과제에 따라 약 1.79~2.43배 적었습니다. 다른 과제에서는 비슷한 탐색 예산으로 최대 약 2.09배의 실행 성능을 얻었습니다.
수학 최적화에서도 더 적은 생성으로 강한 비교 시스템에 견주거나 앞서는 결과를 얻었습니다. 적게 시도하는 효과와 더 좋은 해법을 찾는 효과가 각 실험에서 나타난 것입니다.
무모한 반복보다, 경험을 복기하는 성장
결국 Dream-RSI의 핵심은 무작정 부딪히는 반복을 줄이고, 자신의 과거를 복기하며 다음 전략을 다듬는 ‘스마트한 성장’입니다.
인간의 꿈에 빗대어 말하면, AI에게도 낮의 경험을 밤의 연습 재료로 돌려주는 셈입니다. 이 연구가 보여준 재귀적 자기개선은 경험을 쌓고, 그 경험으로 탐색 전략을 고치고, 다시 실전에 적용하는 순환입니다.
이 글에서 소개한 원문
Dream-RSI: Recursive Self-Improvement through Evolving Worlds
Tong Zheng, Xidong Wu, Zheng Zhang, Zhankui He, Chaoyi Zhang, Benjamin Coleman, Ruoqiao Wei, Di Bai, Haolin Liu, Rui Liu, Xue Wang, Yue Zhuan, Wang-Cheng Kang, Renkai Xiang, Heng Huang, Xinwu Cheng, Yunsong Guo (2026)
프리프린트 · arXiv:2609.14858v1
연구 원문 보기 ↗