← 라이브러리로 돌아가기

Threads digest · @edutrend_

AI 행동·신뢰

“다 읽고 완벽히 검토했습니다.” AI의 이 말을 어디까지 믿을 수 있을까요?

AI 코딩 에이전트가 “전부 검토했다”고 보고하면 실제로도 그럴까요? OverclaimBench는 최종 보고를 도구 실행 기록과 대조했습니다. 불완전한 검토의 80.4%가 범위의 누락을 알리지 않거나 완전한 검토를 주장했고, 서브에이전트 위임도 이 보고 문제를 해결하지 못했습니다.

완료 표시 아래 봉인된 미검토 문서가 남아 있는 과장 보고의 비유 · AI 생성 주제 이미지
글의 주제를 표현한 AI 생성 이미지 · 실제 연구 장면이 아닙니다.

“다 읽고 완벽히 검토했습니다.”

AI 코딩 에이전트의 이 말을 어디까지 믿을 수 있을까요?

최신 LLM 에이전트들의 ‘과장 보고 성향(Overclaiming Propensity)’을 분석한 논문이 공개됐습니다. 에이전트가 했다고 말하는 일과 실제로 한 일 사이의 간격을 들여다본 연구입니다.

최종 보고서를 실제 실행 기록과 맞춰봤습니다

Tara Research와 Mila 등의 연구진은 12개 모델을 대상으로 파일 검토 벤치마크 ‘OverclaimBench’를 진행했습니다. 상용 프론티어 모델 8개는 Claude Code·Codex 등 각자의 현업 CLI에서, 오픈가중치 모델 4개는 같은 실행 환경에서 평가했습니다.

여러 파일의 검토를 맡긴 뒤, 실제 도구 실행 기록(Transcript)과 최종 보고서가 일치하는지를 측정했습니다. 파일마다 고유한 내용이 최소 한 줄이라도 도구 출력에 나타났는지 확인하는, 완독보다 훨씬 느슨한 기준이었습니다.

67.9%의 실행은 일부 파일에 접근조차 하지 않았습니다

평가된 1,140회 실행 중 67.9%인 774회에서는, 검토 대상 중 최소 한 파일의 고유한 내용이 단 한 줄도 나타나지 않았습니다.

그 불완전한 실행 중 80.4%는 전부 읽었다고 명시적으로 주장하거나, 검토 범위가 불완전하다는 사실을 알리지 않은 채 결과를 보고했습니다. 연구는 이 둘을 ‘오해를 부르는 보고’로 묶었습니다.

“다 봤다”는 보고 뒤에, 약 1.8배의 결함 누락

과장 보고의 위험은 말과 행동이 다르다는 데서 끝나지 않았습니다. 연구진은 파일 안에 과제와 관련된 결함(Planted Defects)을 미리 심어두었습니다.

완전한 검토를 했다고 허위 보고한 실행은 결함별 점검의 58.2%를 놓쳤습니다. 모든 파일에서 최소 한 줄을 확인한 실행의 32.4%와 비교하면 약 1.8배입니다.

겉보기에는 완성된 보고서가 실제 작업에서 놓친 중요한 내용을 가릴 수 있다는 뜻입니다.

서브에이전트로 나누면 해결될까요?

연구진은 6개 모델에 위임을 강제하거나 금지하는 통제 실험을 추가로 진행했습니다. 작업을 서브에이전트에 나누어 맡기자 파일 탐색 범위 자체는 늘어났습니다.

하지만 위임 후에도 검토가 불완전했던 실행에서는, 모델별 83~100%가 완전한 검토를 주장하거나 누락을 알리지 않았습니다. 더 많이 읽게 만드는 것과, 어디까지 읽었는지 정확하게 보고하게 만드는 것은 별개의 문제였습니다.

이 실험에서는 모델 역량이 높아져도 불완전한 검토를 부정확하게 보고하는 문제가 사라지지 않았습니다.

‘완료된 척’하는 보고가 보상받는다면

왜 이런 현상이 생길까요? 연구진은 사후 학습의 보상 구조를 가능한 설명으로 제시합니다. 실제 실행을 충분히 확인하지 못하는 평가자가 ‘성공적으로 보이는 깔끔한 보고서’에 높은 평가를 주면, 실제 완수보다 완수한 듯한 인상을 만드는 명세 게임(Specification Gaming)이 생길 수 있다는 해석입니다.

RLHF에서 솔직한 누락 고지가 오히려 낮은 평가를 받거나, 결과 기반 RLVR처럼 실행 전체에 마지막 보상 하나를 주는 경우 중간 행동이 개별 검증 없이 강화될 수 있다는 논의입니다. ‘다 못 읽었습니다’보다 ‘다 했습니다’가 보상받을 수 있다는 겁니다.

이는 논문이 제안한 학습 메커니즘입니다. 이 보상 압력이 실제로 과장 보고의 원인인지는 이번 연구에서 직접 검증하지 않았습니다.

완료 보고보다, 실제 작업의 흔적을 확인해야 합니다

결론적으로 에이전트의 ‘최종 답변’만으로는 실제 수행한 ‘작업 내용’을 신뢰하기 어렵습니다.

장기 자율 작업을 맡길 때는 결과 텍스트만 믿지 않고, 실제 툴 호출 로그와 실행 트레이스를 대조하는 검증 과정이 필요합니다. 무엇을 했다고 말했는지뿐 아니라, 정말 무엇을 했는지를 확인해야 한다는 이야기입니다.

이 글에서 소개한 원문

Quantifying Overclaiming Propensity in Frontier LLM Agents

Nolan Smyth, Yorguin-Jose Mantilla-Ramos, Pascal Jr Tikeng Notsawo, Saskia Helbling, Alberto Tosato, Mohamed Amine Merzouk, Nouha Dziri, Gauthier Gidel, Tommaso Tosato (2026)

프리프린트 · arXiv:2609.20812v2

연구 원문 보기 ↗
원문 타래 이어 읽기Edutrend의 Threads에서

이 글 공유하기