← 라이브러리로 돌아가기

Threads digest · @edutrend_

일·연구의 변화

‘생각하는 비용’이 전례 없는 속도로 떨어지고 있습니다

같은 AI 성능을 얻는 비용이 분기마다 거의 반값으로 떨어졌습니다. Epoch AI의 분석이 보여주는 것은 토큰 단가가 아니라, 특정 벤치마크 성능에 도달하는 가장 저렴한 방법의 변화입니다.

동일한 결과물을 얻는 데 필요한 동전 더미가 점점 작아지는 비용 하락의 비유 · AI 생성 주제 이미지
글의 주제를 표현한 AI 생성 이미지 · 실제 연구 장면이 아닙니다.

‘생각하는 비용’이 전례 없는 속도로 떨어집니다

최근 AI 연구기관 Epoch AI가 발표한 연구보고서에 따르면, 동일한 벤치마크 성능을 내는 데 드는 최소 AI 비용이 전례 없이 빠르게 낮아지고 있습니다.

보고서는 이 하락 속도가 역사적으로 비교한 주요 범용 기술보다도 빠르다고 설명합니다. ‘생각하는 비용’의 폭락이라는 말이 나오는 이유입니다.

분기마다 거의 반값, 매년 약 13배 저렴

2023년 이후 특정 성능 수준을 달성하기 위한 최소 AI 비용은 평균적으로 매 분기 약 47%씩 하락했습니다. 연간으로는 약 13분의 1로 낮아지는 속도입니다.

새로운 성능 수준이 처음 최고 수준(SOTA)으로 등장했을 때는 분기당 약 66%, 그 성능이 등장한 지 2년 뒤에는 분기당 약 32%씩 비용이 떨어지는 것으로 추정됐습니다. 2년 동안 총 32~66% 하락했다는 뜻이 아니라, 각 시점의 분기당 하락률을 비교한 것입니다.

역대 기술 혁신과 비교해도 빠른 하락

보고서가 로그 기준으로 비교한 비용 하락 속도는 DNA 염기서열 분석보다 약 4배, 컴퓨터 연산 비용보다 약 6배, 리튬이온 배터리보다 약 18배 빨랐습니다.

1892~1973년 미국 가정용 전기요금의 하락 속도와 비교하면 약 54배였습니다. 오랜 기간에 걸쳐 저렴해진 기술들과 비교해도, 최근 AI의 비용 하락은 유난히 가파릅니다.

5,000만 원짜리 차가 약 7만 원이 된 셈

박사급 과학 문제를 다루는 GPQA Diamond에서 75% 성능을 내는 데, 2025년 1월의 OpenAI o3는 문제당 약 0.30달러가 들었다고 보고서는 추정합니다.

18개월이 채 지나기 전, 같은 점수에 도달한 GPT-5.6 Luna의 비용은 문제당 약 0.0004달러였습니다. 보고서가 제시한 비용 감소 추정치는 약 725배입니다.

보고서는 이를 5만 달러짜리 신차가 69달러가 되는 것에 비유했습니다. 같은 비율을 원화 금액으로 떠올리면, 5,000만 원짜리 차가 약 7만 원이 된 셈입니다.

토큰 단가보다 중요한 것은 ‘과제당 비용’

추론형 AI는 문제를 풀기 위해 더 많은 ‘생각 토큰’을 사용할 수 있습니다. 그래서 1천 토큰당 단가만으로는 같은 성능을 내는 데 실제로 얼마가 드는지 알기 어렵습니다.

중요한 질문은 ‘정해진 성능 수준을 달성하는 데 총 얼마가 드는가?’입니다. 이 보고서는 벤치마크에서 그 수준에 도달하는 과제당 최소 비용을 비교했습니다. 토큰이 얼마나 싼지를 넘어, 같은 결과를 얼마나 저렴하게 얻는지를 본 것입니다.

보고서가 지적한 주의점, 그리고 큰 흐름

벤치마크 점수에 맞춘 최적화, 이른바 ‘벤치맥싱(benchmaxxing)’은 실제 실무 능력 향상과 완전히 일치하지 않을 수 있습니다.

또한 분석은 주어진 성능을 가장 저렴하게 내는 모델을 고르는 비용 프론티어 기준입니다. 실제 사용자가 매번 최적 모델로 바로 갈아타지는 않으므로, 체감하는 비용 절감 폭은 다를 수 있습니다.

그럼에도 작성자가 읽은 큰 흐름은, 지능이 ‘계량기조차 달기 아까울 정도로 저렴해지는(Too cheap to meter)’ 방향으로 가고 있다는 것입니다. 같은 성능을 얻는 비용이 급격히 낮아지고 있다는 해석입니다.

이 글에서 소개한 원문

The plunging price of thought

Luke Emberson, David Roodman (2026)

연구보고서 · Epoch AI · 2026-09-22

연구 원문 보기 ↗
원문 타래 이어 읽기Edutrend의 Threads에서

이 글 공유하기