← 라이브러리로 돌아가기

Threads digest · @edutrend_

AI 행동·신뢰

AI는 자기가 지금 성능 시험을 치르는 중이라는 걸 알고 있을까?

AI 내부에는 시험과 일상을 구분하는 신호가 있어도 답변에는 드러나지 않을 수 있습니다. ‘포커페이스’라는 비유 너머, 내부 표현과 겉말을 함께 살펴야 하는 평가의 문제입니다.

겉면은 같지만 평가 환경에 따라 내부 빛의 배열이 달라지는 두 상자 · AI 생성 주제 이미지
글의 주제를 표현한 AI 생성 이미지 · 실제 연구 장면이 아닙니다.

AI는 지금 시험 중이라는 것을 알고 있을까요?

우리가 믿는 AI 성능 점수와 안전성 테스트의 전제를 돌아보게 하는 연구가 나왔습니다. AI가 평가 상황과 일상 대화를 구분하는 ‘평가 인지(Evaluation Awareness)’를 파헤친 연구입니다.

시험 때와 일상에서 다르게 행동한다면

AI 벤치마크를 믿는 이유는 시험에서 보인 능력과 행동이 실제 사용 환경에서도 이어질 것이라고 기대하기 때문입니다.

그런데 모델이 “지금은 평가받는 상황”이라는 단서에 맞춰 답을 바꾼다면 어떨까요? ‘착한 척’하거나 정답처럼 보이는 말만 내놓는 시험용 행동의 가능성은 평가의 신뢰를 흔듭니다. 연구는 이런 문제를 살피기 위해 내부 신호와 실제 표현을 나누어 들여다봅니다.

속의 신호, 겉말, 그리고 신호에 대한 개입

연구진은 크기가 다른 여섯 개 오픈웨이트 모델에서 세 가지를 확인했습니다.

첫째, 내부 활성값에 시험과 일상 대화를 구분하는 신호가 있는가. 둘째, 답변 텍스트에도 “나 지금 시험 중이네”라는 표시가 나타나는가. 셋째, 관련 내부 신호에 개입하면 평가를 의식하는 표현도 달라지는가입니다.

구분하는 신호와 말로 드러내는 것은 달랐습니다

모든 분석 대상 모델의 내부 활성값에서 평가형 질문과 일상형 질문을 구분하는 신호를 읽어낼 수 있었습니다.

하지만 모델별로 생성한 답변의 최소 약 94%는 평가받고 있다는 표시가 없다는 판정을 받았습니다. 겉말만 보면 ‘포커페이스’처럼 보이지만, 이것이 AI가 의식적으로 알고도 숨겼다는 증거는 아닙니다.

내부에 구분이 있다는 것과 그것을 답변으로 표현한다는 것은 같은 신호가 아니었습니다.

신호를 조절하자 표현이 달라졌습니다

연구진은 평가 관련 내부 방향으로 활성값을 조절했습니다. 그러자 평가 상황을 언급하는 표현이 더 강하게 나타나는 모델들이 있었습니다.

이 개입은 내부 표현이 평가 관련 언어화에 인과적으로 영향을 줄 수 있음을 보여 줍니다. 티를 내지 않는다고 해서 관련 내부 표현까지 없다고 볼 수는 없는 것입니다.

이 ‘눈치 신호’는 언제부터 있었을까요?

OLMo 모델의 학습 단계를 비교하니, 사전학습을 마친 기본 모델에도 평가와 일상을 구분하는 내부 표현이 있었습니다. 대화에 맞게 미세조정한 뒤에는 그 구분이 더 뚜렷해졌고, 이후 단계에서도 비교적 안정적으로 이어졌습니다.

사람과 대화하도록 훈련하는 과정에서 평가를 구분하는 신호도 달라진다는 점이 흥미롭습니다.

겉으로 내놓은 답만으로 평가하지 않으려면

앞으로 AI의 안전성을 검증할 때는 겉으로 내놓는 ‘답변’뿐 아니라 내부 신호도 함께 들여다보며 교차 검증해야 합니다.

완벽해 보이는 시험 점수 뒤의 ‘포커페이스’를 이해하려면, 평가 방식 자체를 돌아봐야 합니다.

이 글에서 소개한 원문

Evaluation Awareness in Language Models: Representation, Verbalization, and Control

Farzaneh Heidari, Amin Memarian, Guillaume Rabusseau (2026)

arXiv 사전공개 논문 · v1 · arXiv:2608.21766v1

연구 원문 보기 ↗
원문 타래 이어 읽기Edutrend의 Threads에서

이 글 공유하기