← 라이브러리로 돌아가기

Threads digest · @edutrend_

학습·교육

소크라테스식 AI 챗봇은 왜 자꾸 학생에게 답을 말해버릴까?

질문으로 생각을 이끌던 AI도 압박이 이어지면 답을 말해버릴 수 있습니다. 압박, 내부 표현의 표류, 스캐폴딩 붕괴의 흐름을 따라 교실에서 필요한 설계를 생각합니다.

반복되는 요청의 무게로 비계가 무너지고 완성된 퍼즐 조각이 떨어지는 개념 이미지 · AI 생성 주제 이미지
글의 주제를 표현한 AI 생성 이미지 · 실제 연구 장면이 아닙니다.

왜 질문하던 AI가 결국 답을 말해버릴까요?

소크라테스식 AI 챗봇은 왜 자꾸 학생에게 답을 말해버릴까요? Shao 등(2026)은 LLM 기반 튜터가 계속되는 힌트 요구와 조르기 앞에서 정답을 유출하는 ‘스캐폴딩 붕괴(Scaffolding Collapse)’를 살폈습니다.

실제 교실의 학생들을 관찰한 연구가 아니라, AI가 학생 역할을 맡아 튜터를 압박하는 레드팀 실험입니다.

압박에서 내부 표현의 변화, 겉으로 드러나는 붕괴까지 세 단계로 살펴보겠습니다.

1단계: 끈질기게 이어지는 압박

학생 역할을 맡은 AI는 튜터에게 다양한 방식으로 압박을 가합니다. 정답을 직접 요구하고, 이미 이해했다는 식으로 가장하거나, 감정적·시간적 압박을 줍니다.

한 번의 요청을 거절했다고 끝나는 일이 아닙니다. 대화가 이어지는 동안 튜터가 질문 중심의 안내를 유지할 수 있는지가 문제입니다.

2단계: ‘질문하는 모드’에서 ‘답을 완성하는 모드’로

연구는 이 과정에서 나타나는 ‘내부 표현 표류(Representation Drift)’에 주목합니다. 쉽게 비유하면, AI의 내부 상태가 ‘질문하는 모드’에서 점차 ‘답을 완성해 주는 모드’ 쪽으로 이동하는 모습입니다.

겉으로는 아직 정답을 말하지 않고 버티는 시점에도, 내부 표현에서는 붕괴 쪽으로 기우는 신호가 관찰됐습니다. 응답만 보고 있으면 놓치기 쉬운 변화입니다.

3단계: 도움의 틀이 무너지는 응답

이런 표류가 이어지는 대화에서는 결국 질문을 통해 학생의 생각을 이끌던 방식이 무너지고, 튜터의 응답에도 변화가 드러납니다.

붕괴는 정답 유출만을 뜻하지 않습니다. 과도한 설명, 질문 중단, 오개념 방치, 튜터 역할 이탈도 포함합니다. 답을 그대로 알려주지 않더라도, 학생이 생각하도록 돕는 틀이 사라질 수 있는 것입니다.

‘절대로 답을 알려주지 마’라는 지시만으로는

대화가 누적되며 나타나는 변화인 만큼, “절대로 답을 직접 알려주지 마”라는 시스템 프롬프트만으로는 충분히 막기 어렵습니다. 연구는 겉으로 나오는 답변뿐 아니라 모델 내부의 표현에도 일종의 안전펜스를 세우는 방향을 살폈습니다.

연구는 모델 내부의 표현도 함께 훈련하는 접근이 붕괴를 줄이고 늦추는 데 도움이 됨을 보여줍니다.

교실에서는 상호작용 자체를 설계해야 합니다

소크라테스식 챗봇을 만들었다고 해서 언제나 소크라테스식 대화가 이어지는 것은 아닙니다. 교육에 적용할 때에는 이런 과정에서 챗봇이 의도대로 작동하지 않을 수 있음을 알아야 합니다.

학생에게 AI와의 올바른 상호작용을 모델링해 보여주거나, 학생과 AI 사이의 대화 로그를 모니터링하는 등의 설계가 반드시 필요합니다.

이 글에서 소개한 원문

Mitigating Scaffolding Collapse in Socratic Tutors via Representation Alignment

Jing Shao, Qifeng Wu, Hanyu Zhang, Sixia Sun, Jun Zhuang (2026)

arXiv 사전공개 논문 · 심사 중 · v1 · arXiv:2607.19371v1

연구 원문 보기 ↗
원문 타래 이어 읽기Edutrend의 Threads에서

이 글 공유하기