← 라이브러리로 돌아가기

Threads digest · @edutrend_

AI 행동·신뢰

사람처럼 다듬은 AI, 왜 대화에서는 여전히 티가 날까요?

특정 인물의 성격을 입히고 실제 답글까지 보여주면 AI도 그 사람처럼 말할까요? CHAT 연구에서 드러난 말투와 감정 표현의 차이, 사람다운 문장과 원래 뜻 사이의 긴장을 따라갑니다.

카페에서 대화하며 서로 다른 표정을 짓는 두 사람 · AI 생성 주제 이미지
글의 주제를 표현한 AI 생성 이미지 · 실제 연구 장면이 아닙니다.

아무리 사람처럼 다듬어도 남는 차이

AI에게 성격을 입히고 말투를 다듬으면, 실제 사람의 대화와 구별하기 어려워질까요? PNAS에 실린 CHAT 연구는 X, 블루스카이, 레딧의 대화로 9개 오픈웨이트 모델을 비교했습니다.

조정 후에도 사람 답글과 AI 답글을 구분하는 자동 분류기의 전체 정확도는 약 70~80%였습니다. 사람·AI 답글을 균형 있게 구성한 평가의 수치로, AI가 쓴 글만 70~80% 적발했다는 뜻은 아닙니다.

성격 설명보다 실제 답글과 대화의 맥락

연구진은 기본 프롬프트, 페르소나, 말투 예시, 관련 문맥 검색, 파인튜닝이라는 다섯 가지 설정을 비교했습니다. “이런 성격과 관심사를 가진 사람이야”라고 설명하는 것만으로는 충분하지 않았습니다.

실제 답글 예시 10개를 보여주거나 관련 배경 글을 함께 주는 방식은 사람다운 표현에 도움이 됐습니다. 파인튜닝의 효과는 모델마다 달랐습니다. 일부에서는 오히려 더 쉽게 구별됐지만, 인스트럭션 모델에서는 개선도 나타났습니다.

더 크고 얌전한 모델이 더 사람다울까?

70B처럼 큰 모델이라고 사람의 대화를 더 잘 흉내 내지는 않았습니다. 지시를 잘 따르도록 조정한 인스트럭션 모델도 대체로 베이스 모델보다 쉽게 구별됐습니다.

너무 바르고 정돈된 말투가 오히려 AI의 흔적이 될 수 있다는 이야기입니다. 과제를 잘 수행하는 능력과 실제 온라인 이용자처럼 말하는 능력이 언제나 함께 올라가지는 않았습니다.

글의 겉모습과 감정의 온도

문장 길이, 해시태그, 멘션 같은 겉모습은 설정을 다듬을수록 사람과 가까워졌습니다. 하지만 거친 반응과 공격적인 표현, 비꼬기와 미묘한 감정의 온도에서는 차이가 남았습니다.

대화의 형식을 그럴듯하게 만드는 것과 그 사람이 실제로 보였던 반응을 재현하는 것 사이에는 간극이 있었습니다.

사람다운 말투와 원래 뜻을 함께 지킬 수 있을까?

AI가 만든 답글 후보 20개 중 더 사람처럼 보이는 답을 골라보면, 실제 사람이 쓴 답글의 의미에서는 멀어졌습니다. 반대로 의미가 가장 비슷한 답을 골라도 판별률이 일관되게 낮아지지는 않았습니다.

이번 9개 모델과 SNS 대화 실험에서는 인간다운 말투와 원래 의미에 충실한 답변 사이의 상충이 관찰됐습니다. 이를 모든 AI 구조에 적용되는 필연적인 충돌로 확대할 수는 없습니다.

사람을 대신해 사회를 시뮬레이션하기 전에

타래가 던지는 마지막 질문은 AI가 글을 얼마나 매끄럽게 쓰느냐를 넘어섭니다. 사람 대신 AI에게 반응을 물어 사회적 행동을 연구해도 될까요?

적어도 이 연구에서 시험한 모델과 SNS 대화에서는 사람과의 차이가 뚜렷하게 남았습니다. 사람을 닮아 보이는 대화가 실제 인간의 표현과 의미까지 충실히 대신하는지는 따로 살펴야 합니다.

이 글에서 소개한 원문

AI-generated language remains systematically distinguishable from human communication

Nicolò Pagan, Petter Törnberg, Christopher A. Bail, Christopher Barrie (2026)

PNAS 학술지 논문 · 123(42), e2531748123 · doi:10.1073/pnas.2531748123

연구 원문 보기 ↗
원문 타래 이어 읽기Edutrend의 Threads에서

이 글 공유하기