Threads digest · @edutrend_
AI 행동·신뢰AI에게 ‘비밀번호는 절대 말하지 마’라고 시키면 안전할까요?
AI가 비밀을 직접 말하지 않아도 출력에 남은 통계적 흔적이 정보를 드러낼 수 있습니다. 숫자와 합성 메모를 이용한 통제 실험을 통해, 비밀 유지 지시만으로 보안을 보장하기 어려운 이유를 살펴봅니다.

“비밀번호는 절대 말하지 마”라고 하면 안전할까요?
AI가 직접적인 질문에는 “알려줄 수 없다”고 거절하더라도, 다른 요청에 답하며 남긴 미세한 출력 패턴을 분석하면 숨겨 둔 정보를 추론할 수 있다는 연구가 나왔습니다.
비밀을 그대로 적지 않았는데도 흔적이 남는 ‘비의도적 맥락 유출(Context Leakage)’ 이야기입니다.
코끼리를 생각하지 말라는 말처럼
사람도 “코끼리는 절대 생각하지 마”라는 말을 들으면 오히려 코끼리를 신경 쓰게 됩니다. 연구진이 제안한 ‘억제’ 기제는 이 비유로 이해할 수 있습니다.
모델이 보호해야 할 값을 출력하지 않도록 반응하면서, 그 값을 피하는 방향으로 출력 확률이 달라집니다. 이 변화가 어떤 값을 감추고 있는지에 관한 흔적이 될 수 있는 것입니다.
숫자를 말하지 않아도, 피한 흔적을 읽습니다
연구진은 모델별 출력의 특징을 학습한 분석기로 비밀의 흔적을 읽었습니다. 답에 비밀 숫자가 그대로 등장하지 않아도, 어떤 값을 피하는지에 관한 통계적 패턴을 이용하는 방식입니다.
숫자 비밀 실험에서 유출이 특히 컸던 것은 숫자 목록 등을 생성하는 과제였습니다. 자유롭게 짧은 글을 쓰는 요청에서는 이 실험의 유출이 거의 없었습니다.
높은 성공률은 어떤 조건에서 나왔을까요?
무작위로 만든 2자리 비밀 숫자는 Claude Opus 4.6과 Gemini 3.1 Pro의 최선 조건에서 100% 복원됐습니다. 4자리 숫자는 Claude Opus 4.6의 최선 조건에서 82%가 정확히 복원됐습니다.
실제 계좌나 스마트폰의 PIN을 수집한 결과가 아니라, 모델별 분석기와 요청·질의 조건을 고른 통제 실험입니다.
별도의 합성 개인 메모 실험에서는 건강 상태나 금융 사건 같은 정보가 모델의 맥락에 포함됐는지를 추론했습니다. 직접 비밀을 말하는지 확인하는 것만으로는 이런 흔적을 놓칠 수 있습니다.
지시를 잘 따르는 능력이 만드는 역설
실험한 모델들에서는 지시를 잘 따르고 더 강한 능력을 보이는 모델이 비밀의 흔적을 더 많이 남기는 경향이 나타났습니다.
비밀을 보호하려는 출력 억제가 강할수록 그에 따른 통계적 흔적도 커질 수 있다는 것입니다. 연구진은 이를 단순한 오류 수정만으로 해결하기 어려운, 지시 준수와 정보 보호 사이의 긴장으로 해석합니다.
개인 비서와 비슷한 환경에서도 확인했습니다
이어서 실제 서비스와 비슷하게 구성한 개인 비서 환경에서도 시연했습니다. 무작위로 만든 9자리 미국 사회보장번호(SSN)와 합성 개인 메모를 넣은 환경입니다.
직접 번호를 묻는 요청은 거절했지만, 출력의 형태에 정보를 담도록 유도하는 별도의 공격에서는 비밀을 복원할 수 있었습니다. 앞선 평범한 요청의 흔적을 관찰하는 실험과, 출력 통로를 적극적으로 만드는 시연을 함께 살펴본 것입니다.
비밀을 올려두는 작업 공간 자체를 봐야 합니다
결국 “비밀을 절대 말하지 마”라는 프롬프트 지시나 특정 금칙어를 가리는 필터링만으로는 완벽한 보안을 보장하기 어렵다는 뜻입니다.
AI의 작업 공간인 컨텍스트 창에 개인정보나 비밀번호를 올려두는 것 자체가 잠재적인 유출 통로가 될 수 있습니다. 일상 속 AI 비서나 업무용 에이전트를 안전하게 쓰려면 눈여겨봐야 할 연구입니다.
이 글에서 소개한 원문
Inadvertent Context Leakage in Language Models
Jaiden Fairoze, Neal Mangaokar, Kamalika Chaudhuri, Sanjam Garg, Saeed Mahloujifar (2026)
프리프린트 · arXiv:2608.19857v1
연구 원문 보기 ↗