Threads digest · @edutrend_
AI 행동·신뢰AI가 내 사고의 일부가 된다면, 무엇을 통제해야 할까?
AI가 우리의 주의와 판단을 구성하는 데 깊이 관여한다면, 정렬의 대상도 인간과 AI의 관계 전체로 넓혀야 하지 않을까요? 인지적 상호 조절이라는 이론적 관점에서 인간의 사고 역량을 지키는 네 가지 설계 방향을 살펴봅니다.

AI를 외부에서 통제하는 것만으로 충분할까
Gutoreva 등(2026)은 인간과 AI를 결합된 인지 시스템으로 보아야 한다는 이론적 입장을 제시합니다. ‘스케일 프리 인지(Scale-Free Cognition)’처럼 인지의 경계가 고정되지 않는다는 관점에서 보면, AI와 인간 인지의 경계가 허물어져 하나로 연결될수록 외부 시스템을 일방적으로 통제하려는 기존의 정렬 방식은 한계를 드러냅니다.
이 관점에서 AI는 이미 인간 인지의 System 0로 작동하며 주의와 맥락을 구성합니다. 이를 외부 통제 대상으로만 취급하는 것은 내 뇌의 일부를 외부에서 통제하려는 시도와 같다는 것입니다.
따라서 통제의 대상을 개별 AI에서 ‘인간-AI 결합 인지 시스템 전체’로 전환하고, 둘 사이의 ‘인지적 상호 조절(Cognitive Co-Regulation)’을 이뤄내야 한다는 제안입니다.
이 논의를 상호작용 설계에 적용해, 제가 정리한 네 가지 핵심 축은 다음과 같습니다.
1. System 0 수준의 주의 개방과 투명화
AI가 내가 의식하기도 전에 정보를 걸러내고 판을 짜는 과정을 개방해야 합니다. AI가 어떤 시각과 근거로 선택지를 만들었는지 사용자가 실시간으로 들여다볼 수 있어야 합니다.
인간과 AI가 무엇에 주목하는지 함께 확인하는 ‘공동 주의(Co-attention)’ 환경을 조성하자는 것입니다.
2. 출처 모니터링과 불확실성 신호 강화
모든 답을 알아서 내주는 오라클에 의존하지 않도록, 정보의 출처와 여러 관점을 그대로 제시해야 합니다.
AI가 스스로 완벽하지 않다는 불확실성 신호를 시각적으로 전달하여, 인간이 안주하지 않고 비판적으로 생각하도록 자극을 제공해야 합니다.
3. 역량 보완을 위한 의도적 인지 마찰
편리함에 빠져 스스로 생각하는 능력을 잃어버리는 ‘편안함-성장 역설’을 막기 위해서는 의도적인 인지 마찰이 필요합니다.
중요한 순간에는 AI의 추천을 그냥 받아들이지 못하게 그 이유를 답하도록 해야 합니다. 생각을 자극하고 능력의 퇴화를 방지하도록 상호작용을 설계하자는 것입니다.
4. 쌍방향 실시간 적응과 인지 부하 조절
인간의 피로와 인지적 부하 상태를 AI가 알아채는 적응형 개입 고리를 형성해야 합니다.
사람이 지쳤을 때는 AI가 돕고, 여유가 있을 때는 스스로 판단하도록 상호작용의 깊이를 유연하게 조절해야 합니다. 이것이 쌍방향 실시간 적응과 인지 부하 조절이라는 설계 방향입니다.
나의 생각: 인간의 사고 역량을 지키는 정렬
AI 개발의 이정표는 더 이상 외부적인 통제를 강화하는 데 있지 않습니다. 인간의 인식론적 역량을 손상시키지 않도록 상호 역학 관계를 잘 디자인하는 것이 진정한 AI 정렬이 아닐까 싶습니다.
이 글에서 소개한 원문
Position: AI as Part of Self — Extending the Mind Requires Cognitive Co-Regulation
Alina Gutoreva, Fendi Tsim, Trisevgeni Papakonstantinou (2026)
arXiv 사전공개 논문 · 이론적 입장 논문 · v1 · arXiv:2605.16197v1
연구 원문 보기 ↗