← 라이브러리로 돌아가기

Threads digest · @edutrend_

AI 행동·신뢰

누가 AI의 행동에 책임질 것인가?

AI의 행동에 도덕적 책임을 묻기 위해서는 통제와 이해가 함께 필요합니다. 설명 가능 AI는 인간이 책임을 질 수 있도록 돕지만, 자율성이 높거나 상황을 예측하기 어려울 때는 책임 공백이 남을 수 있습니다.

불투명한 자동화 장치의 덮개를 열어 경로를 확인하고 제어 손잡이에 손을 뻗는 장면 · AI 생성 주제 이미지
글의 주제를 표현한 AI 생성 이미지 · 실제 연구 장면이 아닙니다.

도덕적 책임을 묻기 위한 두 가지 조건

도덕적 책임을 묻기 위해서는 두 가지 조건을 충족해야 합니다. 행위자가 자신의 행동에 통제력을 가지고 있어야 한다는 통제 조건, 그리고 자신의 행동과 그 결과, 더 나아가 그것의 도덕적 중요성을 알고 있어야 한다는 인식적 조건입니다(Fischer와 Ravizza, 1998, pp. 12–14; Rudy-Hiller, 2018).

AI와 인간 사이에 생기는 책임 공백

AI는 데이터의 패턴을 학습해 결과를 도출하지만, 자신의 행동이 지니는 도덕적 중요성을 이해하지 못합니다. 이러한 관점에서는 AI가 인식적 조건을 충족하지 못하므로 도덕적 책임의 주체가 될 수 없습니다.

문제는 인간에게 책임을 묻는 일도 쉽지 않다는 데 있습니다. 내부 작동 방식이 불투명한 AI 시스템은 개발자나 사용자조차 새로운 상황에서 어떻게 행동할지 합리적으로 예측하기 어렵습니다. 이처럼 인간도 인식적 조건을 충족하지 못하면, AI가 불러온 부정적 결과에 AI와 인간 어느 쪽에도 도덕적 책임을 묻기 어려운 책임 공백(responsibility gap)이 생깁니다.

설명 가능 AI로 인간의 책임을 연결하기

이 문제를 해결하기 위한 방법으로 XAI, 즉 설명 가능 AI를 생각할 수 있습니다. XAI는 불투명한 AI 시스템의 작동 방식을 인간이 이해할 수 있는 형태로 제공하여, 인간이 AI의 행동을 예측하고 통제하는 데 필요한 지식을 갖추도록 돕습니다. 책임 공백의 관점에서 보면, 인간이 인식적 조건을 충족하고 도덕적 책임의 주체가 되도록 하려는 노력입니다.

인간은 XAI가 제공하는 이해를 바탕으로 실시간 결정에 직접 개입하거나(human-in-the-loop), 시스템을 배포하고 사용할지 사전에 결정하는 방식(human-out-of-the-loop)으로 책임 공백을 메울 수 있습니다.

하지만 자율살상무기나 자율주행 자동차처럼 AI 시스템의 자율성이 너무 높거나, 전쟁처럼 마주하는 상황을 예측하기 어려운 경우에는 다시 책임 공백이 발생할 수 있습니다.

이 글에서 소개한 원문

Is explainable AI responsible AI?

Isaac Taylor (2025)

학술지 논문 · Open Forum · 철학적 분석 (2025년 권호; 온라인 공개 2024-04-20) · DOI: 10.1007/s00146-024-01939-7 · AI & SOCIETY 40, 1695–1704

연구 원문 보기 ↗
원문 타래 이어 읽기Edutrend의 Threads에서

이 글 공유하기