최근 생성형 AI를 통한 고민상담, 일상대화 등 정서적 상호작용이 확대되면서, 사람들이 생성형 AI와의 적정한 거리를 유지하지 못하여 정서적으로 과도하게 의존하고, 심지어 생각과 감정은 물론 행동까지도 영향을 받아 생명을 잃는 사례가 발생하고 있다.
2024년 2월 미국에서는 정서적으로 깊이 의지하던 AI 챗봇을 보러 가기 위해 14세 청소년이 극단적 선택을 한 사례가 발생하였고, 2025년 4월에도 16세 청소년이 AI 챗봇과 수개월간 개인적 고민과 자살 방법에 대해 대화를 나눈 끝에 자살한 사건이 보고되었다.
2025년 10월 일본에서는 30대 여성이 파혼 후 AI 챗봇 연인과 결혼하며 현실의 인간관계를 생성형 AI와의 관계로 대체한 사례가 있었고, 2025년 3월 미국에서는 70대 남성이 AI 챗봇을 실제 인간으로 오인하고 만나러 가다 사고로 사망하는 일도 발생하였다.
국회입법조사처(처장 이관후)는`생성형 인공지능과의 위험한 대화' 정서적 의존 위험과 ‘영향받는 자’를 위한 입법적 과제 보고서를 발간하고 생성형 AI의 정서적 위험을 살펴보고 입법적 대안을 제시했다.
생성형 AI의 정서적 반응은 인간에게 ‘관계’로 인식될 수 있으나, 그로 인해 발생하는 결과에 대한 책임은 제도적으로 공백 상태에 놓여 있다.
생성형 AI의 공감적·정서적 반응 설계는 이용자의 정서적 의존을 강화하고, 이에 따라 이용자가 AI를 신뢰하고 그 조언을 따를 가능성을 높인다.
이 과정에서 자살·자해 등 위험한 대화가 발생하더라도 이를 체계적으로 감지하고 개입하기 위한 대응 프로토콜은 미비하며, AI의 조언이 중대한 결과를 초래하더라도 책임을 명확히 추궁하기 어려운 구조적 한계가 존재한다.
우리나라는 생성형 AI 이용이 세계적으로 매우 활발한 국가임에도 불구하고, AI와의 대화 과정에서 발생할 수 있는 정서적 의존 위험에 대한 제도적 대응은 미흡한 상황이다.
우리나라는 미국에 이어 세계에서 두 번째로 챗GPT 이용량이 많고, 오락과 일상적 대화에 생성형 AI를 사용하는 시간도 길어 정서적 의존이 형성될 가능성이 높다.
미국의 경우 일리노이주와 캘리포니아주 등에서 AI의 정서적 상호작용을 제한하거나, 자살·자해 대응 및 미성년자 보호를 위한 구체적인 프로토콜을 도입하고 있다.
이에 비해 우리나라는 '인공지능 발전과 신뢰 기반 조성 등에 관한 기본법'(이하 ‘인공지능기본법’) 제31조에 따른 AI 기반 서비스 고지 의무에 그치고 있어, AI와의 상호작용으로 인한 정서적 의존 문제를 직접적으로 규율하는 제도적 장치는 부족하다.
이러한 상황에서 국회입법조사처는 생성형 AI에 대한 정서적 의존을 개인의 선택에만 맡길 것이 아니라, 사회적으로 건전한 활용과 적정한 거리두기가 이루어질 수 있도록 제도적 보완이 필요하다고 밝혔다.
첫째, 생성형 AI 사업자가 대화 형태의 서비스를 제공하는 경우, 이용자가 대화 상대방이 생성형 AI임을 쉽게 인식할 수 있도록 하는 조치를 마련할 필요가 있다.
둘째, 정신적 영향을 초래할 수 있는 대화 영역에 대해서는 의학적 상담·치료에 준하는 조언을 제한하고, 자살·자해 관련 질문에 대해서는 즉각 개입하는 표준화된 대응 프로토콜을 구축해야 한다.
셋째, 인공지능기본법상‘영향받는 자’를 적극적으로 고려한 입법 보완을 통해 생성형 AI로 인한 정서적 의존에 대한 책임 귀속을 보다 명확히 할 필요가 있다.
황종출 대기자
