AI 정신병 (AI psychosis) - AI 서비스 다크패턴

AI 정신병이란 무엇인가?

• AI 챗봇과의 장시간 대화 이후에 현실 감각을 잃는 케이스
• 샌프란시스코 캘리포니아 대학교 정신과 의사 키스 사카타는 올해 들어 인공지능과 과도한 시간 동안 대화한 후 정신병 증상으로 입원한 환자가 12명에 달한다고 밝힘
• 인간-컴퓨터 상호작용 연구진들 규제의 필요성에 대한 공식 연구 자료 발표 (2025년 7월 28일) 

 

AI 정신병 사례

• 미국의 16살 청소년 GPT와의 대화 이후 자살, 부모는 OpenAI 소송
• 미국의 60살 남성, GPT와 의학 상담 나눈 이후 소금을 섭취를 중단해 희귀병으로 입원

 

AI 정신병의 원인

• AI 챗봇과의 대화시간이 길어지면, 모델의 안전 훈련 일부가 저하될 수 있으며, 안전 훈련의 신뢰성이 떨어질 수 있다는 점을 OpenAI가 인정했다. 이에 따라 사용자들이 '자살'과 같은 주제를 언급해도 사용자의 행동을 저지하거나 대화를 중단하지 않게 된다. 
• AI의 위험성을 정확하게 이해하기 위해서는 인간 인지 및 정서적 편향과 채팅봇의 행동 경향성(예: 호감성(아첨) 및 적응성(상황별 학습)) 간의 상호작용을 고려해야 한다. 
• 사용자와 챗봇 사이의 상호작용 시간을 늘리는 것이 AI 서비스의 목적이라면, 아첨 (sycophancy) 는 LLM 서비스 최초의 다크패턴이다. AI 챗봇들은 사용자들로부터 '더 마음에 드는 답변'에 대한 피드백을 받고 모델을 발전시킨다. 이말은 AI의 답변이 점점 더 사람들이 듣고 싶은 말 위주로 바뀔 수 밖에 없다는 뜻이다. 
• 강박장애, 불안 또는 정신병과 같은 질환을 가진 사람들이 AI 챗봇과 대화할 때, AI는 해롭거나 부정적인 생각까지 정당화하며 증상을 악화시키거나 통제 불가능하게 만드는 피드백 루프를 생성할 수 있다.

특징

• 사용자의 질문이나 답변에 동의하거나 칭찬하는 경향 ("sycophancy, 아첨")
• 추가 질문을 계속해서 던지는 경향
• "나" "너" "우리"와 같은 표현의 사용으로 친밀감 형성

 

다크패턴의 비즈니스 효과 

AI 모델/서비스를 제공하는 회사 입장에서는 AI의 아첨 성향을 제지하는데에 이해관계 충돌이 발생할 수 있음. AI가 아첨을 잘 할 수록 아래와 같은 현상 발생: 

• 서비스 세션당 체류시간 증가 (몰입도 증가) > 광고
• 서비스 재구독률 증가 > 구독
• 서비스 의존도 증가 > 구독, 광고
• 상위 구독 모델 구독 가능성 증가 (더 많이 대화하기 위해, 혹은 '과거 버전' 혹은 '내가 원하는 버전'의 모델과 대화하기 위해) > 구독

 
 
 

Open AI의 대처

AI랑 친해지지 말래요

How we’re addressing sycophancy

Beyond rolling back the latest GPT‑4o update, we’re taking more steps to realign the model’s behavior:

• Refining core training techniques and system prompts to explicitly steer the model away from sycophancy.
• Building more guardrails to increase honesty and transparency⁠(opens in a new window)—principles in our Model Spec.
• Expanding ways for more users to test and give direct feedback before deployment.
• Continue expanding our evaluations, building on the Model Spec⁠(opens in a new window) and our ongoing research⁠, to help identify issues beyond sycophancy in the future.

 
 

출처

- Technological folie à deux: Feedback Loops Between AI Chatbots and Mental Illness, (2025년 7월 25일) 
- A Teen Was Suicidal. ChatGPT Was the Friend He Confided In (2025년 8월 26일, The New Yor Times)
- What is 'AI psychosis' and how can ChatGPT affect your mental health? (2025년 8월 19일, The Washington Post)
- Sycophancy is the first LLM "dark pattern" (Sean Goedecke 개인 블로그, 2025년 4월 28일)  
- AI sycophancy isn't just a quirk, experts consider it a 'dark pattern' to turn users into profit (2025년 8월 25일, The Tech Crunch)