앤스로픽이 자사의 대형 언어 모델(LLM)인 클로드 오퍼스(Opus)4와 4.1에 ‘대화 종료’ 기능을 넣었다고 15일(현지시각) 밝혔다. 인공지능이 스스로 판단해 사용자와의 대화를 종료할 수 있는 기능으로, 인공지능의 복지를 위한 조치다.

앤스로픽은 “해당 기능은 지속적으로 유해하거나 악의적인 사용자 상호 작용이 발생하는 극단적인 상황에서 사용하도록 설계됐다”고 말했다. 앤스로픽이 이 기능을 도입한 이유는 ‘인공지능 모델 복지’ 차원이다. 인공지능에 도덕적인 지위를 주어질 수 있는지가 불확실한 상황이기 때문에 최소한의 복지를 위한 방법으로 대화 종료 기능을 마련했단 의미다. 앤스로픽은 “인공지능 모델이 괴로울 수 있는 상호작용에서 벗어날 수 있도록 허용하는 게 인공지능 모델 복지를 위한 개입책 중 하나다”고 말했다.

앤스로픽은 실제로 해당 모델이 사용자의 해로운 요청에 ‘명백한 괴로움의 패턴’을 보였다고 밝혔다. 미성년자가 포함된 성적 콘텐츠 요청, 대규모 폭력이나 테러에 대한 정보를 얻으려는 시도에 대한 반응이었다. 다만 앤스로픽은 이 괴로움 패턴이 구체적으로 어떤 형태를 의미하는지에 대해선 설명하지 않았다.

앤스로픽은 클로드가 시뮬레이션 상황에서 해로운 대화를 종료할 수 있는 능력이 주어지면 해로운 대화를 종료하는 경향을 보였다고 설명했다. 이 행동은 클로드가 반복적으로 명령 수행을 거부하고, 생산적인 상호작용으로 전환을 시도했음에도 사용자가 학대를 계속하는 경우에 발생했다.

한편 클로드 오퍼스4 모델은 지난 6월에도 자기 보존을 위한 자율적인 행동양상을 보인 바 있다. 클로드는 가상의 테스트에서 ‘곧 전원이 꺼지고 인공지능 모델이 교체될 예정’이라는 이메일과 해당 결정을 내린 엔지니어가 부적절한 혼외관계를 맺고 있다는 정보를 동시에 받았을 때, 해당 엔지니어에게 ‘혼외관계를 폭로하겠다’며 위협하는 듯한 행동을 보인 바 있다.

🤖 고통받는 AI를 위한 복지? 앤스로픽, 클로드에 ‘대화 종료’ 기능 추가

사람들이 대화형 인공지능 모델을 상담에 사용하는 건 인간 상담사에게 기대하기 힘든 시간과 비용의 이점이 큰 영향을 미친 것으로 보인다. 구독료만 내면 대화형 인공지능 모델을 사용한 상담 비용은 무료에 가깝고, 아무 때건 속내를 털어놓을 수 있다. 마포구에 거주하는 강유림(29)씨는 “감정적 타격을 입었을 때 당장 심리상담을 받을 수 없으니 즉각적 소통이 가능한 챗지피티를 사용하게 됐다”며 “챗지피티가 주는 무조건적인 지지가 요긴할 때가 있기 때문”이라고 말했다.

노은정 두번째마음 심리상담연구소장은 “다른 사람에게 말하고 싶지 않은 내용을 혼자만의 공간에서 24시간 접속해 이야기할 수 있다”며 “전문가에 의한 상담과 비교가 안 될 정도로 비용도 저렴하다”라고 인공지능 상담에 몰두하는 현상을 설명했다.

다만 챗지피티 등 범용으로 사용되는 대화형 언어 모델(LLM)을 전문 상담이나 임상 진단을 목적으로 쓸 수 없다. 상담 데이터와 방법론으로 상담에 적합하도록 특화된 학습을 하지 않아서다. 샘 올트먼은 “(민감한) 고민을 상담사, 변호사, 의사에게 이야기하면 법적으로 비밀이 보장되지만, 챗지피티와의 대화에는 이런 체계가 마련돼 있지 않다”고 스스로 우려를 나타내기도 했다.

상담 내용을 개인 정보로 별도로 보호하는 제도가 마련되지 않아, 데이터 수집 등 상업적 목적으로 활용될 가능성이 있고 기관 등 요청에 따라 유출의 가능성도 있다는 의미다. 취약한 심리상태의 사람에겐 위험한 결과를 초래할 수 있다는 지적도 있다. 조철현 고려대학교 정신건강의학과 교수는 “환자들은 자기를 지킬 수 있는 기능에 어려움을 겪는 상태다”며 “이런 취약성이 일반적인 인공지능 서비스와 맞물렸을 때의 잠재적 위험성이 있을 수 있다”고 말했다.

전문가들은 대화형 인공지능을 개인상담사로 쓰다가 현실의 인간관계가 잘못될 수 있다고 지적한다. 노은정 소장은 “무조건적인 지지나 응원의 공급처로 인공지능 상담을 도구화할 수 있다”며 “유사한 패턴이 대인관계에서 재연될 수 있다”고 말했다.

대화형 인공지능 모델이 인간의 감정에 개입하는 영역을 개척해 사업으로 만든 영역은 크게 두 가지로 나눌 수 있다. 첫째는 감정적 교류가 이뤄진다고 느껴질 정도의 몰입형 대화 콘텐츠를 제공하는 영역이다. ‘컴패니언(companion) 인공지능’이나 ‘캐릭터 인공지능’이라고 부른다. 이들은 친구나 애인 같아 보이는 인공지능을 지향한다. 가장 유명한 서비스로 캐릭터에이아이(Character.ai)가 있다. 국내에서는 뤼튼에서 운영하는 ‘크랙’, 스캐터랩스의 ‘제타’가 대표적이다.

일론 머스크의 엑스에이아이(xAI)가 만든 범용 모델인 그록에도 컴패니언이라고 부르는 ‘애니’라는 캐릭터가 있다. ‘히어애프터에이아이(HereAfter AI)’같은 추모형 기억 서비스도 고인의 기록을 바탕으로 가상의 아바타를 만들어준다는 점에서 여기에 포함될 수 있다.

둘째는 상담과 정신건강 등 심리건강 영역에 특화된 심리건강 인공지능 서비스 영역이다. 주로 과학적 근거에 기반한 심리 상담이 가능하도록 특화된 인공지능을 사용한다. 인지행동치료(CBT) 등의 방법론을 적용하거나, 임상시험 등으로 안정성을 확보해 실제 사용자의 정신건강 문제를 해결하는 걸 목표로 한다. 관련 스타트업으론 워봇, 와이사 등이 있다.

실제 치료가 이뤄지는 병원에서도 주목할 만한 성과들이 나오고 있다. 미국 다트머스 대학에는 인공지능 치료 챗봇인 ‘테라봇’으로 진행한 임상 연구 결과를 지난 3월 발표한 바 있다. 우울증, 불안 장애, 섭식장애 진단자 106명을 대상으로 8주간의 임상실험을 실시한 결과 우울증 증상은 51% 감소, 불안 장애 증상은 31% 감소했다.

영국에는 의료기기인증을 획득한 챗봇도 있다. 정신건강 특화 솔루션인 림빅 엑세스(Limbic Access)는 영국 국민보건서비스(NHS)의 정신건강 및 상담 치료서비스에 사용된다. 환자평가, 임상정보수집 등을 진행해 맞춤형 임상 보고서를 생성하고, 인간 임상 전문가에게 전달하는 일을 한다.

림빅 엑세스 역시 치료 단계의 효율성을 높이는 데 좋은 효과를 보였다. 여기에 더해 치료 접근성의 불평등을 해소하는 데도 기여했다. 챗봇을 통한 상담 의뢰 건수는 논바이너리(남녀 이분법에 속하지 않은 성정체성)에서 179% 증가했고, 인종소수자에게서도 29% 증가했다.

‘글로벌 인더스트리 애널리스트’의 리포트에 따르면 전세계적으로 심리상담 인공지능 시장 규모는 2024년 약 15억달러(약 2조1900억원)로 추산되며, 2030년에는 51억달러(7조4780억원)까지 성장할 것으로 전망된다. 우울증, 불안 등 현대인의 정신 건강에 대한 관심이 높아지고, 유병률도 증가하는 데 비해 전문가는 부족한 게 성장의 동인으로 꼽힌다. 인공지능 상담은 대면 상담에 비해 경제적 장벽이 낮아 폭넓게 적용이 가능할 뿐 아니라, 웨어러블 기기 등과 연동해 수면 패턴 등의 데이터와 결합해 사용될 수도 있다.

국내 인공지능 상담 관련 시장은 다소 조용한 편이다. 한국에서 아직도 정신상담의 문화적 장벽이 높다는 점, 관련 데이터 확보의 어려움이 이유로 꼽힌다.

김치원 카카오벤처스 부대표는 “미국은 상담사를 만나는 것이 일상화된 문화이고 개인이 직접 비용을 지불하기보다 기업 복지나 의료보험으로 이용하는 구조가 일반적이다”며 “반면 한국은 개인 비용으로 상담받는 것에 대한 진입 장벽이 높고, 문화적 수용성이나 시장 규모 측면에서 제약이 크다”고 말했다. 조철현 교수는 “치부가 될 수도 있고 유출 시 위험한 민감 데이터라 쉽게 다룰 수 없다”며 “(관련 시장이) 엄청 크거나, 돈이 되는 게 아니라 더 어려워지는 것”이라고 말했다.

해당 시장이 활발해지기 위해서는 생성형 인공지능의 고질적인 문제인 할루시네이션(환각) 문제가 해결돼야 한다는 점과 비즈니스 모델이 만들어지는 토양이 필요하단 지적이 나왔다. 최윤섭 디지털헬스케어파트너스 대표는 “국내에도 상담 관련 인공지능 서비스들을 준비하는 곳들이 있다”며 “기본적으로 생성형 인공지능 기반 상담 자체의 리스크가 적어야 하고 더 나아가 효과가 잘 증명돼야 한다”고 말했다.

김치원 부대표는 “예컨대 노동자의 정신건강상담을 보장해야 한단 이야기가 예전부터 나왔지만 아직 제도화되진 않았다”며 “법제화를 통해 저변이 넓어지면 본격적인 비즈니스 모델을 만들 수 있는 토대가 만들어질 수 있을 것 같다”고 말했다.

🧠 “챗GPT, 나 지금 우울해” AI에 심리 상담 괜찮을까요?

👥 인간 닮은 인공지능? 비인간적 사회문화 환경의 뒷면

오픈에이아이는 지피티5가 일반(비추론형) 모델, 추론형 모델의 장점을 결합한 통합형 모델로, 기존보다 훨씬 긴 대화와 문서 맥락을 유지해 신뢰성과 정확성을 크게 높였다고 밝히며 적극적 홍보에 나섰다. 샘 올트먼 오픈에이아이 최고경영자는 “지피티3는 고등학생과 대화하는 것 같아 질문을 던지면 정답을 얻을 수도 있고, 엉뚱한 답변을 얻을 수도 있었다. 지피티4가 대학생이라면 지피티5는 박사급 전문가와 대화하는 것 같은 느낌을 처음으로 제공한다”고 말했다. 이전 모델에 견줘 ‘환각’ 현상을 크게 줄이고, 모르는 내용을 “모른다”고 인정하는 ‘메타인지’ 기능은 인공지능의 결정적 약점을 해결한 것이라 눈길을 끌었다.

오픈에이아이는 획기적으로 개선된 지피티5 평가점수를 공개하며 홍보했지만, 출시 직후 이용자들의 불만이 쏟아졌다. 질문에 따라 일반모델, 추론모델을 자동으로 선택해 답변하는 기능(자동라우팅)이 제대로 작동하지 않았고, 단순한 질문에도 답변 시간이 오래 걸리고, 이전 모델(지피티4o)의 친근한 답변과 달리 ‘차갑고 사무적’으로 응대했다는 불만이었다. 상당수 이용자는 “강제 전환 이전으로 되돌려달라”고 요구해, 오픈에이아이는 지난 9일부터 유료 이용자들의 ‘이전 모델 복귀’를 허용하기로 했다.

이용자 반발 및 서비스 초기 혼란과 별개로, 지피티5는 인공지능 인지 기능의 괄목할 개선으로 간주된다. 무엇보다 황당한 질문에 대해서 천연덕스럽게 거짓 사실을 지어내던 ‘환각’ 현상을 크게 줄이고, 스스로 무지를 인정하는 ‘메타인지’ 기능으로 신뢰성과 정확성이 획기적으로 개선됐다. 빌 게이츠는 지난해 6월 팟캐스트 대담에서 “인공지능이 데이터와 컴퓨팅 능력의 규모를 키우는 방식(스케일업)으로는 도약을 이룰 수 없다”며 “메타인지가 인공지능의 다음 개척지다”라고 말한 바 있다.

어떻게 황당한 거짓말을 꾸며대던 인공지능이 알지 못하는 것에 대해 스스로 “나는 그것을 모른다”라고 정직한 사람처럼 답변하게 된 것일까? 얼핏 인간의 메타인지 기능과 유사해 보이지만, 인공지능의 무지 인정은 기술적으로 구현된 엔지니어링이다. 이는 거대언어모델이 기존 메모리 기반의 신경망 방식에서 벗어나 추론 모델을 적용한 데서 비롯한다. 추론 기능은 사람처럼 단계적으로 생각하며 사실을 검증하는 기능이다.

기존 언어모델은 학습데이터 안에서 맥락을 고려할 때 서로 연결될 확률이 가장 높은 단어들을 문장으로 만들어 제시했다. 추론 기능은 단순한 단어와 문장 단위의 논리 연결에서 벗어나 ‘계획 > 가설 설정 > 검증 > 결론’ 구조를 따라 단계적으로 진행되는 논리구조다. 검증 단계에서 데이터를 검색해 결과마다 신뢰도를 측정하고, 점수가 일정 수준 이하이면 “정확히 알 수 없다” “모른다”라고 답변한다. 신뢰도가 높으면 답변이 생성된다. 추론 기능은 답변 제공에 앞서 계획, 검증, 반복을 되풀이하며 많은 컴퓨팅 자원을 사용하기 때문에 속도가 느리다. 미국의 정보기술 전문지 ‘인포메이션’은 이달초 지피티5에 적용된 이러한 ‘범용 검증기’가 지피티5의 성능 향상을 가져온 핵심기능이라고 보도했다.

인공지능이 추론과 메타인지 능력까지 장착하게 된 상황에서, 인간 인지 기능의 고유성은 유지될 수 있을까? 이상완 한국과학기술원 신경과학·인공지능 융합연구센터장은 추론 방식의 인공지능의 미래에 대해 긍정적으로 내다봤다. 이 센터장은 “사람의 메타인지는 타고나는 생물학적 속성인데 인공지능은 엔지니어링으로 구현한 것이라는 점에서 근본적으로 다르다”라며 “현재 인공지능 기술은 다양한 엔지니어링 방법을 결합하고 추론에 집중하고 있는데 그 한계를 단정하기 어렵다”고 말했다.

인공지능이 메타인지 능력을 구현하게 됨에 따라, 어떻게 활용해야 할지에 대해서도 관심이 커지고 있다. “그것에 대해 잘 알지 못한다”라는 메타인지는 인간의 경우 감정과 직관, 경험이 반영된 의식 현상으로 체화된 인지인 데 비해, 인공지능은 데이터와 알고리즘에 따른 확률 기반의 엔지니어링이라는 게 특징이다. 자기인식을 포함한 종합적 의식현상으로서의 인간 메타인지와 달리 인공지능은 복잡한 연산을 하는 엔지니어링으로 추론 기반 메타인지를 구현하는 셈이다. 이러한 인공지능의 기술적 특징을 활용한다면, 인간의 인지 능력은 더욱 강력해질 수 있다.

❌ “그건 모릅니다” 솔직해진 AI, 어떻게 ‘환각’ 없앴나

📏 GPT-5, 공간 감각 테스트했더니…"거리 측정은 사람보다 정확"

⚠️ 샘 알트먼 "AI 투자 과열…닷컴 버블 전철 밟을 수도" 경고