카메라 애플리케이션(앱) ‘소다’(SODA)의 인공지능(AI) 편집 기능이 성적 불쾌감을 일으키는 사진을 생성한 사례가 발생한 것에 대해 이 앱을 만든 네이버의 자회사 스노우가 ‘인공지능 생성물을 100% 통제할 수 없다’는 입장을 내놨다.

통제할 수 없는 인공지능 서비스를 상업화한 것에 대해 무책임한 행태라는 전문가들의 지적이 나온다. 소다는 스마트폰 앱 장터인 ‘구글 플레이 스토어’에서 1000만회 이상 다운로드된 인기 카메라 앱이다.

직장인 ㄱ씨는 9일 한겨레와 온라인 메신저 대화를 통해 “앱을 사용하다 수치심을 느낄 줄 몰랐다. 너무 불쾌하고 정신적 충격이 크다”고 호소했다.

그는 지난 4일 소다 앱의 유료 서비스인 ‘인공지능 배경 확장’ 기능을 자신의 증명사진에 적용했다. 어깨 부분 중간에 잘린 증명사진을 상반신 전체가 나오는 모습으로 보정하려는 의도였는데, 실제 인공지능이 생성한 결과물에선 자신이 가슴을 양손으로 움켜쥐고 있는 듯한 모습이 나왔다.

이 이미지를 제외한 다른 나머지 결과에선 정상적인 사진이 나왔지만, ㄱ씨는 앱을 사용하다 갑자기 받은 이미지의 충격에서 벗어나기 힘들었다고 했다.

이에 대해 스노우 쪽은 “인공지능 기술이 적용된 서비스의 특성상 결과물이 예상치 못한 형태로 구현된 것”이라고 설명했다. 인공지능이 생성한 이미지를 사용자에게 최종적으로 노출하기 전 필터 기술을 통해 모욕적이거나 선정적인 이미지를 최대한 제거하고 있지만, ㄱ씨의 사례에선 이 기능이 완벽하게 작동하지 않았다고도 설명했다.

하지만 문제가 간단치 않다는 게 전문가들의 지적이다. 소다 앱에 적용된 인공지능 이미지 생성 엔진인 ‘스테이블 디퓨전’ 자체에 문제가 있다는 이유에서다.

스테이블 디퓨전은 영국 스타트업 ‘스태빌리티 에이아이(AI)’가 개발을 주도한 모델인데, 개발 단계에서 음란물을 학습 데이터에 포함시킨 것으로 알려져 있다.

김명주 서울여대 교수(정보보호학)는 “다른 인공지능 모델과 달리 스테이블 디퓨전은 그래픽 이미지를 생성하기 위한 목적으로 포르노 영상물을 학습 데이터에 포함했기 때문에 공개될 때부터 많은 우려가 제기됐다”고 말했다.

전문가들은 소다 앱의 이용자 연령을 제한하는 등의 방식으로 기업의 무책임한 상업화를 막아야 한다고 지적했다.

현재 소다 앱은 3살 이상이면 누구나 사용할 수 있다. 장여경 정보인권연구소 상임이사는 “성착취물로 연결되지 않는다고 해도 인공지능 도구로 정신적 피해를 입은 소비자들이 서비스를 출시한 기업에 대해 최소한의 주의 의무를 요구할 수 있어야 한다”며 “‘현재 기술로는 막을 수 없다’는 스노우의 태도는 무책임하다”고 꼬집었다.

스노우 관계자는 한겨레에 “인공지능을 활용하는 모든 회사가 이번과 같은 이슈를 해결하기 위해 분투하고 있다. 유사한 사례가 발생하지 않도록 필터를 더욱 강화하는 등 서비스 고도화를 노력하겠다”고 했다.

지난해 샘 알트만을 축출하려던 오픈AI 이사회의 계획에 동참한 일리야 수츠케버 전 오픈AI 공동창업자가 새롭게 차린 회사 '세이프 슈퍼인텔리전스(SSI)'를 위해 10억 달러(약 1조3천억원)를 투자 유치했다.

5일 CNBC에 따르면 수츠케버는 지난 5월 오픈AI를 떠난 후 SSI를 설립하고 최근 주요 투자자로부터 대규모 자금을 확보했다. 투자사에는 안드레센 호로위츠, 세콰이어 캐피털, DST 글로벌 등 거대 벤처캐피털(VC)이 포함된 것으로 알려졌다.

SSI는 안전한 초지능(superintelligence) 개발을 목표로 하며 단기적인 상업적 압력 없이 기술 개발에 전념할 방침이다. 회사는 미국 팔로 알토와 이스라엘 텔아비브에 사무실을 두고 있다.

수츠케버 SSI 대표는 오픈AI 시절 슈퍼얼라인먼트 팀을 이끌었으며 해당 팀은 초지능의 안전한 개발을 목표로 했다. 그가 퇴사한 후 오픈AI는 이 팀을 해체했다.

이때 함께 퇴사한 얀 라이케 오픈AI 안전 책임자는 수츠케버와 함께 오픈AI를 떠났으며 이후 경쟁사인 앤트로픽으로 이직했다. SSI 설립 이후 수츠케버는 안전한 인공지능(AI) 개발을 위해 새로운 사업을 구상한 것으로 알려졌다.

수츠케버는 지난 5월 자신의 엑스(X) 계정에 "우리는 하나의 목표와 하나의 제품에 집중한다"며 "안전한 초지능을 향해 직진할 것"이라고 강조했다.

"90%에 달하는 기업이 인공지능(AI) 도입 중 개념 증명(POC) 단계에서 멈추고 있다. 남은 10% 기업 만이 이를 넘어설 수 있었던 비결은 바로 고품질 데이터다."

IBM AI 서밋 코리아 2024 컨퍼런스를 맞아 한국을 방문한 IBM의 미드하트 샤히드 부사장은 24일 인터뷰를 진행하며 AI 도입 과정에서 데이터의 중요성을 강조했다.

미드하트 샤히드 부사장은 14년 이상 IBM에서 활동하고 있으며, 월드와이드 데이터 패브릭과 클라우드 팩 포 데이터 등 데이터 제품군을 총괄하고 있다.

폭발적인 AI기술의 성장과 비용 투자 속에서도 수많은 기업들이 AI도입에 실패하는 요인으로 데이터를 지목했다. 데이터가 불완전하거나 신뢰할 수 없으면 AI가 제출하는 결과 역시 신뢰하기 어려워지며 이는 AI 도입의 성공을 방해하는 주요 요인이 될 수 있다는 지적이다.

미드하트 샤히드 부사장은 “고품질 데이터가 없는 AI 도입은 뿌리 없는 나무와 같다”며 “많은 기업이 데이터 품질 관리와 거버넌스 체계가 부족해 지속적으로 높은 품질을 유지하지 못하며 개념 증명 단계를 넘어서지 못하는 사례를 보이고 있다”고 설명했다.

그는 성공적인 AI 도입을 위해 필요한 고품질 데이터에 대해 출처와 기원이 투명하고 신뢰할 수 있어야 하며, 이를 통해 신뢰성과 사용 적합성을 보장할 수 있어야 한다고 정의했다.

데이터의 정확성과 최신성을 유지하기 위해 정기적으로 업데이트되고 수정 및 보완 등의 관리 작업이 요구된다.

또한 고품질 데이터는 각 기업이나 특정 비즈니스 목적에 적합하게 활용될 수 있도록 적합한 내용과 형태를 갖춰야 한다. 이를 위해 기업의 업무 환경이나 목표에 맞춰 특화된 도구가 적용될 필요가 있다.

미드하트 샤히드 부사장은 “기업에 최적화된 고품질 데이터는 관리 및 사용에 있어 엄격한 데이터 거버넌스 정책이 적용되야 한다”며 “이를 통해 데이터의 품질과 사용성을 높이고, 규제 요구 사항을 준수할 수 있다”고 설명했다.

다만 IT역량이나 전문 인력이 부족한 제조, 유통 등의 기업은 이러한 전문적인 데이터 관리에 진입장벽을 느낄 수밖에 없는 실정이다.

네이버는 5일 인공지능(AI) 안부 전화 서비스 ‘클로바 케어콜’이 도입 약 3년 만에 전국 시군구 229곳 가운데 절반 이상인 128곳(55.9%)에 도입됐다고 밝혔다.

클로바 케어콜은 돌봄이 필요한 홀몸노인, 중장년 1인 가구 등에 인공지능이 전화를 걸어 안부를 확인하는 서비스로, 지난 2021년 11월 부산 해운대구에 첫 도입 됐다.

지난달 말 기준 서울, 경기, 부산, 대구, 광주, 전북, 강원, 충남 등 전국 시군구에서 한 해 전보다 두 배 증가한 3만명이 사용 중이다. 국내 인공지능 안부 전화 서비스 가운데 최대 규모라는 게 네이버 쪽 설명이다.

클로바 케어콜은 네이버의 초대규모 인공지능 기술을 적용해 사용자와 정서적 공감을 하는 ‘자연스러운 대화’와 이전 대화를 활용하는 ‘기억하기’ 기능으로 연속적인 대화가 가능한 점이 특징이다.

예를 들어, 홀몸노인이 “다리가 아파서 병원에 다녀왔다”는 말을 했다면, 인공지능은 그 대화를 기억하고 있다가 다음 통화에서 “지난주 병원에 다녀오셨는데 지금은 괜찮으세요?”라고 안부를 물을 수 있다.

네이버는 전국 평균 약 90%의 사용자 만족도가 조사됐다고 설명했다.

클로바 케어콜은 최근 취약 계층 주민을 돌보는 ‘인공지능 사회복지사’로서 존재를 증명하고 있다. 최근 전남 순천에선 복지 담당자가 클로바 케어콜 이용자의 발화에서 건강 이상 징후를 발견해 현장 방문 뒤 응급 간경화 환자를 구할 수 있었다. 네이버는 치매 예방과 만성질환자 관리 등을 위한 클로바 케어콜의 대화 시나리오를 확대할 예정이다.

가트너가 2024 생성형 인공지능(AI) 하이프 사이클 보고서를 통해 주목해야 할 최신 AI 트렌드를 발표했다.

가트너는 5년 내에 조직에 큰 영향을 미칠 잠재력이 있는 기술로 '멀티모달 생성형 AI'와 '오픈소스 거대언어모델(LLM)'을 꼽았으며, 10년 내에 주류가 될 것으로 예상되는 가장 잠재력이 높은 기술로 '도메인 특화 생성형 AI 모델'과 '자율 에이전트'를 꼽았다.

에릭 브레테누 가트너 수석 VP 애널리스트는 “생성형 AI가 텍스트, 이미지, 오디오, 비디오 등 다양한 유형의 데이터를 뜻하는 모달리티를 학습하도록 진화함에 따라 다양한 데이터 스트림 간의 관계를 포착하는 데 도움을 주고, 모든 데이터 유형과 애플리케이션에서 생성형 AI의 이점을 확대할 잠재력을 갖게 됐다”며 “이러한 생성형 AI 모델은 환경에 구애받지 않고 더 많은 작업을 수행할 수 있도록 사용자를 지원한다”고 말했다.

아룬 찬드라세카란 가트너 수석 VP 애널리스트는 “생성형 AI는 현재 부풀려진 기대의 정점을 지나 기대감과 관심이 급격히 줄어드는 환멸의 골짜기 단계에 있다”며 “과대광고가 가라앉으면 실질적 이점이 나타날 것이며, 향후 몇 년 동안 기능이 빠르게 발전해 나갈 것”이라고 전망했다.

특히 가트너 보고서에 따르면, 2023년에는 생성형 AI 솔루션의 1%만이 멀티모달 방식이었으나, 2027년까지는 40%로 증가할 것으로 전망된다. 개별 모델에서 멀티모달 모델로 점차 전환되면서 인간과 AI 간의 상호 작용은 강화되고 생성형 AI 활용 제품·서비스에 차별화를 부여할 것으로 나타났다.