딥페이크 음란물 범죄에 대한 사회적 공분에도 불구하고 딥페이크 음란물을 제작·유통하는 텔레그램 채널이 지속 생성되고 있다. 사이버보안 전문가들은 기술로 딥페이크 범죄를 원천 차단할 수 없어 처벌 강화 등 조치가 필요하다고 입을 모은다.

3일 국내 한 사이버위협인텔리전스(CTI) 기업이 텔레그램을 모니터링한 결과, 최근에도 딥페이크 음란물을 유통하는 텔레그램 채널이 개설됐다.

그 가운데 하나가 지난 1일 생긴 '지인/연예인 딥페이크 공유방'이다. 이 채널은 미성년자 음란물을 공유하는 '야동', 중복되는 지인의 사진을 합성해 제작한 음란물을 업로드하는 '겹지인방', 유명 연예인의 딥페이크 음란물을 올리는 '딥페이크' 등 폴더(주제)별로 운영했다.

딥페이크방엔 이미 걸그룹 '아이브' 멤버인 장원영, '뉴진스' 멤버 민지를 대상으로 한 딥페이크 영상을 유포하고 있었다. 더욱이 '건의' 폴더를 따로 둬 방의 문제점이나 기타 개선하고 싶은 의견을 수렴했으며, 함께 채널을 운영할 관리자를 모집하는 등 채널을 계속해서 운영하려는 의지도 보였다. 또 자료를 500개 이상 공유하면 선물을 보내겠다고 독려하거나 회원이 100명 이상이 되면 희귀자료를 올리겠다며 채널 홍보를 유도하기도 했다.

지난달 29일엔 '딥페봇 공유방'이라는 채널이 생성됐다. 이 채널에선 걸그룹 '에스파' 멤버 카리나 딥페이크 이미지와 딥페이크 음란물이 공유됐다.

지난달 중순 이후 딥페이크 음란물 관련 보도가 쏟아지며 딥페이크 성범죄에 대한 분노가 커지고 수사도 강화되고 있지만 여전히 기승을 부리고 있는 것이다.

CTI 기업 대표는 “딥페이크 성범죄가 사회적 이슈로 떠오르면서 채널을 탈퇴하고 폐쇄하는 추세이지만, 여전히 신규 채널이 생성되고 있다”고 말했다.

전문가들은 개인이 만드는 딥페이크 음란물은 기술적으로 막기가 어렵다고 말한다. 딥페이크 탐지 기술은 시장성이 없어 관련 기술 개발이 뒷전에 밀린 지 오래로, 처벌 강화 등을 법제도 개선이 필수적이라고 강조한다.

또 다른 CTI 기업 대표는 “경찰청·검찰 등 수사기관을 제외하곤 판매처가 없어 딥페이크 탐지 관련 기술을 적극적으로 개발하지 않는다”면서 “해외에서도 마이크로소프트(MS)·인텔 등이 사회공헌 차원에서 개발하는 수준”이라고 말했다.

익명을 요구한 사이버보안 전문가는 “기술로는 딥페이크 범죄를 절대 못 막는다”면서 “딥페이크 음란물 제작을 막을 방법은 강력한 법제도밖엔 없다”고 말했다.

그러면서 그는 “우선 처벌 등 법제도를 강화하고, 기술은 딥페이크 범죄를 추적하고 잡는 데 활용하는 것이 최선”이라고 덧붙였다.

모든 기술의 중심에는 사람이 있다. 기술을 개발하는 사람, 이용하는 사람, 그 혜택을 받는 사람, 피해를 받는 사람 모두가 사람이다. 인공지능시대 사람에 대한 이해가 필요한 것은 기계가 말썽장이가 아니라, 사람이 말썽장이이기 때문이다.

딥페이크를 긍정적 의미로 바라보면, 데이터를 생성하는 알고리즘으로 누구나 창작에 인공지능 기술을 이용할 수 있게 해준다.

예술에 재능이 없는 사람들도 인공지능 기술을 도구적으로 활용해 자신의 생각과 감정을 표현할 수 있다는 점에서 문화산업 발전에 긍정적으로 작용할 수 있다.

역사 이래로 예술가 또는 예술인에게 집중된 창작의 역할이 일반인에게로 확장된 덕분에, 일반인들도 예술의 향유에 머무르지 않고 창작의 영역으로 띄어들어 적극적인 문화예술 활동의 주체로서의 역할이 커지고 있다. 인공지능 기술은 인간에게 좀더 인간적인 역할을 가져다준다는 점에서 긍정적이다.

하지만 기술은 개발자의 의도와는 다르게 이용될 수도 있다. 딥페이크는 성인물이나 타인의 명예를 훼손하는 형태로 부정적으로 이용될 수 있다. 데이터 생성 알고리즘으로 다양한 창작이 가능하지만, 반대로 타인의 초상권을 침해할 수 있고 더 나아가 딥페이크를 만들어낼 수도 있다.

합성데이터 생성기술인 갠(GAN) 알고리즘을 악용해 타인의 초상이나 음성을 음란물에 덧대어 거짓 정보를 생성하고, 누군가의 명예를 훼손하거나 다양한 피해를 주기도 한다.

정치인의 경우에는 선거에 악용됨으로써, 여론을 호도하기도 한다. 이러한 부정한 이용을 포괄하는 딥페이크에 대해 성폭력특별법이나 공직선거법 등 다른 법률을 통해 규제할 수도 있지만, 원천적으로 막기는 어렵다. 또한, 지속적이고 반복적인 생성이 가능하기 때문에 인터넷서비스제공자(ISP)를 통한 삭제 등의 대응도 쉽지 않다.

딥페이크도 다양한 기술이나 발명으로 구성된다. 인공지능 기술은 사회적인 현상 변화까지도 이끌고 있다. 인간에 의한 창작이, 기술에 의한 창작으로 주도권이 넘어가고 있는 모습도 나타나고 있다. 하지만 기술은 선의로 개발되었어도 악용되는 경우가 흔하다.

악용되는 기술에 대해서는 기술관련 법제인 특허법의 역할도 기대할 수 있을 것이다. 악의적 사용으로 사회문제화하고 있는 딥페이크 기술이 공공질서와 선량한 풍속에 어긋난다면 특허법으로 제재할 수 있다.

우리는 인공지능의 윤리를 강조한다. 하지만 인공지능 윤리 이면에 있는 사람의 윤리가 회복이 우선이다. 절대적인 윤리주체가 될 인공지능 입장에서 인간은 가장 비윤리적인 주체일 수밖에 없다. 인공지능이나 인공지능이 만들어낸 결과물은 인간이 만들어낸 데이터를 기반으로 학습한 것이다. 로봇의 모습은 우리의 자화상이 아닐까?

로봇이나 인공지능의 윤리보다, 사람의 윤리가 필요한 시대라는 걸 절감한다. 다만, 기술에 대한 가치판단은 신중해야 한다. 기술규제는 진보할 수 있는 기회까지 옭아맬 수 있기 때문이다.

그리고, 왜 이렇게까지 학생들이 딥페이크에 물들었는지에 대해 사회문화적인 현상도 교육당국이 살펴야 할 책무이다. 문제의 원인을 찾지 않고서 해결은 요원하기 때문이다.

아이티(IT) 보안 전문가들은 최근 텔레그램을 중심으로 확산하는 불법합성(딥페이크) 성범죄물 피해 대응과 관련해 “제작 자체를 막긴 어려운 만큼 유통을 차단해야 한다”고 말한다. 이들은 구글·메타·엑스(X) 등 글로벌 플랫폼 기업의 신속한 불법합성물 삭제 조처를 위해 이를 요구하는 우리나라 법에 관련 규정을 만들 필요가 있다고 입을 모은다.

28일 보안업계와 전문가들의 설명을 들어보면, 최근 불법합성 성범죄물 급증 배경에는 오픈소스(개방형) 기반 인공지능(AI) 도구가 있다. 실제 구글 플레이스토어 등 스마트폰 앱장터에서 사진이나 영상에 얼굴을 합성해주는 앱을 손쉽게 만날 수 있다.

문제는 기업이 아닌 개인이 오픈소스를 기반으로 만든 불법합성 소프트웨어를 일일이 규제하는 게 쉽지 않다는 점이다. 오픈에이아이의 챗지피티(GPT)나 구글의 제미나이처럼 소스코드를 공개하지 않는 폐쇄형 인공지능 모델은 개발사가 성범죄에 활용될 수 있는 이미지나 영상을 생성할 수 없도록 특정 단어의 입력을 차단하거나 인공지능의 생성물임을 나타내는 워터마크(식별표시)를 넣는 시도 등을 할 수 있다.

하지만 일반 개개인이 오픈소스를 활용해 만든 프로그램을 건건이 단속하는 건 현실적으로 한계가 뚜렷하다. 인공지능 스타트업 업스테이지의 박찬준 거대언어모델(LLM) 수석연구원은 “기술적으로 오픈소스 인공지능을 활용한 불법합성물을 완전히 막는 건 불가능하다”고 했다.

이런 맥락에서 전문가들은 유럽연합(EU)이 지난해 8월부터 불법합성물 영상 등을 디지털 플랫폼 사업자가 삭제하도록 규정한 디지털서비스법(DSA)을 참고해 국내법에 법적 근거부터 마련해야 한다고 권고한다.

김명주 서울여대 교수(정보보호학)는 “유럽연합이 미국 빅테크 기업에 ‘유럽 내에서 서비스를 하려면 유럽연합의 법을 지켜라’라고 주장하는 것처럼 우리나라도 불법합성 성범죄물 삭제와 관련한 법적 근거를 만들어야 보다 쉽게 국외 플랫폼 기업에 불법합성물 삭제를 요구할 수 있을 것”이라고 말했다.

현재 방송통신심의위원회는 텔레그램 등 글로벌 플랫폼에서 유통되는 불법합성 성범죄물을 모니터링해 국내 접속 차단 등을 하고 있으나 국외 사업자에게 삭제를 요청할 법적 근거가 없다.

강제력이 있지는 않다는 뜻이다. 임종인 고려대 정보보호대학원 석좌교수도 “미국은 ‘표현의 자유’가 굉장히 중요하기 때문에 (기업 자체 가이드라인에 없는) 애매한 게시물에 대해선 삭제까지 2~3주씩 걸린다”며 “삭제 요청의 실효를 높이기 위해선 국내법부터 손질을 해야 한다”고 말했다.

주제어와 개요만 제시하면 눈깜짝할 새 과학 논문을 작성해주는 생성 인공지능 서비스가 잇따라 등장함에 따라 과학계의 연구와 논문 발표 환경에 충격이 던져졌다.

새로운 과학적 사실을 발견하고 연구하는 일은 문명을 발전시키온 동력으로, 뛰어난 두뇌와 오랜 노력, 거대한 자원이 요구되는 작업이었다. 생성 인공지능이 인류의 가장 고등한 행위인 과학연구에 들어오면 어떻게 될까?

스탠퍼드대학 ‘오픈 버추얼 어시스턴트 랩 (OVAL)’ 연구진은 지난 7월 논문 자동작성 프로그램을 공개했다. ‘다양한 관점의 질문 생성과 검색을 통한 주제·개요 작성’ 시스템이라는 의미의 ‘스톰 (STORM) 서비스는 인터넷 검색을 기반으로 주제를 입력하면 약 30쪽 의 논문급 리포트를 작성해준다.

스톰은 논문 아이디어 창출과정, 동료 검토 등 과학계의 논문 작성 관행을 모방해 구조화했고, 투명성과 신뢰성을 확보하고자 했다. 스톰은 위키피디아를 비롯해 평판 높은 출처의 자료 검색에서 시작한다.

단순히 복사해 붙여넣는 게 아니라, 관련 정보를 분석·추출·종합해 일관된 구조로 만들어낸다.

논문 개요 작성 뒤엔 흥미로운 과정이 진행되는데, 단순히 글을 쓰는 게 아니라 대화를 시작한다. 스톰은 주제에 대해 각각 다른 관점을 대변하는 여러 인공지능 서비스간의 대화를 만들어낸다.

전문가들의 원탁토론과 비슷하지만, 모든 참여자가 인공지능이다. 이후 논문 작성 과정에서 스톰은 적절하고 정확한 인용을 추구한다. 생성된 문장의 인용이 제시돼 독자는 출처를 확인할 수 있다. 스톰은 인용 정확도가 85.18% 라고 밝히고 있다. 스톰에서 30 쪽 분량의 논문급 리포트가 작성되는 데 걸리는 시간은 최대 3 분이고, 무료다.

일본의 인공지능 스타트업 ‘사카나 AI’ 는 지난달 과학연구를 자율수행할 수 있는 인공지능 서비스 ‘AI 과학자 (AI Scientist)’ 를 개발했다고 공개하며 논문을 ‘아카이브 (arXiv)’ 에 실었다.

‘AI 과학자’ 는 거대언어모델(LLM)을 사용해 과학 논문을 자동생성하는 서비스로, 스탠퍼드대 스톰과 유사한 구조다. 논문 방향을 제시하면 사람 개입없이 연구 아이디어를 제안하고 필요한 코드를 작성해 실험을 실행한 뒤 결과를 요약해 과학 논문으로 작성하는 일을 자동 수행한다.

또 논문에 대한 평가, 피드백 작성, 동료 검토 절차를 도입해 생성된 논문을 거의 사람 수준의 정확도로 평가할 수 있다는 게 사카나 AI 의 설명이다.

거대언어모델이 브레인스토밍, 유망 아이디어 선택, 알고리즘 코딩, 결과 추출, 실험·결과 요약, 논문 작성, 참고문헌 등의 절차를 순차적으로 수행한다. 연구진에 따르면 ‘AI 과학자’ 가 논문 한편을 작성하는 데 필요한 컴퓨팅 비용은 15 달러 (약2만원) 정도다.

인공지능의 과학 논문 작성 배경엔 두 요인이 있다. 하나는 거대언어모델의 성능 개선이고 다른 하나는 논문 공유 문화의 확산이다. 생성 인공지능은 이미 글쓰기, 그림그리기, 작곡하기, 프로그래밍 등 다양한 영역에서 사람을 뛰어넘는 수준의 결과물을 만들어내고 있다. 과학 논문이라고 무풍지대가 아니다.