'감쪽같은 허위영상' 딥페이크 비상…'AI 영상' 딱지 붙이는 인스타·틱톡[사이다IT]

[서울=뉴시스]최은수 기자 = 최근 생성형 AI(인공지능)를 활용한 딥페이크(deep fake), 허위정보 콘텐츠가 온라인에서 기승을 부리면서 글로벌 SNS(사회관계망서비스) 플랫폼들이 대응에 분주해졌습니다.

딥페이크는 AI를 활용한 일종의 얼굴 조합 기술을 의미합니다. 기존에 있던 인물의 얼굴 혹은 신체 부위를 합성한 이미지와 비디오, 오디오 등을 총칭합니다. 유명인들이 딥페이크의 타깃이 돼 음란 이미지가 확산되거나, 정치인을 사칭하는 등 가짜 영상이 기하급수적으로 SNS에 퍼지는 등 생성형 AI의 부작용이 사회적 문제로 대두되고 있습니다.

이에 인스타그램, 페이스북을 운영하는 메타는 지난 6일(현지시간) 페이스북과 인스타그램, 스레드에서 AI 생성 이미지에 라벨을 붙일 것이라고 발표했습니다. 메타가 공개한 시범 서비스 화면에 따르면 AI로 제작된 이미지에는 별표와 함께 ‘AI 인포(info·정보)’라는 표식이 붙습니다.

메타는 그동안 자체 AI 도구 '메타 AI'를 사용해 만든 이미지에 '이매진드 위드 AI(Imagined with AI)’'라는 라벨을 붙였는데, 챗GPT(오픈AI), 빙(마이크로소프트), 어도비 등 외부 AI 도구로 만든 콘텐츠에도 적용하겠다는 것입니다.

글로벌 숏폼 플랫폼 ‘틱톡’도 크리에이터가 진짜처럼 보이도록 만든 생성형 AI 콘텐츠에 라벨을 부착하도록 제재하고 있습니다. 크리에이터가 틱톡의 생성형 AI 편집도구를 활용하는 경우 해당 콘텐츠 라벨이 자동으로 형성됩니다. 단, 성착취, 희롱 및 괴롭힘 등 위반 사항이 있는 AI 콘텐츠에 대해서는 라벨을 붙이더라도 규정 위반으로 간주하겠다는 설명입니다.

지난달에는 전 세계적인 팝스타 테일러 스위프트 얼굴에 음란물을 합성한 딥페이크 이미지가 엑스(X, 옛 트위터)에서 확산되면서 논란이 커졌습니다. 이에 X는 아동 성 착취물 등 불법 콘텐츠를 단속할 ‘신뢰와 안전 센터’를 텍사스주에 신설한다는 방침을 부랴부랴 내놨습니다.

구글도 지난 1일 자사 AI 챗봇 서비스인 바드에 이미지 생성 기능을 추가하면서 구글 딥마인드가 개발한 ‘SythID’ 기반 워터마크를 적용했습니다.

이같은 조치는 미국이 작년 10월 딥페이크 영상·사진·음향에 의무적으로 워터마크(식별표시)를 부착하는 행정명령을 서명한 데 따른 것으로 해석됩니다. 올해 상반기 중 관련 가이드라인이 공개될 전망입니다. 미국은 올해 11월 대통령 선거를 앞두면서 정치권을 중심으로 AI를 악용한 딥페이크물, 허위정보 유포로 몸살을 앓고 있습니다.

문제는 이런 조치가 생성형 AI 콘텐츠를 모두 단속하는 데 한계가 있다는 것입니다. 가령 메타는 AI 이미지 생성 과정에서 보이지 않는 워터마크나 표식까지 지울 수 있는 꼼수가 있어 고심 중입니다. 틱톡 역시 선제 조치에도 불구하고 작년 10월 미국에서 AI로 유튜버 미스터비스트(MrBeast)를 생성한 딥페이크 버전 영상을 광고로 게재하면서 논란이 지속되고 있습니다.

국내도 남의 일이 아닙니다. 특히 생성형 AI 활용한 딥페이크 등 이미지에 대한 국내 기업들의 대응은 아직 미비한 상황입니다. 일단 관련 법안들이 발의됐지만 국회에 계류하면서 규제가 미비한 상황입니다.

네이버 AI 챗봇 클로바X는 최근 딥페이크 이슈와 연관될 수 있는 이미지 편집 기능을 일부 사용자를 대상으로만 실험적으로 제공하고 있으며, 이 기능에도 생성된 이미지에 음란물 등의 콘텐츠 생성이 되지 않도록 엔진 필터를 포함한 안전 조치를 적용했습니다. 카카오브레인의 AI 이미지 생성 모델인 칼로는 비가시성 워터마크 기술 도입을 검토 중입니다. 비가시성 워터마크는 유저들에는 워터마크가 보이지 않으나 기술적으로는 칼로 생성 여부를 할 수 있는 기술입니다. 구글에서도 해당 기술을 연구 운영 중입니다.

만약 다른 AI 서비스를 통해 딥페이크 등 콘텐츠가 네이버 플랫폼에 게재될 경우에는 사후 조치를 취합니다. 이용약관의 '게시물 운영정책'에서 게재를 제한하는 게시물 중 하나로, '다른 이용자를 기만할 목적으로 타인을 사칭하거나 허위사실을 주장하는 내용의 게시물'을 규정하고 있다. 카카오톡 역시 오픈채팅의 경우 외부로 전체 공개되는 닉네임, 방제목, 해시태그, 채팅방 커버 등에 대해 금칙어 DB를 구축하고 있고, 커버나 포스트 등 공개된 정보에 명예훼손성 정보가 포함되면 이용자의 권리침해 신고를 통해 게시물이 블라인드 처리됩니다.

하지만 이런 대응이 사후 조치에 그치는 데다가 개인 SNS 대화내용은 사업자가 임의로 확인할 수 없는 내용인 만큼 감시에 한계가 있습니다. 카카오 측은 "카카오톡은 이용자의 프라이버시를 침해하지 않기 위해 이용자간 주고받는 메시지 및 콘텐츠는 열람하지 않으며 이용자 신고를 바탕으로 조치를 취하고 있다"며 "대화방의 경우 사업자가 임의로 확인할 수 없는 사적 영역"이라고 전했습니다.

이런 가운데 최근 딥페이크를 활용한 성범죄에 청소년들이 무방비 노출되고 있다는 우려가 큽니다. 누디파이, 언드레스, 딥누드 등의 이름으로 이른바 '옷 제거' 딥페이크 앱이 국내에서도 기승을 부리고 있다고 합니다.

이에 네이버, 카카오, SK컴즈 등 포털3사는 KISO(한국인터넷자율정책기구)와 협력해 성인 콘텐츠를 검색에서 노출하게 하는 애플리케이션 ‘언드레스’ 관련 검색어를 청소년 보호 검색어로 지정했습니다. ‘지인능욕’, ‘지인합성’ 등 딥페이크 관련 검색어도 포함시켰습니다.

우리나라의 경우 아직  딥페이크물과 같은 생성형 AI 이미지보다는 정치권을 중심으로 가짜뉴스에 대한 사회적 관심도가 더욱 큰 상황입니다. 오는 4월 시행하는 제22대 국회의원 선거를 앞두고 가짜뉴스 등 생성형 AI 콘텐츠를 활용한 허위 정보로 인해 정치권이 바짝 곤두섰습니다. 선거와 관련된 허위정보, 여론조작을 우려해서입니다.

이에 국내 플랫폼들도 가짜뉴스 방지에 더욱 초점을 맞추고 있습니다. 네이버는 AI 댓글과 딥페이크 등 신규 어뷰징 패턴을 지속적으로 분석하고 업데이트 하는 등 감시를 강화했습니다. 또 이용약관의 '게시물 운영정책'에서 게재를 제한하는 게시물 중 하나로, '다른 이용자를 기만할 목적으로 타인을 사칭하거나 허위사실을 주장하는 내용의 게시물'을 규정하고 있습니다.

또 이용자가 직접 선거 관련 허위 정보 뉴스 댓글을 신고할 수 있는 기능을 적용하고, 별도의 신고 센터 영역을 신설해 선거관리위원회 채널로 이동할 수 있도록 연결할 예정입니다. 카카오 역시 가짜뉴스 대응을 포함한 선거 서비스 운영 원칙을 공개하고 기준에 따라 운영할 예정입니다.

이성엽 고려대학교 기술경영전문대학원 교수는 "해외 플랫폼도 생성형 AI에 대한 워터마크 등 법적인 의무가 아직 부여된 것은 아닌데 자율적으로 도입한 것"이라며 "우리나라는 자율적으로 도입하겠다는 의지가 없어서 빠르게 검토하는 게 좋을 것 같다. 관련 법이 미비하기 때문에 영상 자체가 AI가 만들었다는 정도에 대해 고지하도록 법제화할 필요가 있다"고 지적했습니다.


◎공감언론 뉴시스 [email protected]