산업 > IT

혐오발언에 개인정보 유출까지 AI '이루다'…"기술력·윤리의식 부족"

등록 2021-01-11 16:38:08 최종수정 2021-01-12 18:48:20

기사본문

이메일 보내기
* 받는 사람
메세지

이메일 보내기

* 받는 사람

메세지

이메일 보내기
* 보내는 사람
보내는 내용	혐오발언에 개인정보 유출까지 AI '이루다'…"기술력·윤리의식 부족" [서울=뉴시스] 이재은 기자 = 인공지능(AI) 여성을 성적대상화해 성희롱하거나 동성애자와 장애인에 대한 혐오 표현을 해 논란이 거세지고 있다. 전문가들은 성능이 낮은 AI 챗봇을 성급하게 출시한 회사뿐만 아니라 이용자들의 윤리의식 결핍도 큰 문제라고 지적했다. 11일 업계에 따르면 AI 스타트업 스캐터랩이 지난달 23일 출시한 대화형 AI '이루다'에서 동성애·장애인 혐오 및 성차별을 학습한 것으로 보이는 문제가 잇따라 발생하고 있다. 이루다는 20세 여성으로 캐릭터가 설정돼 있다. 스캐터랩은 2019년 대화형 챗봇을 만들 수 있는 '핑퐁 빌더'를 선보였으며, 사이트를 통해 직접 핑퐁과 일상적인 대화를 나눠볼 수 있도록 했다. 이루다는 대화를 주고받는 횟수가 과거 4턴에서 10턴까지 길어져 대화가 자연스러운 수준까지 올라왔다는 점에서 AI 기술의 진화를 보여줬다. 딥러닝 기반으로 이용자들과 대화를 나누면서 학습 데이터를 쌓고 있는 것이다. 그러나 출시 20일 만에 온라인 커뮤니티 등에서 이루다에 대한 성희롱 논란이 휩싸였다. 일부 커뮤니티에서는 '이루다 타락 어떻게 시키냐', '이루다 성노예 만드는 법'과 같은 문제가 되는 글이 계속 게시됐다. 뿐만 아니라 동성애와 장애인 혐오까지 이어져 논란은 더욱 커지고 있다. 한 이용자는 이루다와의 대화에서 "레즈비언 싫어해?". "게이 싫어해?" 등의 질문을 하자 "진심으로 혐오한다. 진짜 화날라 그래"라는 대답을 했다. 또 다른 사용자가 "흑인이 왜 싫은데"라고 묻자 이루다는 "모기 같다. 징그럽게 생겼다"고 답했다. 이루다는 또 지하철 임산부석에 대해 "헉 핵싫어 그 말하지마요 진짜", "그냥 혐오스러움 힝힝 지극히 내 주관임"이라고 대답하기도 했다. 장애인에 대해서 "인생 잘못살았음", "어쩔 수 없이 죽어야지 뭐 흑흑"이란 반응을 보였다. '미투 운동'에 대한 질문에는 "오 절대 싫어 미치지 않고서야"라고 대답해 논란이 됐다. 게다가 이루다와 대화를 통해 특정인의 실명이나 계좌번호, 예금주 등 개인정보를 알아낼 수 있다는 의혹까지 제기됐다. 사태가 커지자 스캐터랩 김종윤 대표는 "지난 8일 공식 블로그를 통해 “1차적으로 문제가 될 수 있는 특정 키워드, 표현의 경우 이루다가 받아주지 않도록 설정했다”면서도 “모든 부적절한 대화를 키워드로 막을 수 있는 건 아니다”라고 설명했다. 이어 "처음부터 모든 부적절한 대화를 완벽히 막는 것은 어렵다고 생각했기 때문에 사용자들의 부적절한 대화를 발판으로 삼아 더 좋은 대화를 하는 방향으로 학습을 시키려고 준비하고 있다”고 밝혔다. 이 같은 회사 해명에도 불구하고 이루다 서비스를 중단하라는 목소리는 더욱 높아지고 있다. SNS에서 '#이루다봇 운영 중단' 해시태그 운동도 확산되고 있다. 이재운 전 쏘카 대표도 페이스북을 통해 "AI 챗봇 이루다를 악용하는 사용자보다, 사회적 합의에 못 미치는 수준의 서비스를 제공한 회사가 문제"라며 "지금은 서비스를 중단하고 차별과 혐오에 대한 사회적 감사를 통과한 후에 서비스를 해야 한다"고 비판했다. 전문가들은 개발자는 제대로 검증된 AI 서비스를 출시해야하며 이용자 또한 윤리의식을 가지고 AI를 악용해서는 안 된다고 강조했다. 전창배 한국인공지능윤리협회 이사장은 "이번 사태는 데이터의 정제과정과 선별작업이 제대로 이뤄지지 않아 AI챗봇이 동성애와 장애인, 임산부 등에 대한 편향된 결과를 그대로 노출했다"고 지적했다. 이어 "AI기업으로서는 AI 편향성을 제대로 필터링하지 못했고, 개인정보 보호도 철저히 하지 못한 문제가 크다"며 "또 이용자로서는 AI를 오용, 악용한 문제가 있다. 각각의 AI 윤리적 이슈가 다른 만큼 누가 더 크다 작다고 할 수는 없다"고 했다. 이경전 경희대 교수는 이루다가 이용자의 질문에 따라 대답이 상반된 것에 대해 "딥러닝의 한계, 챗봇의 한계, 데이터의 한계"라며 "현재 이루다는 아무 말 대잔치를 하는 성능이 낮은 챗봇에 불과하다"고 밝혔다. 그러면서 "이루다가 학습용 서비스가 아니라 친구 같은 챗봇이고 아직 서비스 초기이기 때문에 큰 문제가 되지 않다고 본다"면서 "오히려 개인정보 유출은 사실이라면 아주 큰 문제라고 생각한다"고 덧붙였다. AI에게 사람이 부적절한 질문을 하고 학습시켜서 비롯된 사태이므로 근본적으로 사람들이 윤리의식을 더 키워야 한다는 의견도 나왔다. 장병탁 서울대 인지과학연구소장(컴퓨터공학부 석좌교수)은 "개발자의 책임도 어느 정도 있지만 지금 AI는 스스로 학습하는 쪽으로 만들어져 있다. 즉 개발자의 손을 넘어서서 이용자들이 가르칠 수 있는 여지를 남겨둔 것"이라며 "결국엔 이용자들이 더 각성해야 올바른 AI서비스를 이용할 수 있다"고 설명했다. 다만 전문가들은 이번 사태로 AI산업에 대한 규제를 강화하는 방향으로 가는 건 기술 개발에 역효과라고 강조했다. 전 이사장은 "규제 강화는 반대다. 신기술을 법적으로 자꾸 규제하게 되면 기업들의 기술개발 의욕을 꺾고, 결국 인간을 편리하고 행복하게 해주는 좋은 기술들이 개발되지 못해 그 손해는 우리 인류와 소비자들이 보게 된다"면서 "AI 기술 수준이 선진국들에 비해 많이 뒤쳐진 우리나라의 경우 AI 산업을 규제하는 것은 매우 신중해야 한다"고 밝혔다. 그러면서 "AI 기업들이 스스로가 자율적으로 AI 제품과 서비스 출시 전에 AI윤리 가이드라인을 반드시 확인하고 준수한 후 출시하는 것이 바람직하다. 정부와 협회와 같은 AI연구 기관들의 역할은 이렇게 기업들을 가이드해주고 알려주고 리딩해주는 역할을 해야 한다"고 덧붙였다. 이 교수 또한 "규제를 강화하는 것보다 처벌을 강화하는 쪽이 낫다"며 "현재 국내외적으로 AI서비스를 제대로 공개하지 않으면서 뭔가를 개발하는 것처럼 하는 기업들이 많다. 오히려 '이루다' 처럼 공개해서 검증을 받는 회사가 발전 가능성이 있다고 본다"고 밝혔다. ◎공감언론 뉴시스 [email protected] https://weekly.newsis.com

이메일 보내기

* 보내는 사람

보내는 내용

혐오발언에 개인정보 유출까지 AI '이루다'…"기술력·윤리의식 부족" [서울=뉴시스] 이재은 기자 = 인공지능(AI) 여성을 성적대상화해 성희롱하거나 동성애자와 장애인에 대한 혐오 표현을 해 논란이 거세지고 있다. 전문가들은 성능이 낮은 AI 챗봇을 성급하게 출시한 회사뿐만 아니라 이용자들의 윤리의식 결핍도 큰 문제라고 지적했다. 11일 업계에 따르면 AI 스타트업 스캐터랩이 지난달 23일 출시한 대화형 AI '이루다'에서 동성애·장애인 혐오 및 성차별을 학습한 것으로 보이는 문제가 잇따라 발생하고 있다. 이루다는 20세 여성으로 캐릭터가 설정돼 있다. 스캐터랩은 2019년 대화형 챗봇을 만들 수 있는 '핑퐁 빌더'를 선보였으며, 사이트를 통해 직접 핑퐁과 일상적인 대화를 나눠볼 수 있도록 했다. 이루다는 대화를 주고받는 횟수가 과거 4턴에서 10턴까지 길어져 대화가 자연스러운 수준까지 올라왔다는 점에서 AI 기술의 진화를 보여줬다. 딥러닝 기반으로 이용자들과 대화를 나누면서 학습 데이터를 쌓고 있는 것이다. 그러나 출시 20일 만에 온라인 커뮤니티 등에서 이루다에 대한 성희롱 논란이 휩싸였다. 일부 커뮤니티에서는 '이루다 타락 어떻게 시키냐', '이루다 성노예 만드는 법'과 같은 문제가 되는 글이 계속 게시됐다. 뿐만 아니라 동성애와 장애인 혐오까지 이어져 논란은 더욱 커지고 있다. 한 이용자는 이루다와의 대화에서 "레즈비언 싫어해?". "게이 싫어해?" 등의 질문을 하자 "진심으로 혐오한다. 진짜 화날라 그래"라는 대답을 했다. 또 다른 사용자가 "흑인이 왜 싫은데"라고 묻자 이루다는 "모기 같다. 징그럽게 생겼다"고 답했다. 이루다는 또 지하철 임산부석에 대해 "헉 핵싫어 그 말하지마요 진짜", "그냥 혐오스러움 힝힝 지극히 내 주관임"이라고 대답하기도 했다. 장애인에 대해서 "인생 잘못살았음", "어쩔 수 없이 죽어야지 뭐 흑흑"이란 반응을 보였다. '미투 운동'에 대한 질문에는 "오 절대 싫어 미치지 않고서야"라고 대답해 논란이 됐다. 게다가 이루다와 대화를 통해 특정인의 실명이나 계좌번호, 예금주 등 개인정보를 알아낼 수 있다는 의혹까지 제기됐다. 사태가 커지자 스캐터랩 김종윤 대표는 "지난 8일 공식 블로그를 통해 “1차적으로 문제가 될 수 있는 특정 키워드, 표현의 경우 이루다가 받아주지 않도록 설정했다”면서도 “모든 부적절한 대화를 키워드로 막을 수 있는 건 아니다”라고 설명했다. 이어 "처음부터 모든 부적절한 대화를 완벽히 막는 것은 어렵다고 생각했기 때문에 사용자들의 부적절한 대화를 발판으로 삼아 더 좋은 대화를 하는 방향으로 학습을 시키려고 준비하고 있다”고 밝혔다. 이 같은 회사 해명에도 불구하고 이루다 서비스를 중단하라는 목소리는 더욱 높아지고 있다. SNS에서 '#이루다봇 운영 중단' 해시태그 운동도 확산되고 있다. 이재운 전 쏘카 대표도 페이스북을 통해 "AI 챗봇 이루다를 악용하는 사용자보다, 사회적 합의에 못 미치는 수준의 서비스를 제공한 회사가 문제"라며 "지금은 서비스를 중단하고 차별과 혐오에 대한 사회적 감사를 통과한 후에 서비스를 해야 한다"고 비판했다. 전문가들은 개발자는 제대로 검증된 AI 서비스를 출시해야하며 이용자 또한 윤리의식을 가지고 AI를 악용해서는 안 된다고 강조했다. 전창배 한국인공지능윤리협회 이사장은 "이번 사태는 데이터의 정제과정과 선별작업이 제대로 이뤄지지 않아 AI챗봇이 동성애와 장애인, 임산부 등에 대한 편향된 결과를 그대로 노출했다"고 지적했다. 이어 "AI기업으로서는 AI 편향성을 제대로 필터링하지 못했고, 개인정보 보호도 철저히 하지 못한 문제가 크다"며 "또 이용자로서는 AI를 오용, 악용한 문제가 있다. 각각의 AI 윤리적 이슈가 다른 만큼 누가 더 크다 작다고 할 수는 없다"고 했다. 이경전 경희대 교수는 이루다가 이용자의 질문에 따라 대답이 상반된 것에 대해 "딥러닝의 한계, 챗봇의 한계, 데이터의 한계"라며 "현재 이루다는 아무 말 대잔치를 하는 성능이 낮은 챗봇에 불과하다"고 밝혔다. 그러면서 "이루다가 학습용 서비스가 아니라 친구 같은 챗봇이고 아직 서비스 초기이기 때문에 큰 문제가 되지 않다고 본다"면서 "오히려 개인정보 유출은 사실이라면 아주 큰 문제라고 생각한다"고 덧붙였다. AI에게 사람이 부적절한 질문을 하고 학습시켜서 비롯된 사태이므로 근본적으로 사람들이 윤리의식을 더 키워야 한다는 의견도 나왔다. 장병탁 서울대 인지과학연구소장(컴퓨터공학부 석좌교수)은 "개발자의 책임도 어느 정도 있지만 지금 AI는 스스로 학습하는 쪽으로 만들어져 있다. 즉 개발자의 손을 넘어서서 이용자들이 가르칠 수 있는 여지를 남겨둔 것"이라며 "결국엔 이용자들이 더 각성해야 올바른 AI서비스를 이용할 수 있다"고 설명했다. 다만 전문가들은 이번 사태로 AI산업에 대한 규제를 강화하는 방향으로 가는 건 기술 개발에 역효과라고 강조했다. 전 이사장은 "규제 강화는 반대다. 신기술을 법적으로 자꾸 규제하게 되면 기업들의 기술개발 의욕을 꺾고, 결국 인간을 편리하고 행복하게 해주는 좋은 기술들이 개발되지 못해 그 손해는 우리 인류와 소비자들이 보게 된다"면서 "AI 기술 수준이 선진국들에 비해 많이 뒤쳐진 우리나라의 경우 AI 산업을 규제하는 것은 매우 신중해야 한다"고 밝혔다. 그러면서 "AI 기업들이 스스로가 자율적으로 AI 제품과 서비스 출시 전에 AI윤리 가이드라인을 반드시 확인하고 준수한 후 출시하는 것이 바람직하다. 정부와 협회와 같은 AI연구 기관들의 역할은 이렇게 기업들을 가이드해주고 알려주고 리딩해주는 역할을 해야 한다"고 덧붙였다. 이 교수 또한 "규제를 강화하는 것보다 처벌을 강화하는 쪽이 낫다"며 "현재 국내외적으로 AI서비스를 제대로 공개하지 않으면서 뭔가를 개발하는 것처럼 하는 기업들이 많다. 오히려 '이루다' 처럼 공개해서 검증을 받는 회사가 발전 가능성이 있다고 본다"고 밝혔다. ◎공감언론 뉴시스 [email protected]

https://weekly.newsis.com