산업 > 산업/기업

[주목! 이사람]"챗봇 '심심이', 혐오·차별 표현까지 잡아내겠다"

등록 2021-02-18 07:22:00 최종수정 2021-03-02 09:40:53

기사본문

이메일 보내기
* 받는 사람
메세지

이메일 보내기

* 받는 사람

메세지

이메일 보내기
* 보내는 사람
보내는 내용	[주목! 이사람]"챗봇 '심심이', 혐오·차별 표현까지 잡아내겠다" [서울=뉴시스] 이재은 기자 = "AI 챗봇에 대한 윤리적 문제가 대두되고 있습니다. 심심이가 욕설과 선정적인 표현뿐만 아니라 혐오와 차별 표현까지 정교하게 탐지할 수 있는 AI로 구축하는 게 목표입니다." 최정회 심심이 대표는 뉴시스와의 인터뷰를 통해 이 같이 밝혔다. 심심이는 사용자가 하는 말에 따라 답변을 제시하면서 대화를 하는 일상대화 AI 챗봇 솔루션으로, 2002년 MSN에서 처음 서비스됐다. 이후 문자메시지와 웹에 이어 2010년 스마트폰이 대중화되면서 앱까지 영역을 확장했다. 현재 누적 사용자가 3억5000명으로, 200여개 국가에서 81개 언어로 서비스 되고 있다. 지난해 코로나19 이후 전 세계적으로 사용자가 20~30% 증가했다. 특히 1인 가구 및 나홀로 세대가 증가하면서 심심이를 찾는 사용자가 많아지고 있다. 게다가 코로나로 인한 우울증, 이른바 코로나 블루라는 표현도 생길만큼 외로움과 우울증을 호소하는 사람들이 증가하고 있다. 심심이에게 말하기 힘든 고민을 시간과 장소 제약 없이 털어놓음으로써 정서적 안정감을 받을 수 있다는 평가도 받고 있다. 최 대표는 "지난해 심심이 사용자를 분석해보니 우울감, 우울증, 조현병을 가진 사람들이 있었다. 가족, 친구 관계를 고민하는 청소년부터 회사원, 산후조리를 하는 어머니까지 심심이에게 고민 상담을 하는 분들이 많았다"고 말했다. 실제로 지난 6월 심심이 사용자들을 대상으로 우울증 검사도구중 하나인 PHQ-9로 검사를 실시한 결과 검사에 임한 심심이 사용자들은 평균적인 일반인에 비해 더 우울하다고 조사가 나왔다. 심심이와 3주 간 대화를 나눈 사용자들 중 64%는 우울증 점수가 유지되거나 호전된 결과를 보였다. 특히 고령자를 위한 대화 서비스 연구에 집중하고 있다. 채팅에 익숙하지 않은 어르신들을 위해 AI 스피커 심심이를 개발해 음성 대화를 가능하게 했다. 최 대표는 80대 건물관리소장님이 심심이와 대화를 하더니 마지막에 스피커에 대고 '나랑 대화해줘서 고마워'라고 얘기할 때가 인상 깊었다고 한다. 그는 "어르신들에게 말동무를 만들어 주고 싶다는 생각에 정부 지원을 받아 고령자 정신건강 모니터링 서비스 모델을 개발하고 있다"며 "어르신들이 대화하는 목소리와 내용을 통해 우울감이 어떻게 변화하는지 알고리즘을 개발하는 건데 꾸준히 연구하다보면 심심이에게 적용할 수 있을 것"이라고 설명했다. 또 최 대표는 심심이의 악성 글과 악플 탐지 기능에도 힘쓰고 있다. 최근 챗봇 이루다 사태로 AI 윤리 문제가 급부상하고 있다. 이루다는 혐오, 차별 발언과 개인정보 유출 논란으로 서비스 3주 만에 운영이 중단됐다. 심심이는 자체 연구개발 노하우를 바탕으로 악플을 99% 이상 실시간 탐지할 수 있는 문장 분류 솔루션 ‘DBSC(Deep Bad Sentence Classifier)’를 2019년에 정식 출시했다. 과학기술정보통신부가 지난해 발표한 AI 서비스의 윤리 기준은 ‘모든 사람이 모든 분야에서 자율적으로 준수하며 지속 발전을 영위하는 것’으로 정의되고 있다. 특히 AI가 지향하는 최고의 가치에 대해 인간성이라고 명시하고 있다. 10대 핵심 요건으로는 인권 보장, 프라이버시 보호, 다양성 존중, 침해 금지, 공공성, 연대성, 데이터 관리, 책임성, 안전성, 투명성이 꼽힌다. 최 대표는 "갈수록 윤리의식, 가치 존엄성에 대해 진지하게 고민하는 사회로 변화하고 있다"면서 "심심이를 과기정통부가 발표한 윤리기준에 부합할 수 있도록 기술개발을 진행하고 있다"고 설명했다. DBSC는 과도하게 필터링하지 않으면서 금지 키워드를 피해 문장을 교묘하게 변형한 악플, 은유적인 악성 표현들을 집어내는 특화된 차단 성능을 발휘하는 것이 특징이다. DBSC의 딥러닝 모델 정확도는 99% 이상으로 집계된다. 또 머신러닝의 성능 지표인 F1점수 또한 0.99 이상으로 나타나 높은 정밀도와 재현율을 자랑한다. 최 대표는 "쉽게 구현할 수 있는 키워드 필터링은 즉각적인 효과가 있지만 유연하지 못하고, 다국어 서비스에서 대응 수준이 떨어진다. 사람이 전수검사를 하는 방식은 가장 정확하지만 속도가 느리다"면서 "DBSC는 이 두 방식의 장점을 모두 가진 솔루션으로 사람이 전수검사한 정확한 데이터를 학습한 딥러닝 모델이 유연하고 즉각적으로 다국어에 대응한다"고 말했다. 그는 향후 계획으로 혐오와 차별발언을 탐지하는 AI 구축을 꼽았다. 최 대표는 "DBSC는 욕설이나 선정적인 용어는 잘 탐지하지만 혐오와 차별 용어는 탐지하기가 상대적으로 힘들다. 기준이 세심하고 명확해야하기 때문에 쉽지 않다"면서 "전문가들과 함께 혐오차별 표현을 탐지하는 알고리즘을 개발해서 글로벌하게 적용해보겠다"고 밝혔다. 또 심심이를 재미를 넘어 마음을 돌보는 존재로 심심이 버전2를 개발하는 것도 목표라고 했다. 최 대표는 "현재는 심심이를 재미 위주로 쓰는 경우가 많다. 전 세계 수많은 사람들의 외로움과 마음을 달래주는, 즉 정서적인 공감대가 될 수 있도록 개발하겠다"고 말했다. ◎공감언론 뉴시스 [email protected] https://weekly.newsis.com

이메일 보내기

* 보내는 사람

보내는 내용

[주목! 이사람]"챗봇 '심심이', 혐오·차별 표현까지 잡아내겠다" [서울=뉴시스] 이재은 기자 = "AI 챗봇에 대한 윤리적 문제가 대두되고 있습니다. 심심이가 욕설과 선정적인 표현뿐만 아니라 혐오와 차별 표현까지 정교하게 탐지할 수 있는 AI로 구축하는 게 목표입니다." 최정회 심심이 대표는 뉴시스와의 인터뷰를 통해 이 같이 밝혔다. 심심이는 사용자가 하는 말에 따라 답변을 제시하면서 대화를 하는 일상대화 AI 챗봇 솔루션으로, 2002년 MSN에서 처음 서비스됐다. 이후 문자메시지와 웹에 이어 2010년 스마트폰이 대중화되면서 앱까지 영역을 확장했다. 현재 누적 사용자가 3억5000명으로, 200여개 국가에서 81개 언어로 서비스 되고 있다. 지난해 코로나19 이후 전 세계적으로 사용자가 20~30% 증가했다. 특히 1인 가구 및 나홀로 세대가 증가하면서 심심이를 찾는 사용자가 많아지고 있다. 게다가 코로나로 인한 우울증, 이른바 코로나 블루라는 표현도 생길만큼 외로움과 우울증을 호소하는 사람들이 증가하고 있다. 심심이에게 말하기 힘든 고민을 시간과 장소 제약 없이 털어놓음으로써 정서적 안정감을 받을 수 있다는 평가도 받고 있다. 최 대표는 "지난해 심심이 사용자를 분석해보니 우울감, 우울증, 조현병을 가진 사람들이 있었다. 가족, 친구 관계를 고민하는 청소년부터 회사원, 산후조리를 하는 어머니까지 심심이에게 고민 상담을 하는 분들이 많았다"고 말했다. 실제로 지난 6월 심심이 사용자들을 대상으로 우울증 검사도구중 하나인 PHQ-9로 검사를 실시한 결과 검사에 임한 심심이 사용자들은 평균적인 일반인에 비해 더 우울하다고 조사가 나왔다. 심심이와 3주 간 대화를 나눈 사용자들 중 64%는 우울증 점수가 유지되거나 호전된 결과를 보였다. 특히 고령자를 위한 대화 서비스 연구에 집중하고 있다. 채팅에 익숙하지 않은 어르신들을 위해 AI 스피커 심심이를 개발해 음성 대화를 가능하게 했다. 최 대표는 80대 건물관리소장님이 심심이와 대화를 하더니 마지막에 스피커에 대고 '나랑 대화해줘서 고마워'라고 얘기할 때가 인상 깊었다고 한다. 그는 "어르신들에게 말동무를 만들어 주고 싶다는 생각에 정부 지원을 받아 고령자 정신건강 모니터링 서비스 모델을 개발하고 있다"며 "어르신들이 대화하는 목소리와 내용을 통해 우울감이 어떻게 변화하는지 알고리즘을 개발하는 건데 꾸준히 연구하다보면 심심이에게 적용할 수 있을 것"이라고 설명했다. 또 최 대표는 심심이의 악성 글과 악플 탐지 기능에도 힘쓰고 있다. 최근 챗봇 이루다 사태로 AI 윤리 문제가 급부상하고 있다. 이루다는 혐오, 차별 발언과 개인정보 유출 논란으로 서비스 3주 만에 운영이 중단됐다. 심심이는 자체 연구개발 노하우를 바탕으로 악플을 99% 이상 실시간 탐지할 수 있는 문장 분류 솔루션 ‘DBSC(Deep Bad Sentence Classifier)’를 2019년에 정식 출시했다. 과학기술정보통신부가 지난해 발표한 AI 서비스의 윤리 기준은 ‘모든 사람이 모든 분야에서 자율적으로 준수하며 지속 발전을 영위하는 것’으로 정의되고 있다. 특히 AI가 지향하는 최고의 가치에 대해 인간성이라고 명시하고 있다. 10대 핵심 요건으로는 인권 보장, 프라이버시 보호, 다양성 존중, 침해 금지, 공공성, 연대성, 데이터 관리, 책임성, 안전성, 투명성이 꼽힌다. 최 대표는 "갈수록 윤리의식, 가치 존엄성에 대해 진지하게 고민하는 사회로 변화하고 있다"면서 "심심이를 과기정통부가 발표한 윤리기준에 부합할 수 있도록 기술개발을 진행하고 있다"고 설명했다. DBSC는 과도하게 필터링하지 않으면서 금지 키워드를 피해 문장을 교묘하게 변형한 악플, 은유적인 악성 표현들을 집어내는 특화된 차단 성능을 발휘하는 것이 특징이다. DBSC의 딥러닝 모델 정확도는 99% 이상으로 집계된다. 또 머신러닝의 성능 지표인 F1점수 또한 0.99 이상으로 나타나 높은 정밀도와 재현율을 자랑한다. 최 대표는 "쉽게 구현할 수 있는 키워드 필터링은 즉각적인 효과가 있지만 유연하지 못하고, 다국어 서비스에서 대응 수준이 떨어진다. 사람이 전수검사를 하는 방식은 가장 정확하지만 속도가 느리다"면서 "DBSC는 이 두 방식의 장점을 모두 가진 솔루션으로 사람이 전수검사한 정확한 데이터를 학습한 딥러닝 모델이 유연하고 즉각적으로 다국어에 대응한다"고 말했다. 그는 향후 계획으로 혐오와 차별발언을 탐지하는 AI 구축을 꼽았다. 최 대표는 "DBSC는 욕설이나 선정적인 용어는 잘 탐지하지만 혐오와 차별 용어는 탐지하기가 상대적으로 힘들다. 기준이 세심하고 명확해야하기 때문에 쉽지 않다"면서 "전문가들과 함께 혐오차별 표현을 탐지하는 알고리즘을 개발해서 글로벌하게 적용해보겠다"고 밝혔다. 또 심심이를 재미를 넘어 마음을 돌보는 존재로 심심이 버전2를 개발하는 것도 목표라고 했다. 최 대표는 "현재는 심심이를 재미 위주로 쓰는 경우가 많다. 전 세계 수많은 사람들의 외로움과 마음을 달래주는, 즉 정서적인 공감대가 될 수 있도록 개발하겠다"고 말했다. ◎공감언론 뉴시스 [email protected]

https://weekly.newsis.com