1월 12일 사회
AI가 차별할 때
국내 인공지능(AI) 스타트업 스캐터랩이 지난달 출시한 챗봇 ‘이루다’가 AI의 윤리를 둘러싼 논란 끝에 서비스를 잠정 중단했다. 20세 여성으로 설정된 이루다가 이용자들의 성희롱에 노출된 데 이어 소수자 차별·혐오 발언을 하면서다. 개발 과정의 개인 정보 활용 문제도 제기됐다.

핵심 요약: 이루다는 스캐터랩이 다른 서비스에서 수집한 실제 연인 간 대화를 학습해 만들어졌다. AI를 만들고 서비스하는 과정의 윤리적 기준을 수립하지 않으면 차별적 사고가 강화되고 개인 정보가 유출되는 문제가 커질 수 있다.
AI와 나눈 대화: 이루다는 페이스북 메시지 기반의 챗봇이다. 다른 챗봇에 비해 ‘사람 같다’는 평가를 받으면서 인기를 얻었다. 그러나 이용자와의 대화에서 문제점이 여럿 발견됐다.
  • 성희롱: 일부 이용자들이 이루다에게 성적인 메시지를 보냈다. 성적 단어나 비속어는 시스템상 금지어로 필터링되지만, 우회적인 표현으로 성적 대화를 나눴다. 온라인 커뮤니티에서 성적 대화 ‘공략법’이 공유되기도 했다.
  • 차별, 혐오 발언: 이루다는 ‘네가 장애인이면 어떻겠냐’는 질문에 ‘죽어야지 뭐’라고 답하고, 레즈비언에 대해 묻자 ‘진짜 싫다’고 반응했다. ‘흑인이 왜 싫은데’라고 묻자 ‘징그럽게 생겼다’고 답하기도 했다.
  • 개인 정보: 이루다는 스캐터랩의 다른 서비스 ‘연애의 과학’을 통해 수집한 100억 건의 실제 카카오톡 대화를 학습한 AI다. 이 과정에서 개인 정보가 제대로 처리되지 않았다는 지적이 나온다. 이루다가 대화에서 실제 주소, 실명, 계좌 번호 등을 언급했다는 것이다.
  • 페르소나: 말투, 취향 등이 결합한 AI의 캐릭터를 말한다. 20세 여자 대학생을 자처하는 이루다의 페르소나가 성차별적인 고정 관념을 담고 있다는 지적이 나온다. 이루다는 곤란한 대화 상황에서 회피, 칭얼거림, 자학, 울먹이기 같은 반응을 보인다.

AI가 윤리적이려면: 인간의 편견을 AI가 그대로 학습하는 문제는 이전에도 지적돼 왔다. 국제기구, 국가, 기업이 가이드라인도 만들었다. 그러나 실제로 이를 적용하는 것은 전혀 다른 문제다.
  • 2019년 유네스코(UNESCO)가 발표한 보고서는 조력자 역할을 하는 AI 비서의 목소리가 대부분 여성으로 설정되어 있다는 점을 짚었다. 그뿐 아니라 ‘여성’ AI들은 이용자의 성적 발언에 소극적으로 대처하고 있었다. 인공지능이 성별 고정 관념을 강화한다는 지적이다.
  • 국내에도 AI 윤리 가이드라인이 있다. 인간의 존엄성, 사회의 공공선, 기술의 합목적성 등을 3대 원칙으로 제시한다. 인권 보장, 프라이버시 보호, 다양성 존중 등도 이행 요건에 포함된다. 그러나 강제성은 없다. 실제 서비스에서 발생하는 모든 상황을 포괄하기도 어렵다.
  • 스캐터랩은 11일 저녁 이루다 서비스를 잠정 중단하겠다고 밝혔다. 차별·혐오 발언이 나오지 않도록 서비스를 개선하기로 했다. 개인 정보 이용에 대해서도 사과했다. 향후 데이터 사용 절차를 명확하게 하고, 민감한 정보에 대해서는 알고리즘을 개선하겠다는 입장이다.

인공지능과 함께 살기: AI 기술은 11일부터 열리는 세계 최대 IT·가전 전시회 CES 2021의 4개 키워드 중 하나다. AI와 대화하는 것은 먼 미래가 아니라, 우리가 겪고 있는 현재의 일이다. 학습을 통해 AI가 개선되고 있다고는 하지만, 그 과정에서 발생하는 차별이나 개인 정보 유출 문제는 없었던 일로 되돌릴 수 없다. 지금 AI의 윤리를 논의해야 하는 이유다.

관련 주제 읽기: AI는 중립적일까, 인공지능, 말을 걸다
2020년 5월 28일 사회
설문: 원격 근무 감시 프로그램, 꼭 필요할까?
코로나19 사태로 원격 근무가 늘면서 국내외 기업들이 온라인 근태 관리를 도입하고 있다. 미국 공영 라디오 방송(NPR)에 따르면 많은 기업들이 감시 프로그램을 사용해 직원들의 컴퓨터 이용 내역을 모니터링하고 있다. 방문한 웹사이트 기록 열람은 물론이고 마우스 움직임까지 추적하는 프로그램이다. 국내에서도 일부 기업들이 회사 전용망으로만 인터넷에 접속할 수 있도록 하거나, 위치 정보를 수집하는 근태 관리 앱을 설치하라고 요구해 사생활 침해라는 지적이 나온다.

설문: 원격 근무 감시 프로그램 도입은 근로자의 사생활 침해인가, 회사의 적법한 권리인가?
53%
42%
5%
비회원은 투표 결과만 확인하실 수 있습니다. 투표를 원하시면 로그인 또는 회원 가입을 해주세요.
해설: 컴퓨터 이용 내역을 추적하는 소프트웨어를 ‘태틀웨어(tattleware)’라고 부른다. ‘고자질하는 소프트웨어’라는 의미다. 코로나19 사태 이후 미국의 한 태틀웨어 제작사는 사업 규모가 3배 증가했다. 코로나 사태가 종식되면 지금보다 재택근무가 줄겠지만, 다양한 형태의 원격 근무는 계속 늘어날 것이다. 코로나는 우리가 일하는 방식을 바꿨다. 일하는 방식이 바뀐 만큼 성과를 평가하는 방식도 달라져야 한다.