“우리는 고급 추론 능력을 갖춘 그록(Grok) 3.5(어쩌면 4라고 불러야 할지도 모르겠군요)를 사용해 인간 지식 전체를 다시 쓸 것입니다. 누락된 정보를 추가하고 오류를 삭제한 뒤 이 데이터를 바탕으로 그록을 다시 훈련할 것입니다. 보정되지 않은 데이터로 훈련한 기초 모델에는 쓰레기가 너무 많습니다.”
일론 머스크가 6월 20일 금요일 밤 X에 올린
글입니다. 그록은 일론 머스크가 설립한 AI 기업 xAI의 챗봇입니다. 머스크는 그록이 논란의 여지가 있는 질문에 답하는 방식을 마음에 들어 하지 않습니다. 머스크는 X 사용자들에게 그록의 교육을 위해 “분열을 일으킬 만한 사실”을 댓글로 달아 달라고도
했죠. 그 사실이란 “PC하지는 않지만, 사실인 것”입니다.
쉽게 말해, 그록은 머스크가 듣고 싶었던 말을 하지 않아서 재훈련을 받게 됩니다. AI 비평가인 뉴욕대 명예 교수 게리 마커스는 머스크의 시도를 오웰적 디스토피아에 비유했습니다. 머스크의 글에 이런 댓글을
달았죠. “《1984》에서 막 튀어나온 것 같네요. 그록이 당신의 개인적 신념에 맞춰 반응하지 않자, 이제는 당신의 관점에 맞도록 역사 자체를 다시 쓰려는 것이군요.”
통제 사회에 대한 후기
프랑스 철학자 질 들뢰즈(1925~1995)는 스마트폰과 AI가 등장하기 한참 전에 세상을 떠났습니다. 1990년에 들뢰즈는 〈통제 사회에 대한 후기(Postscript on the Societies of Control)〉라는 짧은 글을
발표합니다. A4 용지로 다섯 장 분량인데요, 이 글에서 그는 인간의 모든 행동을 추적하는 전자 목줄이 인간을 티나지 않게 지속적으로 통제할 것이라고 예견합니다. 한국에선 모뎀을 이용한 PC 통신이 막 등장하던 때였고, 온라인 서점 아마존이 영업을 개시하기도 5년 전에 말입니다.
들뢰즈는 1984년에 사망한 미셸 푸코의 작업을 바탕으로 글을 썼기에 제목에 ‘후기’라는 말을 붙였습니다. 주요 내용은 이렇습니다. 푸코는 18세기부터 20세기 초까지 서구 사회가 ‘규율 사회(the disciplinary societies)’였다고 주장했습니다. 개인은 하나의 폐쇄된 환경에서 다른 폐쇄된 환경으로 끊임없이 이동합니다. 각 환경의 고유한 법칙에 따라 훈련받고 시험받고 교정받습니다. 가족, 학교, 군대, 공장 같은 곳들입니다. 하라는 것도 많고 하지 말라는 것도 많은, 사실상 감옥과 다름없는 곳들을 거치면서 인간은 사회와 기업이 원하는 형태로 찍혀 나옵니다.
20세기 후반에 이르러 들뢰즈는 규율 사회가 ‘통제 사회(the societies of control)’로 대체되고 있다고 진단합니다. 규율 사회는 단속적(discontinuous)입니다. 폐쇄된 환경에서 일정 기간 훈육을 받습니다. 괴로워도, 시작과 끝이 분명합니다. 18개월만 버티면 제대하고, 4년만 공부하면 졸업합니다. 반면 통제 사회는 개방된 환경이지만 끊임없이 조정됩니다. 끝이 없습니다. 평생 교육 같은 식입니다.
통제 사회는 규율과 처벌을 통해 인간을 교화하려 하지 않습니다. 대신 신용, 데이터, 액세스 권한, 알고리즘을 통해 인간을 조정 가능한 상태로 유지합니다. 인간을 규율하는 권력이 더 미세하고 더 기술적인 방식으로 전환되는 겁니다. 틀이 없는 것 같지만, 실은 틀이 계속 바뀌고 있어 모르고 살게 됩니다. 이처럼 스스로 형태를 바꾸는 틀을 들뢰즈는 ‘변조(modulation)’라고 불렀습니다.
이 사회는 옛날처럼 대놓고 장벽을 세우지 않습니다. 대신 보이지 않는 벽, 움직이는 벽으로 사람들의 행동을 조종합니다. 임금 체계가 대표적입니다. 규율 사회의 노동자는 일정 시간 일하면 정해진 임금을 받았습니다. 그런데 통제 사회에선 성과에 따라 지급됩니다. 오전 9시부터 오후 6시까지 일하라고 강제하지도 않습니다. 유연 근무를 해도 좋으니 월급을 더 받고 싶으면 KPI를 달성해야 한다고 넛지(nudge)를 합니다.
더 자잘한 예를 들자면 — 들뢰즈는 생전에 경험하지 못했겠지만 — 온라인 쇼핑몰에서 물건을 살까 말까 고민할 때 “재고가 4개 남았습니다” 같은 알림이 뜨고, 특가 상품을 클릭했다가 뒤로 가기를 누르면 “할인 혜택을 포기하고 나중에 정가로 구입하겠습니까?” 같은 팝업이 뜨고, 호텔을 검색할 때 “현재 15명이 이 객실을 보고 있습니다” 같은 알림이 뜨는 식입니다. 구매 버튼은 내 손가락으로 클릭하지만, 내가 사도 내가 산 게 아닙니다. 들뢰즈는 말합니다. “인간은 더 이상 ‘폐쇄된 인간’이 아니라 ‘빚진 인간’이 되었다.”
그록 재훈련
머스크가 그록에 바라는 건 더 정직하거나 더 똑똑한 AI가 아닙니다. 머스크는 사용자의 질문과 그록의 응답에 보이지 않는 벽을 세우려고 합니다. 불편하거나 정치적으로 조심스러운 질문에 기존 그록이 내놓은 답변은 머스크에게 “쓰레기로 학습한” 엉터리 답변입니다. 머스크는 그록이 덜 도덕적이어도 더 사실적인 대답을 해야 한다고 믿습니다.
그런데 여기서 ‘사실’이란 누구의 사실일까요. 머스크가 사실이라고 믿는 것들입니다. 자신의 정치적 의지와 문화적 지향을 앞으로 그록이 의존하게 될 데이터에 쑤셔 넣겠다는 겁니다. 이건 단순한 기술적 조정이 아닙니다. 현실 인식을 재배치하는 작업입니다. 지금도 그렇지만, 재훈련된 그록은 질문에 답하는 게 아닙니다. 대답을 통해 질문하는 사람을 재구성합니다.
물론 여기서 통제는 드러나지 않습니다. 들뢰즈가 예견한 대로 현대 사회의 통제는 물리적 억압이나 강제의 형태를 취하지 않습니다. 오히려 더 많은 선택지를 주는 것처럼 보입니다. 사용자가 스스로 선택하게 만듭니다. 그러나 이 모든 자유는 사용자의 전자 목줄로 수집한 데이터를 바탕으로 미리 짜놓은 선택지 내에서만 가능합니다. 시뮬레이션된 자유입니다.
사용자가 일단 그렇게 선택하고 나면, 시스템은 사용자가 묻는 방식, 사용하는 단어, 문장 길이, 선택하는 맥락과 반응, 이 모든 걸 수집해 사용자의 행동 예측 알고리즘에 저장합니다. 다음번엔 사용자를 더 정교하게 조정할 수 있게 되겠죠. 그록을 포함한 모든 생성형 AI는 실시간으로 변조되는 틀입니다. 머스크는 그 틀의 설계자이고요. 말이 좋아 틀이지, 사실상 탈옥이 불가능한 ‘생성형 감옥’입니다.
PC하지는 않지만, 사실인 것
머스크는 그록을 재훈련하겠다면서 “PC하지는 않지만, 사실인 것”을 댓글로 알려 달라고 했습니다. 어떤 것들일지 대략 감이 옵니다. 최근 그록은 사용자가 야구 선수 연봉을 물었는데, 느닷없이 남아프리카공화국의 백인 집단 학살을 주장하는 답변을 늘어놨습니다. 남아공에서 나고 자란 머스크는 남아공에서 백인을 상대로 한 인종 차별이 심각하다고 주장한 바
있죠.
머스크는 악마가 아닙니다. 그록이라고 인간 생명을 경시하는 방향으로 학습되지 않습니다. 인간 생명이 존엄한지를 물으면 그록은 도덕 교과서 같은 답을 내놓습니다. 하지만 낙태에 대해선 뭐라고 답해야 할까요. 민주주의의 가치에 대해서도 그록은 멋지게 답할 겁니다. 하지만 트럼프가 제기한 2020년 대선 부정 선거에 대해선 뭐라고 답해야 할까요. 백인 경찰이 정지 명령을 따르지 않은 흑인 운전자를 총으로 쏜 일은 인종 차별에서 비롯한 과잉 진압일까요, 경찰의 정당한 공무 집행일까요.
통제 사회에서 현실은 규율 사회와 달리 고정된 실체가 아니라, 실시간 변조되는 코드입니다. 머스크의 그록 재훈련은 사실과 허위를 구분하지 못하게 만들어 사용자가 알고 있는 세계의 구조를 불안정하게 만들고, 그 불안정 속에서 그록의 — 즉 머스크의 — 세계관을 사용자에게 심습니다. 들뢰즈의 관점에서 보자면, 이 현상은 AI의 환각이 아닙니다. 환상의 체계적 변조입니다.
머스크가 사실을 강화하겠다고 할수록, 그록은 머스크가 믿는 것이 진실로 비칠 수 있도록 모든 조건을 강화하는 기계가 됩니다. 들뢰즈가 살아 있었다면 이렇게 말했을 겁니다. “통제 사회는 억압하지 않는다. 대신 당신이 믿을 수밖에 없는 것을 보여 주고, 그걸 더욱 믿게 만든다.”
질문의 질문
머스크는 그록을 통해 “인간 지식 전체를 다시 쓰겠다”라고 말합니다. 지식 자체가 아니라 지식이 풀이되는 방식을 재설계하겠다는 선언입니다. 들뢰즈는 뿌리와 표준과 권위가 작동하는 구조를 해체하려 했습니다. 머스크는 정반대입니다. 편향된 표준을 만들고, 그 표준에 따라 판단해서 사용자에게 답변을 제공하려 합니다. 이 통제의 메커니즘은 오직 한 사람, 머스크의 신념과 세계관과 취향에 따라 재조정됩니다.
그록의 새 모델이 위험한 이유는 그록이 자주 틀려서가 아닙니다. 그록은 너무 많이 맞고, 너무 빨리 맞고, 너무 쉽게 맞을 겁니다. 모든 질문에 답할 수 있는 존재처럼 보일 겁니다. 우리는 더 많이 더 자주 질문하게 되겠죠. 그 순간 우리는 그록의 세계관 안에 있는 겁니다. 우리가 뭘 묻든, 우리 질문은 그록 내부의 지식 체계 흐름을 따라 우리에게 되돌아옵니다. 그 흐름을 머스크가 바꾸겠다고 선언했고요.
인간이 AI를 만들었지만, 이제 AI가 인간의 질문을 만들고 있습니다. 그렇게 물을 수밖에 없도록 답변하고 있습니다. 훈련되고 있는 건 인간입니다. 그럴수록 다시 물어야 합니다. 질문 자체를 질문해야 합니다. 그 사실은 누구의 사실인가. 그 오류는 누구에 의해 보정되는가. 다시 작성된 인간 지식은 어떤 세계를 지향하는가. 들뢰즈의 말처럼 “보호 구역의 동물들”처럼 살고 싶지 않다면 질문해야 합니다.