추천 콘텐츠
효과적 가속주의 vs. 효과적 이타주의
2023년 11월 24일, explained
오픈AI 혼란의 중심에 철학적 충돌이 있다.
2023년 5월 24일 샘 올트먼 오픈AI 최고 경영자가 영국 런던을 방문했을 때 오픈AI의 일반 인공지능 개발 목표에 반대하는 시위가 벌어졌다. 사진: Wiktor Szymanowicz, Future Publishing, Getty Images
NOW THIS
샘 올트먼이 돌아왔다. 오픈AI 이사회에 의해 회사에서 해고된 지 5일 만에 CEO로 복귀했다. 쿠데타에 가담했던 이사들은 모두 해임됐다. 올트먼이 쫓겨난 이유는 밝혀지지 않았지만, 그가 AI의 급진적인 상용화를 추진했기 때문이라는 평가가 많다. 비영리 단체인 오픈AI는 올트먼 재집권 이후 각종 영리사업에 더 공격적으로 나설 가능성이 크다. (올트먼 해임 과정을 해설한 11월 21일 explained 읽기)
WHY NOW
오픈AI 혼란의 중심에는 철학적 충돌이 있다. AI가 인류를 진보시킨다는 효과적 가속주의와 AI가 인류를 멸망시킬 수 있다는 효과적 이타주의의 충돌이다. 전자는 AI가 인류의 다음 진화 단계라고 믿는다. 후자는 AI가 희귀 광물은 많지만 까딱하면 지구로 날아올 수 있는 혜성이라고 믿는다. 이번 쿠데타에서는 전자가 승리했다. 그러나 앞으로 더 많은 전투가 남아 있다. 오픈AI의 짧은 역사를 따라가며 두 진영의 대결을 살펴본다.
종차별주의자
일론 머스크와 래리 페이지는 절친한 사이였다. 2013년 나파 밸리에서 열린 머스크의 생일 파티에서 말싸움을 벌이기 전까지는 말이다. 주제는 AGI(Artificial General Intelligence, 일반 인공지능)였다. 페이지는 AGI가 인간을 대체할 수 있다고 주장했다. 인간의 의식이 복제된 기계라면 인간만큼 소중하다는 논리였다. 머스크도 이날만큼은 일반인과 생각이 비슷했다. 그는 안전장치를 준비하지 않으면 AGI가 인류를 멸망시킬 수 있다고 반박했다. 페이지는 머스크가 자신의 종(種)만, 그러니까 인간만 우월하게 여기는 ‘종차별주의자’라고 비난했다. 머스크가 말했다. “그래. 나 친인류다. 인류 존X 좋아(Yes, I am pro-human, I fucking like humanity, dude).”
효과적 가속주의
래리 페이지 같은 사람을 효과적 가속주의(Effective Accelerationism·e/acc)자라고 한다. 기술과 자본의 힘을 극한까지 사용해 ‘어떤 대가를 치르더라도’ 급진적인 사회 변화를 주도하자는 개념이다. 효과적 가속주의는 실리콘밸리의 신흥 종교에 가깝다. 기술을 신봉하는 그들은 실리콘으로 의식까지 만들어 낼 수 있다고 믿는다. 그게 AGI다. 나파 밸리에서 둘이 다툰 이듬해인 2014년, 래리 페이지의 구글은 딥마인드(DeepMind)를 인수한다. 알파고를 만든 그 회사다. 딥마인드는 당시 전 세계 AI 개발자의 4분의 3을 장악하고 있었다. ‘친인류’ 머스크는 AI의 미래를 페이지가 좌우하는 걸 막기 위해 2015년 샘 올트먼 등과 함께 오픈AI를 설립한다. 인류에게 이익이 되는 방향으로 AI를 개발하기로 한다.
효과적 이타주의
효과적 가속주의의 정반대 지점에 효과적 이타주의(Effective Altruism·e/a)가 있다. 단순히 좋은 일을 하는 데 그치지 않고 가장 효과적으로 좋은 일을 하는 방법을 찾아야 한다는 개념이다. 다르게 말하면 엄청나게 많은 돈을 벌어서 그 돈으로 세상을 더 나은 방향으로 바꾸자는 주의다. 이 진영을 이끌던 사람 중 하나가 암호 화폐 거래소 FTX를 세운 샘 뱅크먼-프리드다. 최근 사기 혐의로 재판에 넘겨져 최대 110년형을 받을 수도 있는 사람이다. 효과적 이타주의자들은 AGI가 인류의 미래를 파괴할 위험이 있기 때문에 안전장치를 시급히 마련해야 한다고 믿는다. 그래서 이들은 AGI의 폭주를 막을 프로젝트에 연구비를 지원해 왔다. 대표적인 곳이 오픈AI다.
슈퍼얼라인먼트
올트먼 해임 사태 전까지 오픈AI 이사회는 6명이었다. 그중 3명이 효과적 이타주의자로 분류된다. 그중 하나인 일리야 수츠케버가 이번 쿠데타를 주도했다. 수츠케버는 오픈AI 공동 설립자이자 수석 과학자다. 올트먼이 상업용 AI에 집중한다면, 수츠케버는 안전장치에 집중한다. 수츠케버는 오픈AI에서 슈퍼얼라인먼트(superalignment) 팀을 이끌어 왔다. 팀 이름처럼 사용자의 의도와 AGI의 행동을 정렬시키는 팀이다. 인간의 가치와 목표를 이해할 수 있는 AGI를 개발하고, AGI가 인간이 정한 목표를 벗어나지 않고 일관되게 작동하도록 보장하는 방법을 연구한다. 즉 AGI의 오작동을 방지하는 연구를 하는데, 여기에 회사 컴퓨팅 자원의 최대 20퍼센트를 투입한다.
Don’t Look Up
인류 역사의 최대 진보가 될 수도 있고, 멸망이 될 수도 있는 AGI는 그럼 언제쯤 등장할까. 몇 년 전까지만 해도 전문가들은 2100년은 돼야 한다고 내다봤다. 그런데 올해 들어 그 시기가 2032년까지 앞당겨졌다. 효과적인 이타주의자들에겐 인류 멸망을 막을 시간이 9년밖에 남지 않았다. 영화 〈돈 룩 업〉과 비슷한 상황이다. 지구를 향해 혜성이 날아오고 있는데, 의사 결정권자는 혜성의 광물 자원에만 관심을 두고 있다. 챗GPT는 오픈AI의 히트 상품이지만, 수츠케버에겐 자신과 조직의 미션 달성을 가로막는 장애물에 가깝다. 올트먼은 기술 대기업과 협업해 AI 제품과 서비스 출시를 준비해 왔는데, 수츠케버 입장에선 안전장치 개발에 투입해야 할 소중한 인적, 물적 자원이 낭비되는 것이다.
오픈AI의 새 이사회
실패한 쿠데타는 숙청을 불렀다. 5일 만에 회사로 돌아온 올트먼은 쿠데타에 가담한 이사진을 모두 해임했다. 아담 디안젤로만 남겼다. 쿼라 CEO인 디안젤로는 효과적 가속주의자라고 할 수는 없지만, 그래도 개발에 속도를 내자는 편이다. 새 이사회는 올트먼과 디안젤로, 새로 선임된 이사 두 명으로 구성됐다. 새 이사는 브렛 테일러와 래리 서머스다. 이사회 의장에 선임된 브렛 테일러는 세일즈포스 공동 CEO 출신이다. 재임 당시 역대급 딜인 슬랙 인수를 성사시킨 장본인이다. 향후 공격적인 인수, 합병을 이끌 수 있다. 게다가 그는 올해 3월 비밀리에 AI 스타트업을 창업해 벌써 2000만 달러를 투자받았다. 또 다른 신임 이사인 래리 서머스는 미국 재무부 장관 출신이다. AI의 밝은 미래를 지지하는 그는 미국과 유럽의 규제에 적절히 대응할 수 있는 로비 능력이 있다.
액셀에 발을 올린 올트먼
그동안 올트먼은 AGI 개발의 가속과 감속 사이에서 균형을 강조해 왔다. 그러나 이번 해임 소동으로 가속 쪽으로 기울 것으로 보인다. 올트먼은 스스로 어느 진영이라고 밝힌 적은 없지만, 사고방식은 효과적 가속주의자와 비슷하다. 더구나 그를 막아서던 효율적 이타주의자들도 이번에 싹 정리됐다. 해임 이틀 전 올트먼은 《뉴욕타임스》와 가진 인터뷰에서 이렇게 말했다. “실험실에서는 기술과 사회가 어떻게 공진화할지 알 수 없습니다. 모델이 할 수 있는 일과 없는 일을 말할 수는 있지만, 이 모델이 사회와 함께 어떻게 발전할지는 정확히 설명할 수 없습니다. 사람들이 뭘 하고 있는지, 어떻게 사용하고 있는지를 살펴봐야 합니다. 이건 공개하지 않고는 일어날 수 없는 일입니다.” 효율적 가속주의자들은 AGI가 불러올 수 있는 위험에도 불구하고 미래를 낙관하며 하루라도 빨리 AGI를 만들고자 한다. 올트먼이 그렇다. 복귀한 올트먼은 이제 가속주의의 액셀을 밟을 것이다.
IT MATTERS
AGI를 개발하는 업계에서 자체적으로 규칙을 정해 개발 속도를 늦추는 건 현실적으로 어렵다. 실리콘밸리의 개발자들에게 윤리 의식이 부족해서가 아니다. 살펴봤듯 그들 중 다수는 AI가 인류에게 진보를 가져다줄 것이고, 위기가 있다 해도 그 위기마저 극복하게 해줄 것이라 믿기 때문이다. 동시에 그들은 아무도 하지 못한 어려운 일을 달성하고 싶어 한다. 1960년대에 인류를 달에 보내려고 했던 것처럼 말이다.
업계의 속도 조절을 기대하기 어렵다면 대신 정책 대응 속도라도 높여야 한다. 이런 걸 하라고 정부가 있고 국제단체가 있다. 무엇보다 AGI 거버넌스 구축이 시급하다. 5일간의 소동만 봐도 그렇다. 인류를 위해 AGI를 만들겠다던 사람은 AI로 장사할 생각만 하다가 쫓겨났다. AGI의 잠재적 위험에 대비해 안전장치를 달겠다던 사람은 3일 후도 예견하지 못하고 번복할 결정을 내렸다. 또한 이 사태에 조금이라도 관련된 모두가 이 난장판을 X(옛 트위터)에 생중계했다. 토론도 없고 논쟁도 없고 숙의도 없었다.
인류의 미래를 어디로 데려갈지 아직 알 수 없는 놀라운 신기술의 개발 속도를 소수의 테크 업계 명사에게만 맡겨서는 안 된다. 중대한 의사 결정을 하루 이틀 만에 뒤집는 사람들에게 인류 미래를 맡길 수는 없다. 하물며 중고 물품을 사고팔 때도 그런 사람과는 거래하지 않는다. 변덕스러운 몇몇이 AGI 개발의 속도를 결정하지 않도록 거버넌스를 하루 속히 구축해야 한다. 오픈AI 혼란의 5일이 남긴 시사점이다.
샘 올트먼이 돌아왔다. 오픈AI 이사회에 의해 회사에서 해고된 지 5일 만에 CEO로 복귀했다. 쿠데타에 가담했던 이사들은 모두 해임됐다. 올트먼이 쫓겨난 이유는 밝혀지지 않았지만, 그가 AI의 급진적인 상용화를 추진했기 때문이라는 평가가 많다. 비영리 단체인 오픈AI는 올트먼 재집권 이후 각종 영리사업에 더 공격적으로 나설 가능성이 크다. (올트먼 해임 과정을 해설한 11월 21일 explained 읽기)
WHY NOW
오픈AI 혼란의 중심에는 철학적 충돌이 있다. AI가 인류를 진보시킨다는 효과적 가속주의와 AI가 인류를 멸망시킬 수 있다는 효과적 이타주의의 충돌이다. 전자는 AI가 인류의 다음 진화 단계라고 믿는다. 후자는 AI가 희귀 광물은 많지만 까딱하면 지구로 날아올 수 있는 혜성이라고 믿는다. 이번 쿠데타에서는 전자가 승리했다. 그러나 앞으로 더 많은 전투가 남아 있다. 오픈AI의 짧은 역사를 따라가며 두 진영의 대결을 살펴본다.
종차별주의자
일론 머스크와 래리 페이지는 절친한 사이였다. 2013년 나파 밸리에서 열린 머스크의 생일 파티에서 말싸움을 벌이기 전까지는 말이다. 주제는 AGI(Artificial General Intelligence, 일반 인공지능)였다. 페이지는 AGI가 인간을 대체할 수 있다고 주장했다. 인간의 의식이 복제된 기계라면 인간만큼 소중하다는 논리였다. 머스크도 이날만큼은 일반인과 생각이 비슷했다. 그는 안전장치를 준비하지 않으면 AGI가 인류를 멸망시킬 수 있다고 반박했다. 페이지는 머스크가 자신의 종(種)만, 그러니까 인간만 우월하게 여기는 ‘종차별주의자’라고 비난했다. 머스크가 말했다. “그래. 나 친인류다. 인류 존X 좋아(Yes, I am pro-human, I fucking like humanity, dude).”
효과적 가속주의
래리 페이지 같은 사람을 효과적 가속주의(Effective Accelerationism·e/acc)자라고 한다. 기술과 자본의 힘을 극한까지 사용해 ‘어떤 대가를 치르더라도’ 급진적인 사회 변화를 주도하자는 개념이다. 효과적 가속주의는 실리콘밸리의 신흥 종교에 가깝다. 기술을 신봉하는 그들은 실리콘으로 의식까지 만들어 낼 수 있다고 믿는다. 그게 AGI다. 나파 밸리에서 둘이 다툰 이듬해인 2014년, 래리 페이지의 구글은 딥마인드(DeepMind)를 인수한다. 알파고를 만든 그 회사다. 딥마인드는 당시 전 세계 AI 개발자의 4분의 3을 장악하고 있었다. ‘친인류’ 머스크는 AI의 미래를 페이지가 좌우하는 걸 막기 위해 2015년 샘 올트먼 등과 함께 오픈AI를 설립한다. 인류에게 이익이 되는 방향으로 AI를 개발하기로 한다.
효과적 이타주의
효과적 가속주의의 정반대 지점에 효과적 이타주의(Effective Altruism·e/a)가 있다. 단순히 좋은 일을 하는 데 그치지 않고 가장 효과적으로 좋은 일을 하는 방법을 찾아야 한다는 개념이다. 다르게 말하면 엄청나게 많은 돈을 벌어서 그 돈으로 세상을 더 나은 방향으로 바꾸자는 주의다. 이 진영을 이끌던 사람 중 하나가 암호 화폐 거래소 FTX를 세운 샘 뱅크먼-프리드다. 최근 사기 혐의로 재판에 넘겨져 최대 110년형을 받을 수도 있는 사람이다. 효과적 이타주의자들은 AGI가 인류의 미래를 파괴할 위험이 있기 때문에 안전장치를 시급히 마련해야 한다고 믿는다. 그래서 이들은 AGI의 폭주를 막을 프로젝트에 연구비를 지원해 왔다. 대표적인 곳이 오픈AI다.
슈퍼얼라인먼트
올트먼 해임 사태 전까지 오픈AI 이사회는 6명이었다. 그중 3명이 효과적 이타주의자로 분류된다. 그중 하나인 일리야 수츠케버가 이번 쿠데타를 주도했다. 수츠케버는 오픈AI 공동 설립자이자 수석 과학자다. 올트먼이 상업용 AI에 집중한다면, 수츠케버는 안전장치에 집중한다. 수츠케버는 오픈AI에서 슈퍼얼라인먼트(superalignment) 팀을 이끌어 왔다. 팀 이름처럼 사용자의 의도와 AGI의 행동을 정렬시키는 팀이다. 인간의 가치와 목표를 이해할 수 있는 AGI를 개발하고, AGI가 인간이 정한 목표를 벗어나지 않고 일관되게 작동하도록 보장하는 방법을 연구한다. 즉 AGI의 오작동을 방지하는 연구를 하는데, 여기에 회사 컴퓨팅 자원의 최대 20퍼센트를 투입한다.
Don’t Look Up
인류 역사의 최대 진보가 될 수도 있고, 멸망이 될 수도 있는 AGI는 그럼 언제쯤 등장할까. 몇 년 전까지만 해도 전문가들은 2100년은 돼야 한다고 내다봤다. 그런데 올해 들어 그 시기가 2032년까지 앞당겨졌다. 효과적인 이타주의자들에겐 인류 멸망을 막을 시간이 9년밖에 남지 않았다. 영화 〈돈 룩 업〉과 비슷한 상황이다. 지구를 향해 혜성이 날아오고 있는데, 의사 결정권자는 혜성의 광물 자원에만 관심을 두고 있다. 챗GPT는 오픈AI의 히트 상품이지만, 수츠케버에겐 자신과 조직의 미션 달성을 가로막는 장애물에 가깝다. 올트먼은 기술 대기업과 협업해 AI 제품과 서비스 출시를 준비해 왔는데, 수츠케버 입장에선 안전장치 개발에 투입해야 할 소중한 인적, 물적 자원이 낭비되는 것이다.
오픈AI의 새 이사회
실패한 쿠데타는 숙청을 불렀다. 5일 만에 회사로 돌아온 올트먼은 쿠데타에 가담한 이사진을 모두 해임했다. 아담 디안젤로만 남겼다. 쿼라 CEO인 디안젤로는 효과적 가속주의자라고 할 수는 없지만, 그래도 개발에 속도를 내자는 편이다. 새 이사회는 올트먼과 디안젤로, 새로 선임된 이사 두 명으로 구성됐다. 새 이사는 브렛 테일러와 래리 서머스다. 이사회 의장에 선임된 브렛 테일러는 세일즈포스 공동 CEO 출신이다. 재임 당시 역대급 딜인 슬랙 인수를 성사시킨 장본인이다. 향후 공격적인 인수, 합병을 이끌 수 있다. 게다가 그는 올해 3월 비밀리에 AI 스타트업을 창업해 벌써 2000만 달러를 투자받았다. 또 다른 신임 이사인 래리 서머스는 미국 재무부 장관 출신이다. AI의 밝은 미래를 지지하는 그는 미국과 유럽의 규제에 적절히 대응할 수 있는 로비 능력이 있다.
액셀에 발을 올린 올트먼
그동안 올트먼은 AGI 개발의 가속과 감속 사이에서 균형을 강조해 왔다. 그러나 이번 해임 소동으로 가속 쪽으로 기울 것으로 보인다. 올트먼은 스스로 어느 진영이라고 밝힌 적은 없지만, 사고방식은 효과적 가속주의자와 비슷하다. 더구나 그를 막아서던 효율적 이타주의자들도 이번에 싹 정리됐다. 해임 이틀 전 올트먼은 《뉴욕타임스》와 가진 인터뷰에서 이렇게 말했다. “실험실에서는 기술과 사회가 어떻게 공진화할지 알 수 없습니다. 모델이 할 수 있는 일과 없는 일을 말할 수는 있지만, 이 모델이 사회와 함께 어떻게 발전할지는 정확히 설명할 수 없습니다. 사람들이 뭘 하고 있는지, 어떻게 사용하고 있는지를 살펴봐야 합니다. 이건 공개하지 않고는 일어날 수 없는 일입니다.” 효율적 가속주의자들은 AGI가 불러올 수 있는 위험에도 불구하고 미래를 낙관하며 하루라도 빨리 AGI를 만들고자 한다. 올트먼이 그렇다. 복귀한 올트먼은 이제 가속주의의 액셀을 밟을 것이다.
IT MATTERS
AGI를 개발하는 업계에서 자체적으로 규칙을 정해 개발 속도를 늦추는 건 현실적으로 어렵다. 실리콘밸리의 개발자들에게 윤리 의식이 부족해서가 아니다. 살펴봤듯 그들 중 다수는 AI가 인류에게 진보를 가져다줄 것이고, 위기가 있다 해도 그 위기마저 극복하게 해줄 것이라 믿기 때문이다. 동시에 그들은 아무도 하지 못한 어려운 일을 달성하고 싶어 한다. 1960년대에 인류를 달에 보내려고 했던 것처럼 말이다.
업계의 속도 조절을 기대하기 어렵다면 대신 정책 대응 속도라도 높여야 한다. 이런 걸 하라고 정부가 있고 국제단체가 있다. 무엇보다 AGI 거버넌스 구축이 시급하다. 5일간의 소동만 봐도 그렇다. 인류를 위해 AGI를 만들겠다던 사람은 AI로 장사할 생각만 하다가 쫓겨났다. AGI의 잠재적 위험에 대비해 안전장치를 달겠다던 사람은 3일 후도 예견하지 못하고 번복할 결정을 내렸다. 또한 이 사태에 조금이라도 관련된 모두가 이 난장판을 X(옛 트위터)에 생중계했다. 토론도 없고 논쟁도 없고 숙의도 없었다.
인류의 미래를 어디로 데려갈지 아직 알 수 없는 놀라운 신기술의 개발 속도를 소수의 테크 업계 명사에게만 맡겨서는 안 된다. 중대한 의사 결정을 하루 이틀 만에 뒤집는 사람들에게 인류 미래를 맡길 수는 없다. 하물며 중고 물품을 사고팔 때도 그런 사람과는 거래하지 않는다. 변덕스러운 몇몇이 AGI 개발의 속도를 결정하지 않도록 거버넌스를 하루 속히 구축해야 한다. 오픈AI 혼란의 5일이 남긴 시사점이다.