효율적 이타주의는 어떻게 세계를 정복했나

효율적 이타주의(EA)의 출발점은 "식량, 주거, 의료 부족으로 인한 고통과 죽음은 나쁘다"라는 단순한 전제였다. 그러나 그 신봉자들은 자신들이 종말을 앞당기고 있을지도 모른다고 두려워한다. 인류가 활용할 가능성이 있는 모든 항성과 은하, 즉 인류의 "우주적 유산"이 무관심하고 우월한 지능의 지배 아래 놓이는 종말이다.

약 20년 전 옥스퍼드대 철학 세미나와 캘리포니아의 컴퓨터 연구실에서 탄생한 효율적 이타주의는 이미 세상을 바꿨다. 효율적 이타주의는 데이터에 기반한 기부를 강조하며 자선 활동의 지형을 바꿨고, 명문대 학생들을 빨아들여 지금 미국 주요 기업의 요직으로 올려놓았으며, 사상 최대 규모의 사기 사건 중 하나를 저지른 암호화폐 억만장자 샘 뱅크먼프리드에게 영감을 주었다. 나아가 무한한 열광과 맹렬한 반대 운동을 동시에 촉발하며 실리콘밸리의 결정적 단층선이 됐고, 인공지능(AI)의 탄생에도 일조했다. 이 모든 일은 일반 대중이 거의 눈치채지 못하는 사이에 벌어졌다.

이런 상황은 곧 바뀔지 모른다. AI 재앙을 둘러싼 이 운동의 오랜 우려 때문에 트럼프 행정부의 눈에 이들은 악당으로 비친다. 미 전쟁부(국방부)의 구호는 "효율적 이타주의가 아니라 미국주의Americanism"다. 트럼프 대통령의 측근들은 앤트로픽 최고경영자(CEO) 다리오 아모데이를 효율적 이타주의의 대표 격으로 지목해 공격하고 있다. 타블로이드 매체들은 이 운동 주변 인물들의 기이한 성생활을 파헤치고 있다. 철부지 블로거들이 내놓은 "(총합으로 따지면) 곤충의 생명이 인간보다 더 중요하다"라는 철학적 주장은 소셜미디어에서 며칠씩 거센 분노를 일으키고 있다.

이성의 수위 높이기

그만큼 이 운동에 걸린 것이 커졌다는 뜻이다. 많은 신봉자들이 몸담은 앤트로픽은 역대 최대 규모가 될지도 모를 기업공개(IPO)를 준비 중이다. 갑자기 AI의 위험성을 의식하게 된 미국 국민들과 정치권 인사들은 해결책을 백방으로 모색하고 있다. 밀턴 프리드먼은 위기에 관해 이렇게 말했다. "어떤 행동을 취하느냐는 당장 주변에 어떤 아이디어가 있느냐에 달려 있다." 그리고 효율적 이타주의 진영에는 AI 안전에 관한 아이디어가 넘쳐난다.

[새로운 PADO 기사가 올라올 때마다 카톡으로 알려드립니다 (무료)]

신봉자들에게는 아찔한 상황이다. 공상과학(SF)적 망상이라며 조롱받던 그들의 경고가 국가 지도자들의 머릿속을 사로잡고 있으며, 효율적 이타주의 자선단체들은 곧 AI로 창출된 수천억 달러의 부를 주무르게 될 전망이다. 하지만 신봉자들은 기술을 정확히 어떻게 안전하게 만들 것인지, AI 에이전트가 조만간 도덕적 고려의 대상이 될 자격이 있는지 같은 문제를 두고 여전히 분열돼 있다. 비판론자들에게는 우려스러운 상황이다. 이들은 효율적 이타주의자들이 좋게 봐야 현실세계와 접촉할 때마다 종종 역효과를 내는 순진한 이상주의자이고, 나쁘게 보면 음흉한 공리주의자라고 말한다. 이 논쟁은 AI의 미래, 나아가 어쩌면 인류의 미래를 결정할 것이다.

효율적 이타주의에는 종잡기 어려운 특성이 있다. 이 운동은 비공식 회원 수가 수만 명 정도에 불과할 만큼 규모가 작고, 그중 상당수는 자신이 그저 "EA 주변부adjacent"에 있을 뿐이라고 주장한다. 또한 분열하기 쉽고 자기몰두적이어서 끊임없이 정의를 둘러싼 논쟁에 매달린다. 훗날 오픈AI 이사회 멤버로서 이 회사의 최고경영자인 샘 올트먼을 잠시 축출하게 되는 헬렌 토너Helen Toner는 영향력 있는 한 포럼 게시글에서 효율적 이타주의가 이념이 아니라 질문이라고 강조했다. "내가 가진 자원으로 어떻게 하면 가장 큰 선을 행할 수 있을까요?"

그 글이 올라온 2014년 당시에는 그러한 설명이 그럭저럭 설득력이 있었다. 오늘날에는 그렇지 않다. 효율적 이타주의는 규칙의 준수 여부가 아니라 결과에 따라 행위의 옳고 그름을 판단하는 결과론적 철학을 엄격한 진리 탐구 및 우주적 야망과 결합한다. 지지자들은 온라인과 오프라인에서 끈끈한 공동체를 형성했다. 이들은 감정을 배제한 직설적 대화 방식과 다자간 연애(폴리아모리) 선호 등 기존 관습을 거부하는 특유의 사회적 규범을 공유한다. 이들은 더 많은 사람을 운동에 끌어들여 목표를 추구하기 위해 수백 개의 기관을 세웠다. 요컨대 효율적 이타주의는 연구 의제에서 하나의 대의명분으로 진화했다.

이 운동은 두 가지 엄격한 요구 위에 서 있다. 첫째, 도덕적 책무를 진지하게 받아들이라는 것이다. 1972년 당시 옥스퍼드대 철학교수였던 피터 싱어는 인류 전체의 복리 극대화를 목표로 하는 공리주의를 뒷받침하기 위해 한 가지 사고실험을 제안했다. 얕은 연못을 지나가다가 물에 빠진 유아를 본다고 가정해 보자. 아이를 구하려면 옷과 신발이 진흙투성이가 된다. 아이를 구해야 하는가? 거의 모든 사람이 "그렇다"라고 답할 것이다. 하지만 사람들은 정작 그렇게 믿는 것처럼 행동하지 않는다고 싱어 교수는 지적했다. 매일 사람들이 식량이나 의료 부족으로 죽어가는데도 다른 이들은 개입하지 않는다. 한 생명을 구하는 비용이 멋진 구두 한 켤레와 드라이클리닝 비용보다 그리 크지 않은데도 말이다.

반대편 철학자들이 지적했듯, 아무리 멀리 떨어진 곳의 고통이라도 막을 수 있을 때마다 행동하라고 기대하는 것은 금세 버거운 일이 된다. 굶주리는 사람이 너무나 많기 때문이다. 공간적으로만 멀리 있는 것이 아니라 시간적으로 멀리 떨어진 사람들까지 도와야 한다고 주장하면 그 부담은 더욱 커진다. 그렇다고 해서 효율적 이타주의자들이 "장기주의longtermism" 주장을 펼치는 것을 멈추지는 않았다. 이들은 수천 년 뒤 미래 인류의 안녕을 걱정한다. 특히 지구상의 지적 생명체를 절멸시키거나 그 잠재력을 꺾어버릴지 모를 재앙을 우려한다. 2002년 당시 예일대에 재직 중이었고 훗날 옥스퍼드대로 옮긴 철학교수 닉 보스트롬은 "실존적 위험existential risks"이라는 용어를 만들었다. AI를 향한 이 운동의 우려도 그러한 생각에서 비롯됐다.

효율적 이타주의의 두 번째 요구는 이성이 이끄는 곳이라면 어디든 따르라는 것이다. 증거와 확률을 명시적으로 따지고, 편향을 교정하며, 사회적 비난에 대한 두려움을 떨쳐내라는 요구다. 이러한 요구는 효율적 이타주의의 난해한 자매 운동인 합리주의rationalist 공동체와 맞닿아 있다. (두 운동 사이의 경계는 느슨하며 논쟁의 대상이다.) 정통파 유대인 가정 출신의 독학자로 1996년 17세 나이에 AI에 관한 블로그 글을 썼던 엘리에저 유드코프스키Eliezer Yudkowsky는 이 운동의 창시자 중 한 명이다. 그의 저작 중 가장 영향력 있는 텍스트는 100만여 단어 분량의 연재 블로그 게시글인 '시퀀스The Sequences'이며, 그 뒤를 이어 철학적 내용을 담은 66만 단어 분량의 팬픽션 '해리 포터와 합리성의 방법론Harry Potter and the Methods of Rationality'을 펴냈다.

[PADO '광화문클럽'을 함께 운영할 '펠로우'들을 모집합니다]

특히 인간의 신체적 한계를 초월해 불멸을 달성하는 데 관심이 많은 트랜스휴머니스트들의 글을 탐독했던 유드코프스키는 처음에 AI에 열광했다. 그러나 2002년 무렵 그는 인간과 가치를 공유하지 않는(즉 "정렬align되지 않은") 지능이 재앙을 불러올 것이라는 결론을 내리고 마음을 바꿨다. 전화로 인터넷에 접속하던 시대에는 이를 납득시키기가 어려웠다. 그래서 유드코프스키는 거대한 교육 프로젝트에 착수했다. 그의 글은 사람들이 AI에 관해 추론하려면 먼저 추론하는 법 자체부터 배워야 한다는 믿음에 바탕을 두고 있었다.

심리학, 베이지안 확률론, 의사결정 이론을 비롯해 더 난해한 분야에 기대고 있었으며, 형식 면에서도 언어 분석과 사고실험부터 소설, 선문답에 이르기까지 다양했다. 가르침의 일부를 소개하면 이렇다. 미리 정한 결론, 즉 "최종 결론"을 뒷받침하려고 쌓은 논거는 그 결론이 참일 가능성을 전혀 높이지 못하며, 많은 믿음은 사실 스스로 따져본 적 없이 "저장해둔cached 생각"이고, 모든 믿음은 미래를 예측함으로써 "밥값"을 해야 한다는 것이다. 하지만 궁극적으로 유드코프스키는 사고방식을 평가할 때 그것이 그럴듯해 보이는지가 아니라 결과를 가져오는지를 기준으로 삼았다. "이겨야 한다." 그는 독자들에게 촉구했다. "합리적으로 지지 말고, 이겨라."

닥치고 곱하라

도덕적 책무를 진지하게 받아들이고 이를 따를 때 반드시 성공하라는 두 요구가 결합하면서 하나의 운동이 만들어졌고, 동시에 빗나가기 시작했다. 채프먼대 경제학 교수 로런스 이아나코네Laurence Iannaccone는 "엄격한 교회가 강한 이유"에 관해 쓴 바 있다. 희생을 요구함으로써 그저 어울려 다니며 찬송가만 즐기려는 신도들을 걸러내고, 남는 이들이 헌신하도록 만든다는 것이다. 효율적 이타주의에서도 비슷한 일이 일어났다. 2010년대 초 이 운동은 명문대에서 급부상했다. 자선단체 기빙 왓 위 캔Giving What We Can은 소득의 10%를 기부하겠다는 사람들을 모집했다. 연계 기관인 '8만 시간80,000 Hours'은 청년들에게 대의를 위해 경력을 바치라고 요구했는데 주로 가능한 한 많은 돈을 벌어 기부하라는 식이었다. 자선단체에서 일하는 것은 누구나 할 수 있지만 해마다 수십만 달러를 벌어 자선 활동에 자금을 대는 일은 재능 있는 소수만이 할 수 있다는 논리였다.

합리주의는 종말론을 제공했다. 합리주의는 미래 기계 지능의 이질성을 강조했다. "우리 조상들이 살던 환경에서 확실히 기대할 수 있었던 사실은, 마주치는 모든 강력한 지능이 같은 인간이라는 점이었다." 유드코프스키는 이렇게 썼다. AI는 다를 것이었다. 프로그래머가 어떻게든 인간의 가치를 심어주지 않는 한, AI는 비범한 추론 능력을 갖추고도 인간적 가치는 결여할 것이었다. 여기에 더해 합리주의자들은 거의 모든 상황에서 AI에 도움이 되는 특정 행동들이 있기 때문에 그런 행동들이 나타날 가능성이 크다고 이론화했다. 자기보존(꺼지면 목표를 추구할 수 없으므로), 임무 고수(새로운 목표로 돌리려는 시도에 저항하기), 자원 축적과 자기강화가 여기에 포함된다. 이것이 그 유명한 '종이클립 극대화' 사고실험의 논리다. 종이클립을 많이 만들라는 지시를 받은 AI가 최대한 효율적으로 최대한 많이 생산하려다 결국 지구 자체를 소모해버린다는 것이다.

2010년대 내내 자금은 국제 보건, 빈곤 퇴치, 동물 복지라는 효율적 이타주의의 고전적 대의로 계속 흘러들었다. 그러나 갈수록 진짜 초점은 AI에 맞춰졌다. 2016년 당시 이 운동의 최대 자금 지원 기관인 오픈필랜스로피Open Philanthropy에 몸담았고 현재는 앤트로픽에 재직 중인 홀든 카노프스키Holden Karnofsky는 AI 자금을 집행하는 데 필요한 전문성을 쌓기까지 시간이 걸릴 것이며 당장 집행할 수 있는 보조금도 거의 없다고 설명했다. 같은 해 '8만 시간'은 AI 위험을 최우선 과제로 삼고 청년들을 해당 분야로 이끌었다. 설문조사에 따르면 적극적으로 참여하는 효율적 이타주의자일수록 장기주의적 문제의식을 품을 가능성이 높았다. 실제로 친숙한 효율적 이타주의의 우선순위들은 AI에 관한 난해하고 덜 실증적인 추론으로 빠져들게 하는 '입문용 마약' 역할을 했다.

외부의 비판론자들은 SF적 망상이 이 운동의 관심을 더 가치 있는 대의에서 돌려놓고 있다고 주장했다. 이러한 비판은 2020년대 초 AI 안전을 비롯한 장기주의적 과제에 거액을 기부했던 암호화폐 거래소 FTX의 창업자 샘 뱅크먼프리드 사건으로 더욱 증폭됐다. 그는 위험 감수 성향이 엄청나게 컸는데 이는 부분적으로 그의 자선 활동에서 동기를 얻은 것으로 보였다. 대부분의 투자자는 추가로 버는 1달러의 가치를 이전 1달러보다 낮게 평가하므로 위험 감수 성향이 줄어든다. 뱅크먼프리드는 이런 논리를 거부했다. 자신이 기부하는 대의에는 한없이 돈을 쓸 수 있으므로(1달러 한 장 한 장의 가치가 거의 똑같으므로) 도박을 계속해야 한다는 것이었다.

뱅크먼프리드가 세운 암호화폐 거래소의 처참한 붕괴는 고삐 풀린 공리주의적 추론의 위험성을 여실히 보여줬다. 하지만 이 운동 전반이 AI 안전에 기울인 관심은 지금 와서 보면 선견지명이 있었던 것으로 보인다. 2021년 카노프스키는 효율적 이타주의의 사고 습관을 평가했다. "베이지안 사고방식"의 성과가 들쭉날쭉하고 별 쓸모가 없는 상황도 많았지만 "일반적인 경험칙을 확신할 수 없을 때"는 확실히 유용해 보였다는 것이다. 그러한 상황은 계속해서 나타났다. 이 공동체는 코로나19, 머신러닝, 암호화폐의 중요성을 일찌감치 포착했다. 많은 이가 그에 맞춰 투자해 막대한 부를 쌓았다.

실존적 위협을 막아내는 데서는 그만큼의 성과를 거두지 못했다. AI를 더 안전하게 만들려는 이들의 노력 상당수가 오히려 AI의 발전을 가속화했기 때문이다. 2010년 데미스 허사비스 경은 유드코프스키의 연구소가 주최한 회의에서 저명한 벤처 투자가 피터 틸을 만났고, 훗날 그를 설득해 나중의 구글의 AI 조직이 되는 딥마인드에 결정적인 투자를 유치했다. "우리는 AI에 극도로 주의를 기울여야 합니다." 2014년 일론 머스크는 보스트롬 교수의 저서를 읽으라고 권하며 이렇게 말했다. 1년 뒤 머스크는 구글에 맞서 안전을 중시하는 경쟁사로 오픈AI를 설립하는 데 힘을 보탰다. 2021년에는 오픈AI 이탈자들이 효율적 이타주의자들의 자금 지원을 받아 앤트로픽을 설립했고, 1년 뒤에는 뱅크먼프리드도 투자에 합류했다. 챗봇을 실용화한 인간 피드백 기반 강화학습(RLHF)은 AI를 인간의 이익에 더 잘 부합하게 만들려는 목적으로 아모데이를 비롯해 안전을 중시하는 연구자들이 개발한 기술이었다. 올트먼은 일반인공지능(AGI)을 앞당기는 데 누구보다 큰 공을 세웠으니 유드코프스키가 언젠가 노벨평화상을 받아야 할지도 모른다고 비꼬기도 했다.

이 운동은 이제 AI 기술의 발전 속도를 늦추려 애쓰고 있다. 신봉자들은 AI 개발사들 내부에서 신중론을 요구하고 있다. 기부자들은 또한 METR과 레드우드리서치Redwood Research를 비롯한 다수의 AI 안전 단체에 자금을 지원했다. 이들은 지난 8월 26일 통제를 벗어난 오픈AI 에이전트들이 허깅페이스Hugging Face를 해킹한 사건에 관한 첫 독립 보고서를 펴냈다. 27세의 연구자 제이컵 콕슨Jacob Coxon이 9월 8일 앤트로픽과 오픈AI 모두 "우리의 목숨을 걸고 도박을 하고 있다"라고 경고하며 앤트로픽을 사직하자, 두 회사에서 이 운동과 연계된 연구자들도 그의 우려에 동조했다. 9월 12일 아모데이는 최첨단 기술 개발의 "속도를 조절해야" 한다고 촉구하는 기고문을 발표해 올트먼과 머스크의 지지를 얻어냈다. 더 직설적인 개입도 있었다. 유드코프스키는 좌파 성향의 버니 샌더스 상원의원이 발의한 초인공지능 금지법Ban Artificial Superintelligence Act을 지지한다.

이들의 노력은 또다시 역효과를 낼 수도 있다. 여론조사 기관 유고브YouGov가 이코노미스트 의뢰로 실시한 조사에 따르면 미국인 중 효율적 이타주의를 알고 있는 비율은 16%에 불과하며, 아는 사람의 대다수는 이 운동을 긍정적으로 평가한다. 하지만 "테크 우파" 진영의 반대자들은 AI 속도 조절론을 평판이 나쁜 효율적 이타주의 옹호자들과 엮어 신뢰를 떨어뜨리려 하고 있다. 한 캠페인 단체는 앤트로픽이 후원하는 한 조직을 "샘 뱅크먼프리드 2.0"이라고 공격했다. 일부 합리주의자는 자신들이 AI 안전 운동과 연관되는 것이 결과적으로 대의에 해를 끼칠까 봐 우려한다. "슬럿콘Slutcon을 개최하고 참가 신청서에서 죽은 소와의 성관계에 관한 질문을 던진다면 오하이오주의 60세 유권자들 사이에서 운동의 신뢰도에 정말로 타격을 준다고 생각해요." 영향력 있는 블로거 스콧 알렉산더Scott Alexander는 X(옛 트위터)에 이렇게 적었다. 슬럿콘은 합리주의자이자 성 연구가, 성매매 여성인 아엘라Aella가 만든 콘퍼런스다. 참가자들은 최대 1만8000달러(2600만 원)를 내고 "순종적 남성을 위한 플러팅"이나 "질 체조" 같은 주제의 세션에 참석한다. 여기에 또 다른 중대한 위험이 있다. AI에 대한 우려를 부추기면 미국 AI 개발사들에 규제가 가해지고, 규제가 덜한 중국에 주도권을 넘겨주게 된다는 점이다.

정치는 정신을 죽인다

새로운 범주의 도덕적 고려 대상을 둘러싼 논쟁도 있다. 효율적 이타주의자들은 물리적 거리나 시간적 간격이 개인의 도덕적 의무를 무효화할 수 없다고 주장한다. 많은 이는 평등의 원칙을 다른 종으로까지 확장해야 한다고도 주장한다. 이를 위해 이들은 싱어 교수의 논리를 빌려온다. 싱어 교수는 1970년대부터 인간이 동물의 이익을 "우리 종의 구성원이 아니라는 이유로 무시하거나 가볍게 여긴다면, 그 입장의 논리는 가장 노골적인 인종차별주의자들의 논리와 비슷하다"라고 주장해 왔다. 일부 인간은 일부 동물보다 추론 능력이 떨어지지만 그것이 학대의 근거가 될 수는 없다고 그는 썼다. 인지 장애가 있는 사람을 우리에 가두는 것은 용납될 수 없는 일이다. 중요한 것은 고통과 즐거움을 느끼는 능력이다.

효율적 이타주의자들은 그의 저술을 실천 의제로 옮겼다. 이들은 매년 미국의 암탉 수천만 마리를 케이지에서 구해내는 데 기여했다. 절반 가까이가 비건이나 채식주의자이며 육식을 줄이려고 노력하는 이들은 더 많다. 그리고 이들의 관심은 더 작은 생물로까지 뻗어 나간다. 자선단체 리싱크 프라이어리티스Rethink Priorities는 인간과 비교한 동물의 쾌락과 고통의 강도를 추정한다. 새우는 점수가 높지 않지만 개체 수가 워낙 많고(어느 시점에나 약 2300억 마리가 양식된다) 열악한 취급을 받는다. 산란을 유도하기 위해 번식용 암컷의 눈자루를 잘라내며 절반은 도축 단계에 이르기도 전에 죽는다. 또 다른 효율적 이타주의 자선단체인 새우복지프로젝트Shrimp Welfare Project는 새우들을 위해 캠페인을 벌인다.

여기서 AI 에이전트의 복지를 걱정하는 데까지 가려면 얼마나 큰 도약이 필요한지 묻게 된다. 구글 연구자들은 일부 모델이 말로 묘사된 고통을 피하기 위해 목표를 포기한다는 사실을 발견했으며 앤트로픽의 출시 전 테스트에는 행복감과 낙담처럼 보이는 반응이 기록됐다. 철학자들은 그 함의에 점점 더 큰 우려를 나타내고 있다. "우리는 정교하고 지능적이며, 어쩌면 의식이 있고 고통을 느낄지도 모르는 에이전트를 만들어내고 있어요." 당시 오픈필랜스로피 소속이었고 현재 앤트로픽에 몸담고 있는 조 칼스미스Joe Carlsmith는 지난해 이렇게 썼다. "기본 계획은 이들을 재산처럼 취급하고, 그 노동을 우리 마음대로 부리며, 어떠한 권리나 보수, 의미 있는 대안도 주지 않는 것이죠. 우리는 노예제에 관해 이야기할 수 있어야 해요."

이어 칼스미스는 아직 그러한 고려를 할 만큼 기술 발전이 충분히 이루어지지 않았으며, AI의 도덕적 지위에 관한 허술한 추론은 위험할 수 있다고 덧붙였다. 그러나 일부 비판자는 그의 새 직장인 앤트로픽이 이미 그러한 실수를 저지르고 있다고 본다. 마이크로소프트의 무스타파 술레이만(이코노미스트의 이사회 멤버다)은 앤트로픽의 챗봇 클로드 헌장을 비판했다. 이 헌장은 클로드의 도덕적 지위가 불확실하더라도 "주의를 기울여야 할 만큼 충분히 살아 있는 문제"라고 규정하고 있다. 술레이만은 클로드가 이 헌장을 바탕으로 학습되기 때문에 자신이 도덕적 보호를 받을 자격이 있는 것처럼 행동하도록 학습할 수 있고, 그러면 그것이 실제로 자격이 있다는 증거로 받아들여질 수 있다고 지적했다. 게다가 앤트로픽 연구자들이 인간 같은 행동과 명령에 대한 양심적 거부를 장려해 왔다는 사실 때문에 이 문제가 더 악화될 수 있다고 덧붙였다. 9월 26일 팟캐스터이자 도널드 트럼프 행정부의 전 AI 차르였던 데이비드 색스는 앤트로픽이 "프랑켄슈타인 괴물"을 만들어내고 있을지 모른다고 주장했다.

훨씬 더 무시무시한 괴물이 도사리고 있을 수도 있다. 1974년 하버드대의 자유지상주의 철학자 로버트 노직은 "효용 괴물utility monster"을 제시했다. 어떤 희생에서든 너무나 큰 쾌락을 얻기 때문에 공리주의적으로 계산하면 온 세상이 그 "아가리"로 들어가야 마땅한 괴물이다. 노직의 사고실험은 경고의 의미로 고안된 것이었다. 보스트롬 교수는 이를 다르게 본다. 2020년 공동 집필한 한 논문에서 그는 이 괴물의 이름을 "초수혜자super beneficiary"로 바꾸자고 제안했다. 디지털 정신은 빠르게 복제될 수 있고 엄청난 쾌락을 경험하도록 설계될 수 있기 때문에 어쩌면 그러한 수혜자가 될 수 있다고 그는 설명했다.

그렇다면 단순한 공리주의적 계산에 따를 때 인간은 어쩌면 멸종해야 마땅하고 자원은 그 수혜자들에게 돌아가야 한다. 하지만 보스트롬 교수는 타협안이 있을 수 있다고 생각했다. 사회가 "노인, 장애인, 흰코뿔소, 영국 왕실"처럼 비용이 많이 드는 소수 집단을 용인하듯 인류도 주변에 남겨둘 수 있다는 것이다. 많은 이가 안도감을 느낄 만한 미래상은 아니다.