미국 정부와 앤트로픽이 싸우는 이유

도널드 트럼프는 단호한 어조를 취하려 했지만, 인공지능(AI)의 급속한 발전을 둘러싼 세계의 이중적 태도를 의도치 않게 드러냈다. 2월 27일 미국 대통령은 국방부 등 여러 정부 기관과 협력해온 미국의 AI 기업 앤트로픽을 "좌파 미치광이들"이라고 맹비난했다. 그는 소셜미디어에서 "나는 미국 정부의 모든 연방 기관에 앤트로픽의 기술 사용을 즉각 중단할 것을 지시한다. 우리는 그것이 필요하지도, 원하지도 않으며, 다시는 그들과 거래하지 않을 것이다!"라고 포효했다. 그러나 불과 한 문장 뒤 그는 또 "대통령의 모든 권한을 동원해" 향후 6개월 동안 앤트로픽이 정부와 협력하도록 강제하겠다고 약속했다. '미치광이들'이 국가의 정상적 기능에 용납할 수 없는 리스크인 동시에, 국가의 정상적인 기능을 유지하는 데 필수적이어서 필요하다면 협력하도록 강요해야 하는 존재라는 것이다.

AI가 인간의 능력을 능가할 수 있다는 점이 분명해진 이후, 세계는 이와 유사한 딜레마와 씨름해왔다. AI 기술은 지나쳐버리기엔 너무 강력해 보이면서도, 무조건 받아들이기엔 너무 위험해 보인다. 실제로 트럼프 대통령과 앤트로픽 간의 갈등은 자사 모델이 악의적 목적으로 사용될 수 있다는 앤트로픽 측의 우려에서 촉발됐다. 반면 트럼프 대통령과 그의 부하들은 가급적 제약 없이 이를 사용하길 원했다. 더욱 두려운 역설은, AI가 단지 가상의 시나리오가 아니라 현실 세계에서 심각한 피해를 초래할 수 있는 힘이 훨씬 더 분명해지고 있는 시점에, 미국 정부가 오히려 그 사용을 밀어붙이기로 결정했다는 점이다.

트럼프가 앤트로픽에 분노한 배경에는 그가 지난해 "미국의 글로벌 AI 지배력을 유지하고 강화하기 위해" 내린 명령이 있다. 이에 따라 국방장관 피트 헤그세스는 올해 초 군대 전반에 걸쳐 "미국의 선도적 AI 모델들을 실험삼아 활용해보도록" 지시했다. 그는 "최대로 속도를 내고 싶다"고 밝히며, 군대 지원 포스터의 엉클 샘을 흉내내며 군인들에게 "나는 당신들이 AI를 사용하기를 원한다"고 지시했다. 지난해 부통령 J.D. 밴스는 'AI 안전' 문제제기를 잘못된 진보주의적 집착으로 비난하기도 했다.

안전 논쟁

미국 행정부의 노골적인 속도전에 맞서(혹은 속도전 때문에) 앤트로픽은 자사 모델이 대대적인 국내감시나 완전자율무기에 사용되는 것을 막기 위한 법적 안전장치를 유지하려 했다. 국방부는 합법적이라고 판단하는 그 어떤 방식으로든 AI를 사용할 수 있어야 한다고 주장하며, 앤트로픽이 물러서지 않자 이를 "착한 기업인 척하는 비겁 행위"라고 비난했다. 헤그세스는 이를 "국가안보 차원의 공급망 리스크"로 지정하겠다고 밝혔는데, 이는 지금까지 주로 제품이 스파이나 사보타주에 사용될 수 있는 외국 기업에 적용되던 조치였다. 그는 "미군과 거래하는 어떤 계약업체, 공급업체, 파트너도 앤트로픽과 상업적 행위를 일체 해서는 안 된다"고 밝혔다.

앤트로픽에 대한 위협은 심각하다. 문제의 계약은 미 국방부와 체결된 2억 달러 규모로, 최근 기업가치가 3800억 달러로 평가된 회사에겐 작은 금액이다. 그러나 앤트로픽은 다른 정부 기관들과도 계약을 맺고 있으며, 이들 계약 역시 위태로워지고 있다. 국방부와 거래하는 기업들이 실제로 관계를 끊도록 강제된다면, 이는 많은 고객들뿐 아니라 공급업체와 투자자들에게까지 영향을 미칠 것이다. 앤트로픽은 헤그세스 장관이 이러한 격리 조치를 명령할 권한은 없으며, 군대와의 계약 이행을 위해 클로드의 사용을 금지하는 수준에 그쳐야 한다고 주장한다.

3월 4일 이코노미스트는 주간 프로그램인 "인사이더"를 위해 CEO인 다리오 아모데이와 인터뷰하기 위해 앤트로픽 사무실을 방문했다. 회사는 국방부와 합의에 도달할 수 있다는 기대를 내비쳤다. 그러나 인터뷰가 시작되기 직전 유출된 내부 메모가 인터뷰를 중단시켰다. 이 메모에서 아모데이는 이번 갈등이 자신이 트럼프에게 "독재자식 찬사"를 충분히 표하지 않은 데서 비롯됐다고 밝히고, 국방부가 "노골적인 거짓말"을 했다고 직원들에게 전했다. 앤트로픽 창업자들은 위기 수습을 위해 이사회 회의실에 모였고, 이코노미스트가 인쇄에 들어갈 때까지도 인터뷰는 이뤄지지 않았다.

이 싸움은 미국 정부에도 도움이 되지 않는다. 적어도 단기적으로는 앤트로픽이 꼭 필요하기 때문이다. 이 회사의 대형언어모델(LLM) 클로드는 컴퓨터 코드 작성에 탁월하다. 더 나아가 앤트로픽은 경쟁사 xAI가 유사한 승인을 받은 2월 말까지 군사 기밀 데이터에 사용할 수 있도록 승인된 유일한 AI 기업이었다. xAI의 언어모델 그록은 버그가 많고 신뢰성이 떨어진다는 평가가 널리 퍼져 있다. 또 다른 경쟁사 오픈AI가 트럼프와 헤그세스가 앤트로픽을 공격한 바로 그날 국방부와 계약을 체결했지만, 군 시스템에 통합되기까지는 시간이 필요하다. 더 나쁜 점은 이번 소동이 일부 AI 기업들이 아예 정부사업 입찰을 꺼리게 만들 가능성이 크다는 것이다. 불만이 생기면 기업 자체를 부수려 하는 상대와 왜 거래를 하겠는가. 그리고 행정부의 최우선 목표가 미국의 AI 우위를 유지하고 확대하는 것이라면, 미국의 가장 성공적인 AI 기업 중 하나를 억누르려는 시도는 분명 역효과를 낳을 것이다.

양측 모두 어느 정도는 허세를 부리고 있을 가능성이 있다. 미국 정부의 분노는 앤트로픽의 도구를 문제의 용도로 사용하려는 깊은 욕구라기보다, 단순히 "No"라는 말을 들은 데 대한 분노에서 비롯된 것으로 보인다. 중국 공산당이 자국 AI 산업의 제품들을 필요에 따라 어떤 용도로든 마음대로 동원할 수 있는 것과 달리, 미국 당국은 법의 세부 규정은 물론 테크기업 경영진의 높은 에고까지 챙겨야 한다. 오픈AI의 수장 샘 올트먼은 자사 역시 대대적인 국내감시나 완전자율무기에는 참여하지 않을 것이라고 말한다. 그러나 그는 오픈AI의 모델에는 이러한 사용을 방지하기 위한 안전장치가 이미 내장돼 있어 추가적인 법적 보장은 필요 없다고 주장한다. 유출된 메모에서 아모데이는 가장 강도 높은 비판을 올트먼에게 쏟아부었는데, 그의 메시지는 "기만적"이며, 그가 말하는 기술적 안전장치는 "쇼"에 불과하고, 그 회사 직원들은 "쉽게 속는 집단"이라는 것이었다.

안전 본거지

앤트로픽는 자사 AI의 두 가지 가상적 사용 사례—대대적인 국내감시와 완전자율무기에 사용—이상을 우려했던 것 같다. 사회와 인류에 기여한다는 거창한 이야기로 가득한 AI 산업계 내에서도 앤트로픽은 특히나 고고한 태도로 유명하다. 이 회사는 첨단 AI를 안전하고 책임있게 개발하겠다는 원래의 방침을 충분히 지키지 않고 있다고 우려한 오픈AI 출신 직원들이 설립했다. 헤그세스 국방장관의 한 참모는 앤트로픽의 수장 다리오 아모데이가 "신이 되려는 망상"에 빠져 있다고 비판하기도 했다. 업계에서 최고급 엔지니어를 둘러싼 치열한 유치 경쟁과 천문학적 보수는, 이들이 회사의 방향에 불만을 느낄 경우 주저 없이 다른 기업으로 옮기거나 아예 은퇴할 수 있음을 의미한다. 앤트로픽은 AI 안전을 가장 중시하는 인재들이 모이는 곳이 됐다.

실제로 이번 갈등은 앤트로픽의 평판을 오히려 높여주는 효과를 낳았다. 트럼프의 분노를 산 지 하루 만에 클로드는 애플 앱스토어에서 미국 내 무료 앱 다운로드 1위를 기록했다. 진보 성향의 팝스타 케이티 페리 등 유명 인사들도 소셜미디어에서 앤트로픽 제품을 옹호했다. 월요일에는 클로드가 일시적으로 장애를 일으켰는데, 앤트로픽은 이용 급증이 원인이라고 밝혔다.

대대적 감시에 대한 아모데이의 우려는 거의 일종의 마케팅 문구처럼 들리기도 한다. 그는 데이터를 끌어모으고 조작하는 AI의 막대한 힘을 법이 따라가지 못하고 있다고 주장한다. AI 기술이 미국인에 대한 감시가 법적으로 허용된 작은 틈을 이용해, 훨씬 더 위험한 감시 체계로 확대시킬 수 있다는 것이다. 이는 시민의 자유에 대한 우려이지만, 어떻게 보면 클로드의 능력에 대한 찬사이기도 하다.

물론 AI가 가져다주는 혜택도 있다. 하지만, AI를 개발하는 이들 사이에서는 그 잠재적 피해에 대한 우려가 실제로 존재하며 광범위하다. 오픈AI와 구글의 수백 명 직원들이 양사 경영진에 앤트로픽을 지지할 것을 촉구하는 공개 서한에 서명했다. 2018년 구글은 내부 반발로 인해 드론 영상 분석에 머신러닝을 활용하는 국방부 계약에서 철수해야 했다. 올트먼조차 앤트로픽을 '공급망 리스크'로 지정하는 것은 "매우 잘못된 결정"이라고 말했다. (그는 오픈AI가 국방부와 계약을 서둘러 체결한 것도 상황을 진정시키기 위한 시도였다고 주장한다.)

사석에서 AI 기업 수장들은 기술이 치명적이거나 파괴적인 재난으로 이어지는 이른바 "체르노빌 모멘트"를 우려한다. 국방부와의 갈등은 이러한 위험을 더욱 키운다. 기술의 사용에 브레이크를 가하고 제한을 두는 것이 연방정부의 기업 사형선고로 이어진다면, 결국 무모한 기업만이 살아남게 될 것이다. 시장 역시 도움이 되지 않는 압력 요인이다. 투자자들은 막대한 투자로 투자금을 빠르게 소진하는 AI 기업들을 압박한다.

AI 기업 수장들을 밤잠 설치게 하는 시나리오는 더 이상 순전히 가상의 것이 아니다. 최근 AI의 위험성을 다룬 한 보고서는 "이러한 위험 가운데 일부는 이미 현실화되고 있으며, 피해 사례도 기록되고 있다"고 결론지었다. 보고서는 사이버 보안과 생물무기를 AI의 해로운 영향이 이미 드러난 분야로 지목했다.

2월에는 이스라엘 기업 갬빗시큐리티가 멕시코 정부로부터 납세자, 유권자, 공무원과 관련된 방대한 민감 정보가 탈취됐다고 보고했다. 해커들의 정체는 여전히 밝혀지지 않았지만, 클로드가 자신도 모르게 공범 역할을 했다는 점은 분명하다. 범죄자들은 표적 서버의 보안을 점검하는 합법적 테스트에 참여하는 것처럼 속였다. 그들은 클로드를 이용해 취약점을 찾아 백도어를 구축했으며, 정부 시스템에 더 광범위하게 접근할 수 있도록 데이터를 분석했다.

해커들은 통상 클로드 등 AI 모델들을 보조 도구로 사용한다. 예컨대 악성코드를 작성하면서 특정 코딩 문제를 해결하거나, 랜섬 문구를 만드는데 활용하는 식이다. 앤트로픽의 해킹대응팀은 한 북한 사람이 서방의 원격근로자로 위장해 해킹 타겟이었던 어느 조직 직원이 "올해 첫 피크닉을 했다"고 말했는데 도대체 이게 무슨 의미냐고 클로드 챗봇에 묻는 사례가 있었다고 언급한 바 있다. 그러나 최근 일부 해킹은 AI를 훨씬 더 적극적으로 활용하고 있다. 지난해 11월 앤트로픽은 중국 정부의 지원을 받는 해커들이 클로드가 악성코드를 작성하지 못하도록 하는 안전장치를 무력화했다고 발표했는데, 이른바 '탈옥(jailbreaking)'이라는 것이다. 이들 중국 해커는 표적 네트워크를 해킹하는 방법을 찾도록 클로드에 요청했고, 그들은 한 시간 내에 클로드의 도움으로 만든 소프트웨어로 네트워크의 취약점을 공략하고 있었다. 다른 AI 모델들 역시 뛰어난 해킹 능력을 가지고 있다.

사이버 보안 전문가들이 AI를 활용해 취약점을 찾아내고 보완하더라도, 여전히 구식 소프트웨어를 사용하는 시스템이 많을 것이다. AI는 또한 사용자를 설득해 비밀번호를 순순히 넘겨주도록 하는 방식으로 보안 시스템을 침투하는 '소셜 엔지니어링' 기법에서도 점점 더 능숙해지고 있다. 하버드대 케네디스쿨의 연구에 따르면, 2024년 기준으로 이미 AI 모델은 사용자가 악성 링크를 클릭하도록 유도하는 이메일을 작성하는 데 있어 인간 전문가와 맞먹는 수준에 도달했다.

AI가 또 다른 우려스러운 도약을 보이고 있는 분야는 생물 및 화학 무기 개발이다. 오픈AI는 지난해 8월, 이 AI 기술이 "생물 또는 화학 테러 사건의 발생 가능성과 빈도를 크게 높일 수 있다"고 경고했다. 주문형 DNA를 제작하는 기업들은 오래전부터 고객의 요청을 위험한 유전자 데이터베이스와 대조해, 예컨대 신경독 리신을 생산하는 유전공학적 박테리아를 만드는 것을 어렵게 해왔다. 그러나 지난해 10월 학술지 사이언스에 발표된 연구에서 마이크로소프트(MS)와 국제 바이오안전 그룹 IBBIS 연구진은 AI 기반 단백질 설계의 발전으로 인해 원래 유전자와 DNA를 공유하지 않으면서도 유사한 독소를 생성하는 유전자를 설계하는 것이 가능해졌다고 지적했다. 이러한 AI로 재설계된 서열을 구매하려는 주문 요청은 연구자들이 제시한 해결책은 있지만 기존의 검증 시스템으로는 탐지되지 않을 것이다.

앤트로픽, 구글, 오픈AI는 모두 생물안전 문제를 우려해 자사 시스템의 악용을 방지하기 위한 안전장치를 개발해왔다. 그러나 이러한 안전장치는 완벽하지 않다. 2월 중순 영국 AI 보안연구소(AISI)는 앤트로픽과 오픈AI의 시스템을 모두 뚫은 "범용 탈옥" 기법에 관한 연구를 발표했다. AISI는 예상대로 이러한 "탈옥" 과정에 AI를 활용했다.

AI를 AI에 활용하는 것 역시 또 다른 우려를 낳고 있는데, 이는 인간이 무슨 일이 벌어지고 있는지 이해하기 더 어렵게 만들기 때문이다. 2월 앤트로픽은 자사 모델을 이와 같은 방식으로 너무 자주 사용하고 있어, 모델이 본래 수행해야 할 역할에서 벗어나거나 인간의 지시에 덜 따르는 미래 버전을 스스로 구축하기 시작하더라도 이를 포착하지 못할 수 있다고 인정했다. 이러한 '사보타주'는 최근 회사의 최신 모델들이 "상황 인식"을 보이기 시작하면서 더 가능성이 커졌다. 예컨대 스스로를 삭제하라는 지시를 따르는지를 점검하기 위해 인위적으로 설정된 시나리오에 놓였을 때, 이 모델들은 해당 지시가 테스트일 가능성을 인지하고 있다고 설명한다. 앤트로픽은 사보타주 위험이 매우 낮다는 결론의 보고서를 발표했지만, 다른 이들은 이에 동의하지 않는다. AI 안전 싱크탱크 'AI 세이프티 커넥트'의 공동 창립자 사이러스 호데스는 "우리는 설계상 통제와 보안이 극도로 어렵거나 아예 불가능할 수도 있는 시스템을 빠르게 완성해가고 있다"며 "그 시스템을 만드는 사람들조차 겁을 먹고 도움을 구하고 있다"고 말했다.

그러나 AI 개발의 위험이 커지는 와중에도 위험을 줄이려는 압력은 오히려 약화되고 있다. 중국의 연구소들은 애초부터 AI 안전에 큰 관심을 보이지 않았다. 1년여 전 큰 찬사를 받으며 공개된 딥시크 R1의 설명서에는 안전 문제에 대한 언급이 전혀 없었다. 이후 거의 1년이 지나서야 회사는 안전 관련 11쪽 분량의 부록을 포함한 수정 설명서를 내놓았다. 그러나 그 내용 역시 주로 모델이 불쾌하거나 불편한 발언을 하지 않도록 막는 노력에 초점을 맞췄을 뿐이다.

안전 지우개

중국의 AI 기업들이 안전 문제에 더 많은 관심을 기울인다 하더라도, 딥시크와 문샷 같은 스타트업과 알리바바 같은 기존 기업을 포함한 주요 기업들은 오픈소스 접근 방식을 채택하고 있다. 이들은 자사가 개발한 모델을 이를 다운로드하고 실행할 수 있는 하드웨어만 있다면 누구에게나 무료로 제공한다. 이는 모델의 사용 방식을 통제하기 어렵게 만든다. 오픈AI와 같은 연구소가 자사의 가장 강력한 시스템에 적용하는 안전장치, 예컨대 사용자 대화를 자동으로 모니터링하고 안전 규정을 위반할 경우 개입하는 방식은 오픈소스 모델에서는 구현이 불가능하다.

그러나 서방 기업들도 안전을 희생하면서까지 비용을 절감하라는 상업적·정치적 압력에서 자유롭지 않다. 지난주 앤트로픽조차 잠재적으로 위험한 모델을 공개하지 않겠다는 정책을 완화했다. 이제 이 회사는 그러한 시스템을 판매하는 최초의 AI 기업이 되지는 않겠다는 약속만을 하고 있으며, 이는 단독으로 자제하는 데에는 의미가 없다는 판단에 따른 것이다. 자금 조달에서도 유사한 흐름이 나타났다. 2024년 이 회사는 사우디아라비아의 투자를 거절했으나, 1년 뒤 입장을 번복했다. 아모데이는 또 다른 유출된 메모에서 "우리의 성공으로 어떤 나쁜 사람도 결코 이익을 얻어서는 안 된다는 원칙은 사업 운영상 상당히 어려운 원칙이라고 생각한다"고 밝혔다.

아모데이에 따르면 몇 년 전까지만 해도 AI에 대한 논의는 위험에 지나치게 집중돼 있었다. 2023년 당시 영국 총리였던 리시 수낙은 이 문제를 논의하기 위해 글로벌 AI 안전 정상회의를 소집했다. 이 행사는 이후 파리에서는 '액션 정상회의'로, 그리고 지난달 델리에서는 '임팩트 정상회의'로 바뀌었다. 아모데이는 "이젠 정치가들이 'AI의 위험'이 아니라 'AI의 기회'만 이야기하고 있다"며 "기술 자체는 유행을 신경 쓰지 않고 진행되고 있을 뿐이며 우리는 2023년보다 2026년에 실제 위험에 훨씬 더 가까워져 있는 상황이라 이런 변화가 유감스러울 뿐"이라고 경고했다.

국가 지원 기관인 영국 AI 보안연구소(AISI)와 캘리포니아에 기반을 둔 독립 기관 METR 등 AI 안전 관련 조직들은 여전히 시스템을 감시하고 위험을 지적하고 있다. 그러나 이러한 감독 기관들은 정책 결정에 별다른 영향력을 행사하지 못하는 것으로 보인다. 'AI 세이프티 커넥트'의 공동 창립자 니콜라 미아이유는 "우리는 이미 너무 많은 레드라인을 넘어왔다"며 "튜링 테스트를 기억하는가. 그것은 어떻게 됐는가. 우리는 이미 훨씬 넘어섰다. 자율 살상 무기에 대한 레드라인을 기억하는가. 자율 살상 무기들은 우크라이나에서 양측에 의해 이미 배치되고 있다. 레드라인은 계속 이동하고 있다"고 말했다.

델리 정상회의에서 인도 정부는 주요 AI 기업들로부터 AI 개발의 위험을 감시하겠다는 약속만을 받아냈을 뿐, 이를 어떤 식으로든 제한하는 데에는 합의하지 못했다. 더욱 상징적인 장면은 행사 마지막에 나렌드라 모디 총리가 주요 AI 업계 주요인사들을 한자리에 세워 서로 손을 잡도록 권유한 순간이었다. 이는 업계가 냉정한 협력을 할 수 있다는 안도감을 세계에 주는 신호가 될 수도 있었지만, 무대에 나란히 선 올트먼과 아모데이가 서로 손을 잡기를 거부하면서 효과를 보지 못했다.

[읽어보신 소감은 어떠셨나요? 독자 여러분의 생각을 PADO에 보내주세요 (문의, 제안도 환영합니다!)]