최근 몇 달 실리콘밸리에는 새로운 열풍이 불고 있다. 스스로를 AI 도입의 선구자임을 증명하려는 기술 전문가들이 소위 '토큰맥싱(tokenmaxxing)'에 빠져들어, 누가 더 많은 토큰을 소진하는지 경쟁하고 있다 (토큰은 대형언어모델 AI가 처리하는 텍스트의 덩어리를 의미함). AI 모델의 마켓플레이스인 오픈라우터(OpenRouter)에 따르면 1월에서 3월까지 주간 토큰 사용량이 4배나 급증했다.
AI에 대한 수요가 치솟으면서, 관련 업계는 이러한 수요를 따라가지 못해 고군분투하고 있다. 기업 AI 모델로 인기가 높은 앤트로픽은 피크 시간대의 과도한 AI 서비스 사용을 제한하기 위해 3월부터 사용량 억제를 위해 구독 요금제를 변경했다. 앤트로픽의 서비스는 4월 들어 하루 평균 약 30분의 접속 장애를 겪었다. 이는 앤트로픽만의 문제가 아니다. 경쟁사인 오픈AI는 지난 3월, 부족한 컴퓨팅 용량을 더 수익성 높은 곳으로 돌리기 위해 비디오 생성 모델인 Sora AI운영을 돌연 중단했다. 마이크로소프트도 코딩 협업 사이트 깃허브(GitHub)에서 코딩 봇의 신규 구독 신청을 4월 20일부터 중단했다.
[새로운 PADO 기사가 올라올 때마다 카톡으로 알려드립니다 (무료)]
이와 같은 AI 수요에 대응하여 관련 업계는 신규 인프라 확장에 그 어느 때보다 막대한 자금을 쏟아붓고 있다. 앤트로픽은 최대 5기가와트(GW)의 서버 용량을 확보하기 위해 아마존과 1000억 달러 규모의 파트너십을 체결했다고 4월 20일 발표했으며, 대략 20%가 올해 말까지 가동될 예정이다. 구글 역시 앤스로픽의 컴퓨팅 수요를 충족시키기 위해 400억 달러를 투자할 것이라고 4월 24일에 밝혔다. 오픈AI는 마이크로소프트와의 파트너십을 재조정하여 자사의 모든 AI 도구를 클라우드 서비스업체를 통해 배포할 수 있도록 컴퓨팅 공급 유연성을 높였다고 4월 27일 발표했다.
알파벳, 아마존, 메타, 마이크로소프트, 오라클 등 소위 5대 '하이퍼스케일러'들은 각각 수천억 달러를 데이터센터에 투자하고 있다. 알파벳, 아마존, 오라클은 올해 들어서만 이미 1000억 달러 이상의 채권을 발행했다. 현금을 확보하기 위해 메타는 최근 전체 인력의 10%를 해고하겠다고 발표했고, 마이크로소프트는 직원의 약 7%에게 희망퇴직을 제안하겠다고 밝혔다.
하지만 컴퓨팅 용량을 늘리는 것은 점점 더 어려워지고 있다. 신규 데이터센터 건설에 대한 정치적 반대가 미국을 비롯 전 세계적으로 확산되고 있다. 설상가상 반도체 칩과 네트워킹 장비부터 냉각 설비까지 데이터센터를 구성하는 하드웨어 기업들의 투자는 수요를 따라잡기에는 턱없이 부족하다. 이에 따라 컴퓨팅 용량 부족에 대한 압박은 더욱 악화될 것으로 보인다.
[PADO '광화문클럽'을 함께 운영할 '펠로우'들을 모집합니다]
정치적인 문제부터 보자면, 지난 4월 미 동북부의 메인주 주의회 의원들은 2027년 11월까지 20메가와트 이상의 데이터센터 건설을 금지하는 법안을 통과시켰다. 주지사의 거부권 행사로 무산되긴 했지만, 미국의 10여 개 다른 주 의원들도 비슷한 조치를 저울질하고 있다. 한 통계에 따르면, 작년 한 해 미국에서 지역 주민의 반대와 소송으로 1560억 달러 규모의 신규 데이터 센터 건설이 중단되거나 지연되고 있다. 아일랜드와 브라질 등 다른 국가에서도 반발이 거세지고 있다. 특히 전력을 대량으로 소비하는 데이터센터가 전기 요금에 미칠 영향에 대한 우려가 널리 퍼져 있으며, 중동 지역 전쟁으로 인한 오일 가격 상승으로 이러한 우려는 더욱 심화될 수 있다.
데이터센터 건설이 승인되고 전력 송전망이나 자체 발전 시설이든 전력에 연결하게 되더라도, 데이터센터 기업들은 운영에 필요한 컴퓨팅 장비를 확보하는 데 점점 더 어려워지고 있다.
시장조사 기관 세미어낼리시스의 이반 치암은 현재 건설 중인 데이터센터를 채울 반도체 칩의 공급 부족 문제를 지적한다. 엔비디아가 설계한 GPU는 전 세계 AI 컴퓨팅 용량의 3분의 2 이상을 공급한다. 하지만 최신 GPU를 구하지 못한 고객들이 구형 GPU로 눈을 돌리면서, 2022년에 출시된 구형 H100 GPU의 서비스 비용도 지난 11월 이후 약 30% 폭등했다. 경쟁사 AI 칩 역시 구하기가 점점 어려워지고 있다. 지난 4월 아마존의 CEO 앤디 재시는 자사의 트레이니엄2(Trainium2) AI 칩 사용이 거의 매진되었다고 말했다. 내년 출시 예정인 트레이니엄4의 용량도 상당 부분 "이미 예약이 완료"되었다.
이러한 반도체 칩 공급난은 메모리 칩, 특히 AI 모델이 의존하는 고대역폭메모리(HBM)로도 번지고 있다. SK하이닉스, 삼성, 마이크론 등 3대 주요 생산업체 모두 2026년 공급 물량의 대부분이 이미 판매 완료되었다고 밝히고 있다. 지난 3월 구글이 AI가 필요로 하는 메모리 양을 줄이기 위한 알고리즘인 '터보퀀트(TurboQuant)'를 공개하면서 메모리 제조업체들의 주가가 잠시 휘청거렸을 때 일말의 희망이 보이기도 했다. 그럼에도 불구하고 HBM에 대한 수요는 최소 향후 3년 동안 공급을 초과할 것으로 예상된다.
칩 부족 사태는 이제 중앙처리장치(CPU)로도 확산되고 있다. "에이전틱(Agentic, 자율형)" AI 도구들은 계획을 세우고, 추론하며, 작업을 수행하는 작업을 조정하기 위해 이러한 CPU 칩에 더 크게 의존한다. 투자은행 모건스탠리는 챗봇 형태의 시스템이 GPU 12개당 CPU 1개를 필요로 하는 것에 비해, 에이전틱 시스템은 GPU 1개당 CPU 1개가 필요할 것으로 추산한다. 실제로 CPU에 대한 수요가 워낙 탄탄해 얼마 전까지만 해도 붕괴 위기에 처한 것처럼 보였던 인텔에 새로운 활력을 불어넣었다. CPU의 선도적 생산업체 중 하나인 미국의 칩 제조업체 인텔사 시가총액은 지난 6개월 두 배 이상 증가했다.
문제의 핵심은 AI 공급망에 있는 하드웨어 제조기업들의 생산 규모 확대를 위한 투자가 하이퍼스케일러 기업들보다 훨씬 작다는 점에 있다. 반도체 칩, 제조 장비, 서버, 네트워킹 장비, 냉각 설비를 생산하는 약 50개 대형 제조업체들의 올해 예상 자본 지출과 2024년 이후 추세를 살펴보면, 5대 하이퍼스케일러들의 자본 지출은 2340억 달러(350조원)에서 6770억 달러(1000조원)으로 약190% 증가했다. 반면, 하드웨어 공급업체들은 1530억 달러(230조원)에서 2230억 달러(345조원)으로 45% 늘리는 데 그쳤다.
최첨단 GPU 및 CPU를 공급하는 세계 최대 칩 제조 파운드리 TSMC를 예로 들어보자. 5나노미터 이하의 칩을 생산하는 TSMC의 최첨단 팹들은 이미 풀가동 중이다. TSMC CEO 웨이저자는 공급이 "매우 빠듯하다"고 인정하면서도 "지름길은 없다"고 말했다. 새로운 팹을 건설하는데 2~3년이 걸리기 때문이다. TSMC는 2026년에 전년 대비 34% 증가한 550억 달러(83조원)을 지출할 계획이며, 애널리스트들은 2027년에는 이 수치가 650억 달러(98조원)으로 늘어날 것으로 예상하고 있다. 하지만 매출 대비 자본 지출 비중은 2022년 절반 수준에서 올해 3분의1 수준으로 떨어졌다.
TSMC의 이러한 투자의 신중함은 고객들을 좌절시켰다. 샘 올트먼 오픈AI CEO는 TSMC에 "생산 능력을 더 늘려달라"고 촉구했다. 테슬라와 스페이스X의 CEO인 일론 머스크는 지난 3월 전 세계 반도체 산업이 현재 처리하는 생산량 보다 더 많은 생산 능력을 갖추겠다는 야심 찬 목표를 내걸고 소위 '테라팹(Terafab)' 건설 계획을 제시했다.
머스크가 인텔의 도움을 받아 설립하려는 이 시설은 빨라야 2028년에나 생산을 시작할 수 있을 것으로 보이며, 그마저도 구상했던 규모의 일부에 불과할 것이다. 설상가상 머스크가 반도체 팹 운영에 필요한 첨단 장비를 충분히 확보하는 데에도 어려움을 겪을 수 있는데, 이 장비들 역시 공급이 부족한 상태이기 때문이다. 이는 현재 AI의 미래에 먹구름을 드리우고 있는 수요 공급의 부조화를 보여준다. AI 소프트웨어 신규 모델을 출시하는 데는 불과 몇 달이 걸리지만, 제조 공급망을 확장하는 데는 수년이 걸린다. 하드웨어 제조업체들은 과잉 투자로 인해 유휴 설비를 떠안게 될까 봐 경계하고 있다. 그렇게 된다면 '토큰맥싱' 열풍도 조만간 막을 내릴지도 모른다.
역자 임준서는 연세대학교 시스템반도체공학과 교수로 AI반도체혁신연구소장을 겸임하고 있고, 컴퓨팅 프로세서와 진화 연산에 대한 연구를 하였고 KAIST에서 박사 학위를 받았다. 현재는 AI 반도체 기술 지정학과 생태계 혁신에 초점을 맞춰 연구를 진행하고 있다. 저서로 '칩퓨처'(21세기북스, 2025)가 있다.
AI 혁명이 반도체와 제조 등 '물리적 병목'이라는 거대한 장벽에 부딪히고 있다는 4월 27일자 이코노미스트(Economist) 기사의 분석이 흥미롭습니다. 소프트웨어는 몇 달 만에 업그레이드되고 진화하지만, 이를 뒷받침할 하드웨어 인프라를 구축하는 데는 수년이 걸린다는 '시간의 불일치'가 AI 산업의 발목을 잡고 있습니다.
가장 눈여겨볼 대목은 빅테크와 하드웨어 제조사 간의 극명한 투자 온도 차이입니다. 최근 실적발표에서 언급되었듯이, 올해 아마존, 구글, 메타, 마이크로소프트, 오라클 등 5대 '하이퍼스케일러'는 데이터센터 자본 지출에 총 7500억 달러 이상을 쏟아부을 예정입니다. 반면, 칩을 만드는 TSMC나 HBM을 주도하는 한국의 메모리 기업 등 하드웨어 제조업체들은 과거의 뼈아픈 과잉 투자 트라우마로 인해 하이퍼스케일러들보다 설비 증설에 훨씬 신중한 태도를 보이고 있습니다. 공급망을 확장하는 데 수년의 시간이 걸린다는 점을 고려하면, 이들의 보수적인 접근은 향후 심각한 파장을 예고합니다.
이러한 불균형은 이미 전방위적인 인프라 병목 현상으로 이어지고 있습니다. 단순히 반도체 칩뿐만 아니라 변압기, 개폐 장치, 가스 터빈 등 데이터센터 구축에 필수적인 장비들마저 심각한 부족 현상을 겪고 있습니다. 여기에 데이터센터 건립을 반대하는 지역 사회의 정치적 저항까지 겹치며 상황은 더욱 악화되고 있습니다.
이 병목의 최대 수혜자는 역설적으로 공급망의 목줄을 쥔 소수의 하드웨어 독점 기업들입니다. 최근 실적발표에 따르면 막강한 가격 결정력을 바탕으로 엔비디아의 매출총이익률은 현재 약 75%로 치솟았고, TSMC 역시 60%가 넘는 막대한 이익률을 누리고 있습니다. 이에 맞서 일론 머스크가 최대 13조 달러에 달하는 비용을 들여 '테라팹(Terafab)'을 건설하겠다는 계획까지 제시했지만, 단기간에 이 견고한 장벽을 깨기는 역부족입니다.
더욱이 '에이전틱(Agentic) AI'의 서비스 확대로 CPU 수요마저 폭증하며 인텔이 기사회생하는 현상은, AI 하드웨어 생태계가 단순히 GPU 중심에서 훨씬 복잡한 양상으로 진화하고 있음을 시사합니다. 실리콘밸리를 휩쓸고 있는 '토큰맥싱(토큰 태우기 경쟁)' 열풍은 혁신의 부재가 아니라, 냉혹한 물리적 인프라의 한계로 인해 조만간 강제 종료될지도 모릅니다. 결국 이번 공급망 위기의 최종적인 결과는 'AI 기술 도입 속도의 둔화'가 될 것입니다. 무한정 저렴해질 것 같았던 AI 연산 비용이 상승 압력을 받으면서, 이제 기업들은 단순히 "AI를 도입했는가"를 과시하는 것을 넘어, 인간의 노동력처럼 "AI를 얼마나 비용 낭비 없이 효율적으로 사용하고 있는가"를 냉정하게 따져봐야 할 때가 되었습니다.