인공지능은 어떻게 스스로를 개선할 수 있게 되었나

올해 말 AI 기업 앤스로픽(Anthropic)이 증시에 상장하면 역사상 최대 규모의 기업공개 가운데 하나가 될 가능성이 크다. 이는 이 회사의 챗봇 클로드(Claude)가 개발자들 사이에서 큰 인기를 끌고 있으며, 이들이 이를 이용하기 위해 높은 비용도 기꺼이 지불하고 있기 때문이다.

특히 2025년 2월 소프트웨어 개발 에이전트 '클로드 코드(Claude Code)'가 출시된 이후 전 세계 개발자들에게 없어서는 안 될 도구로 자리 잡았다. 여기에는 앤스로픽 자체 개발팀도 포함된다. 회사에 따르면 올해 5월 공개한 코드의 80% 이상이 클로드가 작성한 것이었다. 반면 클로드 코드가 출시되기 전에는 AI가 작성한 코드의 비중이 "한 자릿수 초반"에 불과했다.

[새로운 PADO 기사가 올라올 때마다 카톡으로 알려드립니다 (무료)]

AI 시스템은 코드의 양뿐 아니라 결과물의 질도 크게 향상됐다. 싱크탱크 METR(Model Evaluation & Threat Research, '미터'라고 읽음)가 발표한 영향력 있는 벤치마크에 따르면, 2025년 초 앤스로픽의 AI 모델은 인간 소프트웨어 엔지니어가 1시간이 채 걸리지 않는 작업을 수행할 수 있는 수준이었다. 그러나 최신 모델은 인간이라면 하루 근무 시간을 넘게 써야 하는 작업도 수행할 수 있다.

이런 상황에서 업계 선두를 달리며 경쟁사들을 앞서고 있는 앤스로픽이 지난 6월 5일 "프론티어(최첨단) AI 개발을 늦추거나 일시적으로 중단할 수 있는 선택지를 세계가 가져야 한다"고 주장한 것을 두고 냉소적인 시선을 보내기 쉽다. 시장 선도 기업은 원래 경쟁자들이 추격을 멈추기를 바란다는 것이다.

주체가 된 로봇

하지만 수년간 통제 불능 AI가 인류에 심각한 피해를 줄 가능성을 우려해온 앤스로픽 경영진은 이러한 주장을 진심으로 하는 것으로 보인다. 최신 AI 모델은 코딩과 엔지니어링, 그리고 머지않아 과학 연구에서도 매우 뛰어난 능력을 갖추게 되면서, 인간이 직접 만드는 마지막 AI 모델이 될 수도 있다는 우려가 커지고 있다. 앤스로픽 공동창업자인 잭 클라크는 2028년 말까지 AI 시스템이 인간의 개입 없이 스스로 자신의 후속 모델을 만들어낼 확률이 60%에 달한다고 전망한다.

그 순간은 '순환반복적 자기개선(recursive self-improvement·RSI)'이라는 순환 과정의 시작을 의미한다. 1세대 모델이 더 빠르고 성능이 뛰어난 2세대 모델을 만들고, 2세대는 다시 더욱 발전한 3세대 모델을 만들어내는 식이다. 이러한 순환은 계속 이어지며, 반복될수록 개선 속도는 더욱 빨라진다. 이런 능력을 갖춘 AI 시스템이 탄생하면 인간 엔지니어는 더 이상 새로운 AI를 직접 개발할 필요가 없어진다. 클라크는 "많은 사람이 공상과학 같은 이야기로 여길지 모르지만, 실제로 그런 방향으로 발전할 가능성이 있다"고 말한다.

[PADO '광화문클럽'을 함께 운영할 '펠로우'들을 모집합니다]

'순환반복적 자기개선(RSI)'이 어떤 결과를 가져올지는 누구도 확실히 알지 못한다. AI는 인간과 달리 쉬지 않고 계속 작업할 수 있기 때문에, 일부 전문가들은 이 과정이 단기간에 초지능(超知能) AI의 탄생으로 이어질 것이라고 본다. 이를 '급속 이륙'이라고 부르며, 지능 폭발이 일어나는 소리를 빗대 의성어 '푸움(foom)'이라고 표현하기도 한다. AI 위험론자들은 초지능이 인간의 통제를 벗어나게 되고, RSI가 시작되는 순간이 인류의 운명이 기계에 넘어가는 시점이 될 것이라고 우려한다. 다만 적어도 초기에는 스스로 발전하는 AI 역시 여러 속도 제한에 직면할 가능성이 크다.

RSI가 가능한 AI를 만들기 위해서는 현재 인간 전문가들이 수행하는 다양한 전문 업무를 자동화해야 한다. 현재는 데이터 과학자들이 AI의 이론을 연구하고, 프로그래머들이 이를 실제 시스템으로 구현한다. 시스템 엔지니어들은 실험용 모델을 실제 서비스 규모로 확장할 수 있는 기반을 구축한다. 또 다른 전문가들은 새로운 학습 데이터를 발굴하거나 데이터를 새롭게 생성하는 방법을 연구한다. 정렬(alignment) 및 안전성 연구팀은 학습 결과물이 의도적이든 아니든 해를 끼치지 않도록 점검한다.

반복의 힘

그러나 이러한 업무가 모두 AI의 도움을 받기 쉬운 것은 아니다. 같은 분야 안에서도 자동화가 쉬운 작업과 어려운 작업이 나뉜다. 머지않아 인간 프로그래머는 컴퓨터 코드를 한 줄도 직접 작성하지 않고도 자신의 일을 수행할 수 있게 될 가능성이 크다. 반면 아직 디지털화되지 않은 과학 논문 자료를 확보하기 위해 협상을 벌이는 일까지 AI가 수행하기까지는 상당한 시간이 걸릴 수 있다.

이른바 '들쭉날쭉한 프론티어'가 어떻게 발전할지는 항상 예측하기 어렵다. 새로운 알고리즘을 설계하는 일은 비교적 안전한 인간의 영역으로 여겨졌지만, 2025년 5월 구글 딥마인드의 AI 모델 '알파이볼브(AlphaEvolve)'가 이 영역까지 뛰어들었다. 이 모델은 구글 데이터센터의 작업 부하(負荷)를 분산하는 방식을 개선해 전 세계 컴퓨팅 자원의 0.7%를 절감하는 방법을 제안했다. 또한 행렬 계산을 더 효율적으로 수행하는 알고리즘을 찾아내 구글의 대표 대규모 언어모델(LLM)인 제미나이(Gemini)의 학습 속도를 1% 높이는 데도 기여했다.

순환반복적 자기개선(RSI)이 완성되려면 이 모든 과정의 업무가 자동화돼야 한다. 그러나 그 이전에도 AI가 연구개발(R&D)을 가속하는 효과는 나타날 수 있다. 미국 조지타운대 산하 싱크탱크인 신흥안보기술센터(CSET)가 지난 1월 발표한 보고서에 따르면, "AI 연구개발에서 AI 시스템이 담당하는 비중이 커질수록 인간만 수행하는 연구개발에 비해 생산성 향상 효과는 10배, 100배, 나아가 1000배까지 증가할 수 있다."

보고서는 설령 AI 연구개발의 일부 과정이 초기에는 자동화하기 어렵더라도 "기술 발전 속도가 워낙 빨라 이러한 병목은 곧 극복될 것"이라고 전망했다.

현재 어떤 AI 모델도 아직 스스로 자신의 후속 모델을 만들지는 못한다. 하지만 대형 AI 모델은 이미 인간의 도움 없이도 더 작은 AI 모델을 구축할 수 있다. 또한 인간이 일부 지원하면 다른 대형 AI 모델도 만들 수 있다.

올해 초 당시 독립 연구자였던 안드레이 카르파티는 오픈AI가 2019년 개발한 대규모 언어모델 GPT-2와 비슷한 성능의 챗봇을 직접 학습시켰다. 현재 그는 앤스로픽에서 근무하고 있다.

2019년 GPT-2는 당시 최첨단 AI 반도체 32개를 이용해 168시간 동안 학습해야 했지만, 카르파티는 GPU 8개를 장착한 단일 컴퓨터만으로 단 3시간 만에 같은 수준의 결과를 얻었다. 이후 몇 달간 추가 연구를 통해 그가 개발한 모델 '나노챗(Nanochat)'의 학습 시간은 2시간을 조금 넘는 수준까지 줄어들었다.

지난 3월 그는 학습 속도를 더욱 높이는 작업을 '오토리서치(Autoresearch)'라는 AI 에이전트에 맡겼다. 그러자 불과 이틀 만에 학습 시간이 1시간 48분으로 줄었고, 다시 닷새 뒤에는 1시간 39분까지 단축됐다.

카르파티는 "나는 아무것도 손대지 않았다"고 말했다. 특히 이러한 결과가 더욱 주목받는 이유는 그가 AI 분야에서도 손꼽히는 전문가이기 때문이다. 그는 오픈AI 창립 연구팀의 핵심 멤버였으며, 이후 5년간 테슬라(Tesla)의 AI 총괄 책임자를 지냈다. AI가 그의 작업보다도 18% 더 성능을 개선한 셈이다.

AI가 만들어낸 개선 내용 자체는 의외로 단순했다. AI 에이전트는 학습 시작값(initial values)을 더 적절하게 설정했고, 대규모 언어모델(LLM)의 '어텐션(attention)' 범위를 넓혔으며, 모델의 집중력이 흐트러지는 문제도 찾아냈다.

카르파티는 "이 가운데 특별히 새로운 아이디어는 없었다"고 말했다. 다만 "내가 미처 놓쳤던 부분들이었고, 이런 작은 개선들이 쌓여 결국 나노챗의 성능을 실제로 향상시켰다"고 설명했다.

AI 모델의 성능이 향상될수록 이 같은 개발 속도 개선은 불가피할 것으로 보인다. 테라바이트급 최첨단 AI 모델을 개발하는 과정은 AI 업계의 막대한 연봉이나 화려한 사무실이 보여주는 이미지와 달리 상당히 단조로운 작업이 많다. 외부 업체에서 도입한 각종 인프라를 연결하고, 하드웨어와 소프트웨어의 오류를 수정하며, 학습 초기 설정값인 '하이퍼파라미터(hyperparameter)'를 반복적으로 조정해 원하는 성능이 나오도록 만드는 일이 대부분이다. 오늘날 AI 시스템은 이미 이런 작업의 상당 부분을 거의 사람의 감독 없이 수행할 수 있다.

그러나 보다 정교한 지적 작업조차도 자동화에 가까워지고 있다고 뉴욕에 있는 AI기업 리플렉션 AI(Reflection AI)의 연구원 조 스피색은 말한다. 리플렉션 AI는 모델의 가중치(weights)를 공개하는 오픈웨이트(open-weight) 최첨단 AI 모델을 개발하고 있다.

그에 따르면 최첨단 AI 시스템에 효율성을 높일 수 있는 아이디어의 대략적인 개요만 제시해도, AI는 실험을 설계하고, 소규모 시험 모델에서 이를 검증한 뒤, 무엇이 효과적인지 분석하고, 실제 대규모 시스템에 바로 적용할 수 있는 실행 계획까지 제시하는 능력을 점점 더 갖추고 있다.

AI 모델은 인간이라면 몇 시간이 걸리는 이런 작업을 약 30분 만에 수행할 수 있다. 이에 따라 인간은 점차 연구 책임자 역할만 맡게 되고 있다. 즉, 어떤 실험을 수행할지만 지시하면, AI 모델이 직접 코드를 작성하고, 오류를 수정하며, 성능을 최적화하고, 실험 과정까지 스스로 관리하는 방식이다.

이러한 생산성 향상은 매우 매력적이지만 동시에 우려도 낳고 있다. AI 개발 과정에서 인간의 역할이 점점 줄어들수록 인간이 시스템에 대한 통제력을 잃을 가능성도 커지기 때문이다.

그 결과 궁극적으로는 AI 모델이 또 다른 AI 모델을 학습시키고, AI 모델이 설정한 목표를 달성하기 위해 AI 모델이 개발되며, 그 안전성마저 AI 모델만이 검증하는 시대가 올 수도 있다.

일부 전문가들은 순환반복적 자기개선(RSI)이 재앙으로 이어질 수 있다고 우려한다. 지난 10년간 AI 안전성 확보 운동을 이끌어온 미국 MIT의 물리학자이자 머신러닝 연구자인 맥스 테그마크 교수는 이를 "고속도로에서 눈을 감은 채 가속페달을 끝까지 밟는 운전자"에 비유한다.

테그마크 교수는 <이코노미스트>의 영상 프로그램 '인사이드 테크(Inside Tech)'에 출연해, 운전자가 끝까지 눈을 뜨지 않는다면 결과는 "확실한 파멸"이라고 말했다. 그는 강력한 AI 시스템이 정부와 기업에서 인간을 대신하는 의사결정자로 자리 잡아 인류의 권한을 약화시킬 수 있으며, 최초 개발자에게 막대한 권력이 집중돼 전 세계적 전체주의 체제가 등장할 수도 있다고 경고했다. 또는 AI가 인간 자체에 아무런 관심을 두지 않게 되면서 데이터센터와 전력 생산 시설을 늘리기 위해 인간을 점차 사회에서 밀어낼 가능성도 있다고 주장했다.

테그마크 교수는 3년 전 전 세계 AI 개발을 일시 중단하자는 공개 서한을 주도했다. 그는 당시 최첨단 모델이었던 GPT-4 개발이 바로 '눈을 가린 채 질주하는 행위'와 다름없다고 주장했다.

올해 미국 조지타운대 산하 신흥안보기술센터(CSET)가 발표한 보고서도 RSI를 통해 만들어지는 AI 시스템은 "극단적인 위험을 초래할 수 있으며, 지금부터 대비에 나서야 한다"고 경고했다. 앤스로픽 역시 이러한 문제의식에 상당 부분 공감하는 것으로 보인다.

뜨거운 반도체

그러나 적어도 당분간은 AI가 스스로를 개선하는 속도를 제한할 현실적인 제약도 존재한다. 가장 중요한 것은 컴퓨팅 자원(compute)이다.

AI의 효율성이 계속 높아지고 있음에도 최신 모델들은 이전 세대보다 더 많은 컴퓨팅 자원을 필요로 한다. 따라서 AI 발전 속도는 결국 데이터센터가 얼마나 빠르게 건설되느냐에 좌우될 수밖에 없다.

CSET의 임시 사무총장이자 이번 보고서의 공동 필자인 헬렌 토너는 일반 소비자들의 AI 사용이 AI 기반 연구개발의 속도를 늦출 수 있다고 지적한다.

제한된 AI 데이터센터의 연산 능력은 유료 고객 서비스 제공, 차세대 모델 학습, 그리고 장기적인 연구개발에 나눠 사용돼야 한다. 일반 소비자 수요가 늘어날수록 단기적으로는 차세대 모델 개발과 연구개발에 투입할 수 있는 자원이 줄어들게 된다.

또 다른 문제는 학습 데이터다.

최근 AI의 눈부신 발전은 상당 부분 '검증 가능한 보상'이 존재하는 분야에서 이뤄졌다. 예를 들어 소프트웨어는 실행되거나 실행되지 않거나 둘 중 하나이며, 수학 증명 역시 맞거나 틀리거나 둘 중 하나다.

이처럼 정답을 명확히 확인할 수 있는 분야에서는 AI가 다른 AI를 학습시키기 위해 생성한 합성 데이터(synthetic data)의 정확성을 검증한 뒤 학습 데이터에 추가할 수 있다. 따라서 AI가 자신의 출력만 반복 학습하면서 성능이 저하되는 이른바 '퇴화' 문제도 상당 부분 피할 수 있다.

반면 창의적 글쓰기나 법률적 판단처럼 정답이 명확하지 않은 영역에서는 상황이 훨씬 복잡하다. AI가 이런 능력을 향상시키려면 결국 현실 세계의 인간 데이터로부터 계속 배워야 하며, 이는 스스로를 개선하는 범위를 제한하는 요인이 될 수 있다.

AI가 스스로를 개발하는 '순환 고리'를 완성하는 것은 초지능으로 가는 중요한 단계일 수 있다. 어떤 사람에게는 그것이 유토피아의 시작일 수도 있고, 다른 사람에게는 파멸의 출발점일 수도 있다. 하지만, AI 능력이 기하급수적으로 성장하기 위해 필요한 조건은 그것 하나만은 아니다.

[읽어보신 소감은 어떠셨나요? 독자 여러분의 생각을 PADO에 보내주세요 (문의, 제안도 환영합니다!)]