광주 북구에는 국내에서 유일한 국가 인공지능(AI) 데이터센터가 1동(棟) 자리잡고 있다. 이 데이터센터에서 활용하는 엔비디아 그래픽처리장치(GPU)의 숫자는 총 880장. 서버 한 대당 8장의 H100을 꽂아 총 110대의 서버를 운용하는 구조다. 미국 빅테크인 메타가 연내 GPU 130만 개를 확보하겠다고 선언한 것을 감안하면 비교가 민망한 수준이다.

이 데이터센터 설계 과정에 참여한 한 관계자는 8일 “현재 1장당 5500만 원 선인 H100을 싼값에 다수 선점할 수 있어 투자 비용을 아낄 수 있었다”면서 “건립 과정에서 정부 반대로 일부 AI 가속기만 H100으로 구성한 게 아쉽다”고 말했다.

국가의 AI 경쟁력을 좌우하는 고성능 GPU를 다수 비축할 수 있는 절호의 기회를 정부의 정책적 판단 미스로 놓쳤다는 얘기다. 현재 국내 H100 보유량은 민관을 통틀어 2000여 장으로 알려져 있다. 정부는 연말까지 1만 장 이상의 고성능 GPU를 추가 확보하겠다는 입장이지만 빅테크 기업들이 엔비디아 제품을 입도선매해 물량 확보가 쉽지 않은 상황이다.

AI 정부의 최대 핵심은 민간기업들이 직접 깔기 어려운 AI 인프라를 정부가 나서 구축해주는 것이라고 전문가들은 지적하고 있다. 시총 3900조 원(마이크로소프트) 기업의 투자 물량 공세에 국내 민간기업들이 맞서는 게 사실상 불가능하기 때문이다.

스탠퍼드대 인간중심인공지능연구소(HAI)에서 발간한 ‘AI 인덱스 2025’ 보고서에 따르면 한국의 민간투자는 2022년 31억 달러에서 2024년 13억 3000만 달러로 도리어 뒷걸음쳤다. 이 기간 삼성전자 등 주요 기업의 실적이 위축된 영향 때문인 것으로 풀이된다. 미국의 마이크로소프트(MS)·메타 등이 자본 지출의 대부분(2024년 4분기 44~77%)을 AI 데이터센터 구축 등 인프라 확충을 위해 사용하는 데 반해 네이버·카카오·쿠팡 등 국내 빅테크 기업은 3~6%에 그친다.

국가AI위원회는 2024~2027년 4년간 민간의 AI 투자가 총 65조 원 이뤄질 것이라고 기대하지만 이 중 88%가 메모리와 같은 AI 반도체에 쏠려 있다. AI 칩을 사들이거나 데이터센터에 투자할 여력은 부족하다는 것이다. 민간의 인프라 투자를 이끌어내기 위한 정부의 마중물 투자가 절실한 이유다.

실제 국내 기업들 사이에서는 GPU와 데이터센터를 산업화 시절 서울과 부산을 연결한 경부고속도로 같은 핵심 사회간접자본(SOC)으로 인식하고 있다. 경부고속도로에 들어간 건설비 429억 7300만 원은 건설 구상이 처음 나온 1967년 국가 예산의 23.6%에 해당했다.

단순 대입하면 AI 인프라에 올해 국가 예산의 23.6%를 쏟아부을 경우 1000억 원 규모의 국가AI데이터센터를 전국에 1590개나 더 세울 수 있다는 계산이다. 정부의 한 고위 관계자는 “AI에 막대한 예산을 투입하면서 국가 재정 건전성도 지켜내려면 지출 구조조정이 필수적”이라며 “차기 대통령이 취임 초기에 정치적 결단을 내려 내년도 예산안에 반영해야 하는 부분”이라고 설명했다.

AI 투자 예산을 민관 합작 기금 형태로 마련해야 한다는 제안도 나온다. 송정희 한국공학한림원 부회장은 “AI 관련 사업자들로부터 출연받아 AI 촉진기금을 만드는 방안도 있다”고 말했다. 여기에 과거 정부가 정보화 사업에 썼던 예산을 반영하면 100조 원 이상 기금 마련이 가능하다. 문재인 전 대통령이 5년간 디지털뉴딜 등에 49조 원을 썼고 윤석열 전 대통령도 3년간 디지털플랫폼정부 등에 36조 6000억 원의 국가정보화 예산(중앙정부·지방정부·공공기관 합계)을 편성했었다. 이재명 더불어민주당 대표와 민주당 정책위원회도 ‘한국판 엔비디아’를 만들겠다며 50조 원 규모의 국민참여형 국부펀드 조성 계획을 설명한 바 있다.

김종원 광주과학기술원(GIST) AI대학원장은 “민관이 협력해 ‘공용주차장 개념의 공동 활용 데이터센터’를 만들 경우 개별 데이터센터 구축의 파편화를 해소하면서 공간·에너지 효율성을 전반적으로 끌어올릴 수 있다”면서 “국내 AI 시장을 지키고 AI 주권도 지킬 수 있는 투자의 지지대가 필요한 시점”이라고 강조했다.

<유현욱 기자>