“공기로는 못 식힌다”…물길 따라 돌아가는 7656개 AI 두뇌

B200 GPU 7656장 구축…랙 한 대 서버값만 70억원대
공랭 한계에 수랭식 냉각 적용…CPU·GPU 열 직접 제거

▲‘NHN 팩토리X 서울’ 데이터홀 내부. (사진제공=NHN)

18일 찾은 서울 영등포구 양평동 ‘NHN 팩토리X 서울’. 건물 내부에 들어서자 수영장에서 맡을 법한 물 냄새가 났다. 고성능 그래픽처리장치(GPU)와 중앙처리장치(CPU)에서 발생하는 열을 물로 식히는 수랭식 냉각 시스템이 가동되고 있기 때문이다.

‘NHN 팩토리X 서울’은 과학기술정보통신부와 정보통신산업진흥원(NIPA)의 AI 인프라 사업을 통해 조성된 대규모 AI 데이터센터다. 4월부터 정식 서비스를 시작했다. 데이터센터 대지면적은 4251.7㎡로 약 1286평이다.

기자와 동행한 이일준 NHN클라우드 기술사업부장은 “창문이 있으면 엉터리 데이터센터다. 보안 등의 문제로 사무동 외에는 내부에 창문이 없다”며 “엔비디아가 향후 렉당 600kW의 전력을 사용하는 장비를 내놓겠다고 하는데 공랭식 냉각은 30~40kW 수준이 한계다. 앞으로 수랭 방식은 필수가 될 것”이라고 설명했다.

건물 안에서는 엔비디아 B200 GPU 7656장이 쉴 새 없이 연산 작업을 수행하고 있었다. NHN클라우드가 사용하는 3~6층 데이터홀 입구에는 귀마개가 비치돼 있었다. 서버가 내뿜는 소음 때문이다. 데이터홀 안쪽으로 들어가 GPU 서버 뒤편에 가까워질수록 고막을 찌르는 듯한 소음은 커졌다.

이 부장은 “일반적인 공랭식 GPU 서버 앞에서는 대화가 어려울 정도지만 이곳은 CPU와 GPU에서 발생하는 열 대부분을 물로 제거하기 때문에 서버가 밀집해 있어도 소음이 비교적 적다”며 “AI 인프라에 맞춰 설계된 AI 전용 데이터센터”라고 말했다.

데이터홀 안에는 높이 2m가 넘는 검은 철제 랙이 줄지어 서 있었다. 랙 한 대에는 GPU 서버 6대가 들어가고 아래에는 멀티탭 역할을 하는 전력분배장치가 설치돼 있다. 서버 한 대 가격은 12억원을 호가한다. 랙 한 대에 들어가는 서버 가격만 70억원을 넘어서는 셈이다.

AI 데이터센터에서 GPU 못지않게 중요한 것은 전력과 냉각이다. NHN 팩토리X 서울은 NHN클라우드 기준 IT 장비에 13MW 규모의 전력을 공급할 수 있도록 설계됐다. 외부 전력망에서 들어오는 전력은 이중 수전·변전 설비와 무정전전원장치(UPS)를 거쳐 GPU 서버에 공급된다. 전력 공급이 끊기는 만일의 사태에도 대비했다. 열차 앞코처럼 생긴 비상 발전기에는 롤스로이스 엔진이 장착돼 있다. NHN 관계자는 “안정적인 전력 공급을 위해 이중 수전 설비와 비상 발전기 10대를 갖추고 있다”고 말했다.

NHN클라우드가 이곳에 구축한 B200 GPU는 총 7656장이다. 이 가운데 4080장을 하나의 연산 환경으로 연결한 ‘NIPA-CL1’은 글로벌 슈퍼컴퓨터 성능 순위 TOP500에서 세계 20위에 올랐다. 2040장 규모의 ‘NIPA-CL2’도 세계 40위를 기록했다. 수천장의 GPU가 각각 움직이는 것이 아니라 고속 네트워크를 통해 하나의 거대한 컴퓨터처럼 연산하는 구조다.

정부가 확보한 AI 컴퓨팅 자원은 기업과 연구기관 등의 AI 개발에 활용된다. 정부 활용분은 산업체에는 시중보다 낮은 가격으로, 학교와 연구소에는 무상으로 제공된다. 고가의 GPU를 직접 확보하기 어려운 기업과 연구자에게 연산 자원을 공급해 AI 개발 문턱을 낮추겠다는 취지다.

NHN클라우드는 공공 분야에서 쌓은 인프라 운영 경험을 민간 기업으로도 넓히고 있다. 정부24의 클라우드 전환과 서비스 운영을 지원하고 있으며 금융·게임사에도 전용 인프라를 공급하고 있다. 신한금융그룹에는 전용 클라우드 리전을 구축했고, 판교 데이터센터에는 크래프톤 전용 엔비디아 B300 GPU 1000장 규모의 인프라도 구축했다.

이 부장은 “AI 투자는 비용이 워낙 크기 때문에 그만큼의 연구 성과나 수익을 낼 수 있을지를 고민할 수밖에 없다”며 “국가가 예산을 투입해 AI 연산 능력을 제공하고, 인프라를 다루는 인력의 기술 역량과 구축·공급·운영 기업들의 역량을 함께 키우는 것이 최종적인 목표”라고 말했다.