구축에도 운영에도 막대한 돈·인프라·에너지
카카오브레인 ‘다다음’ 베타버전에 1만명 몰려 중단
챗GPT에 2000만원 육박하는 GPU 1만여대
지난 20일 카카오브레인이 카카오톡채널에서 인공지능(AI) 챗봇 ‘다다음’ 베타테스트를 시작한 지 하루 만에 서비스를 일시 중단한 이유, 챗GPT 유료 구독 서비스가 출시된 이유는 같은 곳에 있다. 모두 ‘컴퓨팅 인프라’, 즉 연산 능력과 데이터센터, 클라우드 등을 아우르는 자원 때문이다.

초거대 AI 서비스가 속속 출시되며 컴퓨팅 자원의 중요성이 아주 빠른 속도로 높아지고 있다. 우리가 챗GPT에 접속해 자판을 두드려 질문을 입력하고 답변을 받는 단순해 보이는 과정은, 실은 엄청난 수의 연산을 통해 이뤄지고 있다. 대화창을 통해 주고받는 채팅이지만, 클라우드 환경에서 수만개의 그래픽처리장치(GPU)가 적용된 AI 구동 인프라와 연결되는 셈이다.

안정적인 초거대 AI 서비스를 제공할 수 있는 컴퓨팅 인프라 구축은 쉬운 일이 아니다. 애초에 AI를 학습시키는 과정부터 천문학적인 돈과 자원이 필요하다. 오픈AI의 최신 초거대 언어모델 ‘GPT4’의 머신러닝엔 엔비디아의 최신 GPU ‘A100’ 1만여대가 사용된 것으로 알려졌는데, 1대 당 2000만원에 육박한다. 애초 GPT3 교육에만 무려 1200만 달러(약 144억 7000만원)이 들어간 것으로 알려졌다.

AI 서비스 운영에도 엄청난 에너지와 돈이 들어간다. 챗GPT의 경우 출시 한달 만에 사용자 1억명을 넘어섰는데, 이들이 입력한 각각의 질문에 무수한 연산을 수행하려면 GPU를 풀가동해야 하는데, A100의 경우 대당 전력량은 시간당 300~400Wh(와트시)로, 믹서기나 소형 전열기 등과 맞먹는다. 대부분 초거대 AI 운영 기반 시설인 데이터센터는 국내 한 곳 당 평균 연간 전력 사용량이 25GWh(기가와트시)인데, 이는 4인가족 6000가구와 같은 수준이다.

그러다보니 카카오브레인의 경우, 내부 개발 과정의 하나인 베타테스트 차원에서 공개했던 다다음에 충분한 컴퓨팅 인프라를 할당하지 않았을 테고, 여기에 짧은 시간 1만명 이상이 몰리니 정상적으로 AI 서비스를 제공할 수 없었을 것으로 보인다. MS의 천문학적인 투자와 컴퓨팅 인프라를 사용하는 오픈AI가 챗GPT 성공을 확인한 즉시 유료 구독 서비스를 출시한 것도 이런 이유에서다. 거꾸로 말하면 MS처럼 초거대 AI 모델을 돈이 되는 기존 서비스에 즉시 적용할 수 있으며, 글로벌 2위 규모 클라우드 회사로서 인프라를 확보한 기업이 오픈AI에 투자하고 협력하지 않았으면 지금의 챗GPT는 등장하지 않았을 수도 있는 셈이다.

기업이 GPT4를 서비스에 적용하려면 이전 버전인 GPT3.5보다 훨씬 높은 가격을 지불해야 한다. 카카오톡채널에 출시한 챗봇 서비스 ‘아숙업(AskUp)’에 GPT4를 적용한 업스테이지에 따르면, 오픈AI는 GPT4를 통해 제공하는 영어 단어 750개 정도에 3센트(약 39원)를 받는다.

본격 AI 시대를 맞아 기술 경쟁에 뒤처지지 않기 위해서는 컴퓨팅 인프라 확충과 동시에 컴퓨팅 자원 소비를 획기적으로 줄이는 기술 개발이 중요하다. 정부와 국내 업체들이 GPU를 대체할 AI 전용 반도체인 신경망처리장치(NPU) 개발을 서두르는 것도 이와 같은 맥락이다. 정보통신산업진흥원(NIPA)을 중심으로 고성능 컴퓨팅 자원을 지원하는 사업도 시행 중이다. GPU 클라우드 시스템을 임차해 중소∙벤처기업, 공공기관, 대학 등에 지원하는 것으로, 대규모 병렬연산 처리를 위한 고성능컴퓨팅(HPC) 자원, 개발 프레임워크, 개발언어 등을 지원한다.