회사들이 저렴한 GPU 액세스를 찾는 가격 저렴한 대체 클라우드가 성장하고 있습니다
대체 클라우드에 대한 열망은 이전보다 더 큽니다.
예를 들어, 이번 주 암호화폐 채굴 운영으로 시작된 GPU 인프라 제공 업체인 CoreWeave는 Coatue, Fidelity 및 Altimeter Capital을 포함한 투자자로부터 11억 달러의 신규 자금을 조달했습니다. 이 라운드는 회사의 시장 가치를 190억 달러로 평가하며, 총 조달 금액은 10년 미만인 회사에 대한 50억 달러의 부채와 자본을 모두 합치면 상당한 금액입니다.
CoreWeave뿐만 아니라 다른 회사들도 마찬가지입니다.
GPU 인스턴스를 제공하는 Lambda Labs는 4월 초 5억 달러까지의 '특별 목적 자금 지원 기구'를 확보했으며, 3억 2천만 달러의 C 시리즈 라운드를 마친 지 몇 달 후입니다. 크립토 억만장자 Jed McCaleb이 후원한 비영리 단체 Voltage Park는 지난 10월 GPU를 지원하는 데이터 센터에 5억 달러를 투자할 계획임을 발표했습니다. 또한, 판매 포스의 주도로 3월에 1억 6백만 달러의 투자를 받은 클라우드 GPU 호스팅 회사인 Together AI도 있습니다.
그렇다면 대체 클라우드 공간으로의 열정과 자금 증가에 대한 이유는 무엇일까요?
당신이 기대할 수 있는 대답은 생성적 AI입니다.
생성적 AI 붐 시대가 계속되는 가운데, 규모에 맞게 생성적 AI 모델을 훈련하고 실행할 하드웨어에 대한 수요도 증가하고 있습니다. GPU는 선형 대수 방정식을 수행하기 위해 병렬로 작동할 수 있는 수천 개의 코어를 포함하고 있어 생성적 모델을 훈련하고 세밀하게 튜닝하며 실행하는 데 논리적인 선택입니다.
그러나 GPU를 설치하는 데는 비용이 많이 듭니다. 그래서 대부분의 개발자와 기관들은 대신 클라우드를 이용합니다.
클라우드 컴퓨팅 공간의 기존 기업인 아마존 웹 서비스(AWS), 구글 클라우드 및 마이크로소프트 애저는 생성적 AI 워크로드에 최적화된 GPU 및 특수 하드웨어 인스턴스가 부족하지 않습니다. 그러나 적어도 어떤 모델과 프로젝트에 대해서는 대체 클라우드가 더 저렴하게 나올 수 있고 더 나은 가용성을 제공할 수 있습니다.
CoreWeave에서 Nvidia A100 40GB를 렌트하면 모델 훈련 및 추론에 인기있는 선택지인 비용은 시간당 2.39달러이며, 이는 월 1,200달러입니다. Azure에서 동일한 GPU는 시간당 3.40달러이거나 월 2,482달러이고, Google 클라우드에서는 시간당 3.67달러이거나 월 2,682달입니다.
생성적 AI 워크로드는 보통 GPU 클러스터에서 수행되므로 비용 차이가 빠르게 커집니다.
가트너 클라우드 서비스 및 기술 부문 부사장인 Sid Nag는 테크크런치에 말했습니다. 'CoreWeave와 같은 회사들은 우리가 GPU를 "서비스로 제공하는 전문 시장"이라고 부르는 시장에 참여하고 있으며, 그들이 Nvidia GPU를 가져와 시장 및 GPU에 대한 또 다른 접근 경로와 액세스를 제공합니다.'
Nag는 심각한 계산 능력 도전에 직면하면서 일부 주목할만한 기술 기업들도 대체 클라우드 제공업체에 의존하기 시작했다고 지적했습니다.
CNBC는 지난 6월에 Microsoft가 CoreWeave와 멀티-억 달러 계약을 체결하여 Microsoft의 밀접한 파트너인 ChatGPT의 창조자인 OpenAI가 생성적 AI 모델을 훈련하기에 충분한 컴퓨팅 파워를 확보했다고 보도했습니다. CoreWeave의 대부분 칩을 제조하는 Nvidia는 이를 바람직한 추세로 보고 있으며, 일부 대체 클라우드 제공 업체에게 우선적인 GPU 액세스를 제공했다고 전해졌습니다.
Forrester의 주요 분석가인 Lee Sustar는 기존 제공 업체가 다뤄야 하는 '인프라 부담'을 가지지 않은 대체 클라우드 공급업체들이 성공할 수 있는 기회가 있음을 지적했습니다.
'전체 공개 클라우드 시장의 대부분을 지배하는 초대형 스케일러들이 인프라 및 수익을 거의 또는 전혀 가져다주지 않는 범위의 서비스에 대한 상당한 투자를 요구하므로, CoreWeave와 같은 도전자들은 초대형 스케일러 수준의 전반적 투자 부담 없이 프리미엄 AI 서비스에 초점을 맞춤으로써 성공할 기회가 있습니다.'라고 그는 말했습니다.
그렇지만 이 성장이 지속 가능한가요?
Sustar는 의심을 표했습니다. 그는 대체 클라우드 제공 업체의 확장이 앞으로 어떻게 GPU를 대량 생산하고 저렴한 가격에 제공할 수 있느냐에 따라 결정될 것이라고 믿습니다.
Google은 TPU를 제공하고, Microsoft는 최근 Azure Maia와 Azure Cobalt 두 개의 사용자 정의 칩을 공개했으며, AWS는 Trainium, Inferentia 및 Graviton을 보유하고 있으므로 가격 경쟁이 향후 어려워질 수 있습니다.
'초대형 스케일러들은 나만의 칩을 활용하여 Nvidia에 대한 의존성을 줄일 것이며, Nvidia는 CoreWeave 및 다른 GPU 중심 AI 클라우드에 눈을 돌릴 것입니다.'라고 Sustar는 말했습니다.
또한, 생성적 AI 워크로드 중 많은 것들이 GPU에서 가장 잘 실행되지만, 모든 워크로드가 그들을 필요로 하지는 않습니다. 특히 시간적 제약이 없는 경우 CPU가 필요한 계산을 수행할 수 있지만, 일반적으로 GPU 및 사용자 정의 하드웨어보다는 느립니다.
존재론적으로 생성적 AI 버블이 터질 우려도 있지만, Sustar와 Nag는 근시적으로는 계속해서 새로운 클라우드가 나타날 것으로 예상하고 있습니다.
'GPU 중심 클라우드 스타트업들은 [기업들]이 이미 멀티 클라우드를 활용하고 관리, 보안, 위험 및 여러 클라우드 간의 규정 준수와 같은 복잡성을 처리할 수 있는 고객들 사이에서 충분한 경쟁을 제공할 것입니다.'라고 Sustar는 말했습니다. '그러한 종류의 클라우드 고객은 신뢰할 수 있는 리더십, 견고한 재정 지원 및 대기 시간이 없는 GPU가 있는 경우 신뢰할 수 있는 새로운 AI 클라우드를 시도하는 데 편안해합니다.'
