알리바바 그룹 홀딩(NYSE:BABA)이 아이가이온(Aegaeon)이라는 새로운 컴퓨팅 풀링 시스템을 도입했는데, 이 시스템은 AI 모델의 경우 엔비디아(NASDAQ:NVDA) GPU에 대한 의존도를 82%까지 대폭 줄여준다.
3개월간의 테스트
이번 혁신은 서울에서 열린 제31회 운영체제 원리 심포지엄(SOSP)에서 이번 주 발표된 연구 논문에 따르면 알리바바 클라우드의 모델 시장에서 3개월 이상 테스트되었다.
이 아이가이온 시스템은 최대 720억 개의 매개변수를 가진 모델을 제공하기 위해 필요한 엔비디아 H20 GPU 수를 1,192개에서 213개로 성공적으로 줄였다.
“아이가이온은 시장에서 동시 LLM 작업량을 제공하는 것과 관련된 과도한 비용을 밝힌 최초의 작업이다”라고 연구원들은 논문에서 밝혔다.
베이징 대학교와 알리바바 클라우드의 연구원들은 동시에 대용량 언어 모델 작업 부하를 처리하는 데 드는 높은 비용을 강조했다.
여러 모델을 위한 하나의 GPU
항저우에 본사를 둔 알리바바의 AI 및 클라우드 서비스 부서인 알리바바 클라우드는 GPU 자원을 풀링하여 효율성을 높이고 단일 GPU가 여러 모델을 지원할 수 있도록 할 계획이다.
이 시스템은 이전에 알리바바 클라우드 시장에서 요청의 1.35%만 처리하는 데 GPU의 17.7%가 할당되었던 것과는 달리 리소스 비효율성을 해결한다.
다음 읽기: 케빈 오리어리가 트럼프에게 말하다: ‘1호 직업’은 경제 부문을 고르는 것이 아니라 미국의 꿈을 지키는 것
알리바바 클라우드와 바이트댄스의 볼케이노 엔진(Volcano Engine)과 같은 클라우드 서비스 제공업체들은 수천 개의 AI 모델을 동시에 관리하는데, 이는 종종 비효율로 이어진다. 아이가이온 시스템은 필요한 GPU 수를 줄여 이 프로세스를 최적화하고자 한다.
중국 내 엔비디아 존재감에 대한 우려 증가
이번 전개는 중국 내 엔비디아의 존재감에 대한 우려가 커지는 가운데 이루어졌다. 최근 중국은 트럼프 행정부가 추진한 엔비디아 H20 칩의 잠재적 백도어 위험과 관련해 보안 우려를 제기했다. 미국과의 협정 일환으로 트럼프 행정부는 엔비디아의 중국 칩 판매 수익의 15%를 차지하는 합의에 도달했다.
엔비디아의 CEO 젠슨 황은 엔비디아의 중국 시장 점유율이 95%에서 0%로 떨어졌다고 말했다. 그는 미국 정책이 엔비디아의 중국 시장 존재에 미칠 영향에 대해 우려를 표명했다.
황에 따르면, 이러한 어려움에도 불구하고 엔비디아는 중국에서 매출이 0이라고 가정하에 가이던스를 만들었기 때문에 재정적으로 잠재적인 확대로부터 자신을 보호했다.
다음 읽기:
사진 제공: 셔터스톡
Benzinga Pro의 독점 뉴스 및 도구로 더 많은 승리를 거두세요
독점 속보 및 스캐너와 같은 Benzinga Pro의 강력한 도구 세트로 다른 트레이더보다 우위를 점하세요.
여기를 클릭하여 14일 무료 체험을 시작하세요.
