애플(NASDAQ:AAPL)과 엔비디아(NASDAQ:NVDA)가 대규모 언어 모델(LLM)의 성능 향상을 위한 협업을 발표했다.
무슨 일 있었나: 이번 애플과 엔비디아의 파트너십은 텍스트 생성 속도를 향상시키기 위해 애플의 리커런트 드래프터(ReDrafter) 기술을 엔비디아의 TensorRT-LLM과 통합하는 데 중점을 두고 있다.
올해초 애플이 오픈소스로 공개한 리드래프터(ReDrafter)는 빔 검색(beam search)와 동적 트리 어텐션(dynamic tree attention)을 결합해 LLM 성능을 개선한다.
엔비디아와 협력을 통해 엔비디아 GPU에서 LLM을 가속화하도록 설계된 도구인 TensorRT-LLM에 리드래프터를 통합했다.
이러한 통합에는 복잡한 모델과 디코딩 방법을 처리하는 TensorRT-LLM의 능력을 향상시키기 위해 새로운 연산자를 추가하는 작업이 포함되었다.
벤치마킹 결과에 따르면 엔비디아 GPU에서 그리디 디코딩(greedy decoding)을 위한 토큰 생성 속도가 2.7배 증가하여 지연 시간과 전력 소비가 크게 줄어든 것으로 나타났다.
애플의 머신 러닝 연구원들은 이러한 발전이 프로덕션 애플리케이션에서 지연 시간을 줄여 계산 비용을 낮추고 사용자 경험을 개선할 수 있다고 언급했다.
벤징가 테크 트렌드 뉴스레터를 구독하고 최신 기술 개발 소식을 받아보세요.
왜 중요한가: 올해 초 10월, 애플은 4분기 매출이 949억 달러로 애널리스트 예상치인 945억 6,000만 달러를 상회했다고 발표했다.
지난달 엔비디아는 3분기 매출이 351억 달러로 작년에 비해 94% 증가했으며, Benzinga Pro 데이터에 따르면 월가 컨센서스 예상치인 331억 2천만 달러를 초과했다고 보고했다.
이 두 거대 기술 기업의 가치를 합치면 약 7조 달러에 달하며, 애플은 세계에서 가장 가치 있는 기업이고 엔비디아는 3위를 차지했다.
주가 움직임: 애플 주가는 수요일에 2.14% 하락한 248.05달러를 기록했고, 시간외 거래에서는 247.19달러로 더 하락했다. 한편, 엔비디아 주가는 시간외 거래에서 2.01% 상승한 131.50달러를 기록하며 정규 세션 동안 1.14% 하락한 128.91달러에서 회복했다.
사진 출처: Koshiro K On Shutterstock.com
면책 조항: 이 콘텐츠는 일부는 Benzinga Neuro의 도움으로 제작되었으며, Benzinga 편집자가 검토하고 게시했습니다.
다른 트레이더들보다 30분 일찍 시장 움직임에 대한 독점 뉴스를 받아보세요.
Benzinga Pro의 독점 뉴스를 통해 수백만 명의 다른 트레이더보다 더 빠르게 유용한 투자 뉴스를 확인할 수 있습니다. 여기를 클릭하여 14일 무료 체험을 시작하세요.
