快科技10月17日消息,近,EXO實驗室展示了其新成果:將兩臺NVIDIA的DGX Spark迷你超算與蘋果的M3 Ultra Mac Studio相結合,成功打造出一個高效的AI協同網絡,實現了AI性能的大幅提升。
這得益于EXO實驗室的主要項目EXO,其核心在于其能夠將大型語言模型(LLM)的推理任務智能分配到不同的硬件設備上。

傳統上,推理任務通常依賴于單一的GPU或加速器,而EXO則能夠自動將工作負載分散到用戶所擁有的各種設備上,無論是桌面電腦、筆記本、工作站、服務器、平板電腦甚至智能手機,都可以成為這個協同AI網絡的一部分。

在EXO的新演示中,兩臺NVIDIA DGX Spark與蘋果的Mac Studio被組合在一起,以充分利用了每臺機器的獨特優勢。
DGX Spark擁有強大的計算能力,而Mac Studio則擁有超寬的內存位寬和快速的數據傳輸能力著稱,EXO 1.0版本將這兩者融合為一個單一的推理管道,并且效果出奇地好。

在EXO使用Meta的Llama-3.1 8B模型進行的基準測試中,這種混合設置比單獨使用Mac Studio的速度快了2.8倍。
這還是在使用相對較小的8B模型和8K-token的情況下,如果使用更長的提示或更大的模型,性能提升可能會更加顯著。

本文鏈接:http://www.yifxia.cn/showinfo-24-184963-0.html蘋果×NVIDIA“夢幻聯動”!兩臺DGX Spark+Mac Studio合體:AI性能暴漲2.8倍
聲明:本網頁內容旨在傳播知識,若有侵權等問題請及時與本網聯系,我們將在第一時間刪除處理。郵件:2376512515@qq.com