群联 aiDAPTIV+ 技术破局“内存焦虑”：用 NAND 玩转 AI

亚汇网援引博文介绍，人工智能（AI）和机器学习（ML）的处理能力已成为衡量现代硬件性能的重要指标，除了处理器本身的算力，AI任务对内存的需求也十分巨大。AI模型参数和精度越高，对内存的需求越大。例如，单精度（float32）通常消耗四倍于参数值的内存。即使是32GB显存的RTX5090，也可能被一个80亿参数的模型“喂饱”。而aiDAPTIV+技术通过动态缓存，结合基于NAND闪存“aiDAPTIVCache”缓存技术，扩展可用的HBM（高带宽内存）/GDDR（专为高带宽应用设计的同步动态随机存取存储器）。在GTC2025大会上，群联携手Maingear公司，推出了应用aiDAPTIV+技术的AIPRO桌面工作站，并通过aiDAPTIVLink3.0新版中间件，负责SSD的NAND和GPU之间的数据传输，提供更快的首个Token时间（TTFT）回调响应，并支持更大的LLM（大型语言模型）提示上下文。下图展示了群联Aidaptiv+技术的应用结果，在参数量超过130亿的模型上，群联aiDAPTIV+轻松超越了Maingear的四路英伟达RTX6000Ada设置（未采用aiDAPTIV+）。Maingear介绍称PROAI工作站会动态切片70B训练模型，将当前切片提供给GPU进行高速训练，同时将模型的其余部分存储在DRAM和群联AI100SSD中。每个NVIDIARTX6000ADA在训练中以最少的停机时间全面表现。广告声明：文内含有的对外跳转链接（包括不限于超链接、二维码、口令等形式），用于传递更多信息，节省甄选时间，结果仅供参考，亚汇网所有文章均包含本声明。