与HBM相比GPU的DRAM缓存可将性能提高高达12.5倍同时显着降低功耗

一篇新的研究论文发现了DRAM缓存对于GPU的有用性，它有助于以低功耗实现更高的性能。

研究人员建议在新建的GPUSCM上使用专用DRAM缓存，取代传统的HBM配置

GPU行业涉及消费者、工作站和AIGPU，其发展方式是我们看到内存容量和带宽方面取得了进步，但这是不可持续的，如果创新方法不可行，最终我们可能会达到极限。没拍到。

尽管有严格的监管规定，NVIDIA的H100AIGPU最终还是落入了中国研究人员的手中

我们已经看到GPU制造商通过合并大量二级LLC(末级缓存)或增加L2缓存的大小来推进这一领域的发展。考虑到这一点，研究人员设计了一种开发GPU内存(特别是HBM)的新方法，以打破现代容量和带宽限制，同时使数据传输和管理更加高效。

根据ArVix发表的一篇研究论文，研究人员建议在GPU内存上使用专用DRAM缓存，类似于我们在现代SSD中看到的。DRAM缓存是内存的高速存储位置，允许有效的“获取和执行”过程。然而，这种缓存与我们在SSD中看到的不同，有些不同，因为它涉及SCM(存储级内存)的使用，这是现代HBM的更可行的替代方案，并且具有较低的性能。比特美元成本也比DRAM好。

研究人员提出了一种混合方法，同时利用SCM和DRAM，以减少和避免内存超额认购，并确保单位容量具有更高的性能。

正如预期的那样，这项研究相当深入，它还涉及多个数据流模型，以帮助SCM数据获取过程，其中之一是最后列聚合元数据(AMIL)DRAM缓存组织，它是尝试加快获取“数据标签”的过程，“数据标签”告诉数据位于每个缓存行中的位置。AMIL方法建议将所有标签放在DRAM缓存内单行的最后一列中，以便更快地访问、减少标签探测开销并维护纠错码(ECC)保护。