AMDMI300X在LLM推理AI基准测试中比NVIDIAH100快3倍价格也极具竞争力

Tensorwave发布了AMDMI300X在LLM推理AI工作负载中的最新基准测试，其性能比NVIDIAH100高3倍。

AMDMI300X与NVIDIAH100在LLM推理AI基准测试中正面交锋，红队展示了3倍的性能提升

AI云提供商Tensorwave展示了AMDMI300加速器在AILLM推理基准测试中相对于NVIDIAH100的性能。该公司是众多提供由AMD最新Instinct加速器驱动的云实例的公司之一，看起来AMD不仅在性能方面而且在价值方面都处于领先地位。

在一篇博客文章中，Tensorwave展示了AMD的MI300和MK1加速AI引擎和模型如何以更快、更优化的性能在多个LLM(大型语言模型)中加速发展。

AMDMI300X在LLM推理AI基准测试中比NVIDIAH100快3倍，且价格极具竞争力2

图片来源：Tensorwave

该公司使用Mixtral8x7B模型，并在AMD和NVIDIA硬件上进行了在线和离线测试。测试设置包括8个MI300X加速器，每个加速器都有1B内存池，以及8个NVIDIAH100SXM5加速器，每个加速器都有80GB内存池。AMD的设置运行最新的ROCm6.12驱动程序套件，该套件带有MK1推理引擎和对vLLMv0.4.0的ROCmAI优化，而NVIDIA的设置运行CUDA12.2驱动程序堆栈(最新版本为CUDA12.5)和vLLMv4.3推理堆栈。