黄仁勋、苏姿丰力挺InferenceMAX开源新基准，英伟达与AMD的联合点赞

英伟达和AMD力挺InferenceMAX开源新基准，黄仁勋和苏姿丰对其表示赞赏，这一新基准旨在推动人工智能推理性能的提升，得到业内巨头的高度认可，此举有望推动AI技术的进一步发展和应用。

10月11日消息，科技媒体Tom'sHardware昨日（10月10日）发布博文，报道称分析机构SemiAnalysis近日发布了一款名为InferenceMax的开源AI基准测试套件，专注于衡量在真实AI推理（模型实际运行）场景下，由驱动、内核、框架等组成的整个软件堆栈的综合效率。援引博文介绍，人工智能领域的焦点几乎完全集中在芯片交易和GPU等硬件发展上，现有的基准测试也大多只关注硬件性能，因此InferenceMax希望提供一个开源且厂商中立的AI基准测试套件。该项目以滚动发布的方式，每晚更新测试结果，从而能够动态追踪软件更新对性能的持续影响。
InferenceMax引入了两个相互制约的关键性能指标。其一是“吞吐量”，指在单位时间内处理更多并发请求的能力，这有利于最大化GPU利用率；其二是“交互性”，指为单个用户提供更快响应速度的能力，例如在聊天机器人场景中。
在两者之间取得理想平衡（即帕累托前沿曲线上的最佳点）至关重要。最终，对于服务提供商而言，衡量投资回报的终极标准是“总拥有成本”（TCO），即处理每百万token所需花费的美元。InferenceMax致力于估算不同硬件采购或租赁方案下的TCO，为用户提供最具经济效益的选择依据。InferenceMax的初步测试提供了一些颠覆性的见解。例如，尽管英伟达的B200在原始速度上遥遥领先，但在综合考量TCO后，AMD的MI335X在特定场景下展现出了极强的竞争力，这表明，最快的芯片不一定是最经济高效的选择。同时，测试也暴露了AMD在FP4（4位浮点格式）内核方面尚有改进空间，目前依赖该数学格式的场景仍由英伟达芯片主导。这些发现凸显了单纯比较硬件参数的局限性，软件优化与成本效益正成为评估AI性能的关键。InferenceMax的开发过程得到了英伟达、AMD及多家云服务商的深度协作。这种合作不仅帮助项目获取了真实的硬件与软件配置方案，还意外地发现了两大巨头软件堆栈中的多个错误。例如，项目组协助AMD修复了其ROCm软件中的问题，并建议AMD提供更优的默认配置以简化性能调优。对于英伟达，测试则暴露了其新款Blackwell驱动在快速启停实例时存在初始化相关的障碍。英伟达首席执行官黄仁勋表示：

在长上下文推理的推动下，推理需求呈指数级增长。NVIDIAGraceBlackwellNVL72正是为这个充满思考力的AI新时代而生。NVIDIA通过持续的硬件和软件创新来满足这一需求，从而赋能AI的未来发展。通过频繁的基准测试，InferenceMax让业界能够清晰地了解LLM推理在实际工作负载下的性能。结果显而易见：搭载TRT-LLM和Dynamo的GraceBlackwellNVL72可提供无与伦比的单位成本和单位兆瓦性能，为全球生产力最高、成本效益最高的AI工厂提供支持。

AMD首席执行官苏姿丰表示：

开放式协作正在推动人工智能创新的新时代。开源InferenceMax基准测试为社区提供透明的每日结果，从而激发信任并加速进步。它凸显了我们的AMDInstinctMI300、MI325X和MI355XGPU在不同工作负载下具有竞争力的TCO性能，彰显了我们平台的强大实力以及我们致力于让开发人员实时了解软件进度的承诺。

附上参考地址