三花快讯 · 2024, 5月12日
Vidur：LLM推理模拟器
Vidur 是一个大规模、高保真、易于扩展的模拟框架，用于模拟 LLM 推理性能。
Vidur 是一个大规模、高保真、易于扩展的模拟框架，用于模拟 LLM 推理性能。结合实验分析和预测建模来模拟 LLM 操作的性能，通过估计延迟和吞吐量等关键指标，评估不同工作负载的端到端推理性能。在多个 LLMs 上验证了 Vidur 的保真度，展示了它在范围内估计推理延迟的误差小于9%。
商业转载请联系三花微信公众号获得授权，非商业转载请注明本文出处及文章链接，您可以自由地在任何媒体以任何形式复制和分发作品，也可以修改和创作，但是分发衍生作品时必须采用相同的许可协议。
本文采用 CC BY-NC-SA 4.0 - 非商业性使用 - 相同方式共享 4.0 国际 进行许可。