模型推理性能压测

一个大语言模型的压力测试工具，可以自定义以支持各种数据集格式和不同的API协议格式，默认支持OpenAI API格式。

:::{toctree} :maxdepth: 2

quick_start.md parameters.md examples.md multi_turn.md sla_auto_tune.md speed_benchmark.md vs_vllm_bench.md custom.md :::