Rust高速Mistral推理引擎
Mistral.rs是用Rust语言实现的Mistral系列模型高速推理引擎,支持多种硬件加速,提供内存高效的推理实现,支持CUDA、ROCm等平台,专注于性能和内存效率,是本地运行Mistral模型的优秀选择。