Llama.cpp是由ggerganov开发的轻量级大语言模型推理引擎，专注于在普通硬件上高效运行Llama系列模型。支持GGUF模型格式，CPU/GPU加速，可在笔记本甚至手机上本地运行大语言模型，是本地AI部署最流行的基础工具。