LMDeploy
-
LMDeploy推理服务平台
LMDeploy 是书生·InternLM 体系的开源大模型推理部署引擎，TurboMind 推理引擎与深度 INT4 量化对 Qwen/InternLM 等中文模型的低成本部署优化显著，对昇腾等国产 GPU 兼容性好，适合高校国产算力环境下的私有化推理部署。
