公司概况
LMDeploy 是由上海人工智能实验室 OpenMMLab 团队开发的开源工具箱，面向大语言模型（LLM）与视觉语言模型（VLM）提供压缩、部署和服务的一站式支持，是书生（InternLM）开源体系在大模型部署方向的重要组成。
主营业务
- TurboMind 高性能推理引擎，面向极致推理性能优化
- PyTorch 推理引擎，纯 Python 实现，降低开发与使用门槛
- 模型量化能力，支持 KV 缓存量化与权重量化
- 多轮对话缓存机制与交互式推理支持
- OpenAI 兼容推理服务，可快速搭建生产级 API
服务教育行业
适用于高校人工智能相关专业的教学实训与科研场景，可服务于院校在自有 GPU 服务器上部署开源大模型，支撑大模型部署与推理优化课程实验、科研项目的本地推理需求，以及校园智能问答等应用的私有化运行，其持续更新的中文文档也降低了学习成本。
