教育数字化知识图谱

这是典型的脉冲负载（上课铃响效应），考验推理引擎的三大优化技术。第一是连续批处理：传统静态批处理要等一批请求全部生成完才释放资源，连续批处理按迭代步动态调度、请求随到随进完成即走，实测可将吞吐提升三到八倍，这是应对脉冲负载的基础能力。第二是 KV Cache 管理：长文档分析等场景的缓存占用会超过模型权重本身，通过分页管理、缓存量化压缩、公共前缀复用（系统提示词只算一次）三件套，可降低显存占用四成以上。第三是投机推理：用小模型起草、大模型验证，问答类场景可加速两到三倍且质量无损。除引擎优化外，架构上还须网关双活、模型多副本——有高校开学首日因网关单实例、模型单副本导致全校 AI 瘫痪四小时，冗余设计是底线。