教育数字化知识图谱

推理服务平台是部署和管理 AI 模型、对外提供高效推理服务的平台——师生写的应用、智能体发的请求，最终都由它承载模型“跑起来”。它的技术架构自下而上四层：接入层（统一身份、网关、OpenAI 兼容 API）、调度层（路由、限流、批处理、扩缩容）、模型层（模型仓库、多推理引擎、量化）、算力层（GPU、国产算力、云端），外加横切的计量计费、配额治理、内容安全与审计。与相邻平台的关系：微调平台“炼模型”，推理平台“跑模型”，大模型管理平台“管模型”——推理平台可视为管理平台的算力与服务执行层，业界趋势是三者融合为一体化智算平台。高校建设的关键是从“能跑通”升级到“可运营”：谁在用、用多少、花在哪一目了然。