【招标公告】大模型运行环境支持平台（清采比选20242094号）采购公告

采购项目名称：大模型运行环境支持平台
采购项目编号：清采比选20242094号
对外联系人：本项目不接受咨询
联系电话：本项目不接受咨询
采购单位：清华大学
物资名称：大模型运行环境支持平台
采购数量：1
计量单位：套
品牌：GPUStack
型号：GPUStack 0.4
技术参数及配置要求：1. 支持基于Linux、Windows等系统构建GPU集群，支持x86和ARM架构。 2. 支持管理包括Nvidia、Huawei Ascend、摩尔线程等在内的主流GPU。 3. 支持主流开源LLM模型（包括Llama, Qwen, Mixtral, InternLM2等）和Vision多模态模型的推理部署，支持昇腾Ascend 910B上Qwen2.5的推理部署。 4. 支持Whisper、CosyVoice等STT/TTS语音模型和Stable Diffusion、FLUX等文生图模型的推理部署。 5. 支持面向RAG应用的Embedding模型和Reranker模型的推理部署。 6. 支持HuggingFace、ModelScope、Ollama Library模型仓库，支持从本地模型文件部署模型。 7. 支持多种推理引擎，至少支持vLLM和llama.cpp推理引擎。 8. 支持单机多卡、多机多卡的分布式推理部署，以支持大参数模型运行。 9. 支持CPU和GPU混合推理和纯CPU推理，以更好地适配多种环境。 10. 支持模型多副本、高可用部署及访问自动负载均衡，以满足生产环境大并发、高可用需求。 11. 支持高级调度策略，支持Spread和Binpack调度策略，支持基于节点标签调度和手动指定GPU调度，以满足生产环境灵活调度需求。 12. 支持OpenAI兼容的API，包括Chat Completions、Embedding等，以支持AI应用系统集成。 13. 支持用户管理、访问控制及API Key管理，支持模型访问的API Key控制。 14. 支持GPU资源监控，包括GPU核心数量及GPU利用率、显存数量及显存利用率等。 15. 支持模型及用户使用度量，包括用户Token用量、模型Token用量等。 16. 提供LLM、Vision多模态、STT、TTS、文生图、Embedding、Rerank等模型的Playground试验场，支持根据对Prompts和参数的修改动态生成调用代码，支持同时对比多个模型的推理输出和推理性能。 17. 以上功能需要提供友好直观的UI界面操作。 18. 产品支持原生Python方式部署运行和容器方式部署运行。 19. 产品必须以Apache 2.0协议开源，源代码100%开源，产品功能无任何付费使用限制，需提供产品原厂开发商的授权协议。 20. 4年原厂技术服务，包含标准版订阅，含产品更新及5*9技术支持服务。
单价：￥396000
详情请访问原网页！