基本信息
| 地区 |
北京 北京市 |
采购单位 |
联通数字科技有限公司 |
| 招标代理机构 |
公诚管理咨询有限公司 |
项目名称 |
2026-2027年联通数科智算集群联调与优化服务集中采购项目 |
| 采购联系人 |
*** |
采购电话 |
*** |
2026-2027年联通数科智算集群联调与优化服务集中采购项目测试公告（招标编号：ND00182604000121）
项目所在地区：北京市
一、招标条件
本2026-
2027年联通数科智算集群联调与优化服务集中采购项目已由项目审批/核准/备 案机关批准，项目资金来源为自筹资金0万元，招标人为联通数字科技有限公司。本项目已具备招标条件，现招标方式为公开招标。
二、项目概况和招标范围
规模：/
范围：本招标项目划分为1个标段，本次招标为其中的：(001)/;
三、投标人资格要求
(001/)的投标人资格能力要求：/;
本项目不允许联合体投标。
四、招标文件的获取
获取时间：从2026年04月30日 18时00分到2026年05月11日 23时59分 获取方式：电子邮件
五、投标文件的递交
递交截止时间：2026年05月12日 00时00分
递交方式：电子邮件电子上传文件递交
六、开标时间及地点
开标时间：2026年05月12日 00时00分
开标地点：线上
七、其他
公告编号：ND00182604000121
公告发布媒介：在中国联通采购与招标网（www.chinaunicombidding.cn）及中 国招标投标公共服务平台（www.cebpubservice.com）同时发布测试公告。
联通数字科技有限公司等启动2025年联通数科智算集群联调与优化服务集中采 购测试工作，现将有关事项公告如下：
一、测试内容
依据测试规范对潜在供应商智算集群联调与优化服务技术能力进行测试，通过 各厂家对智算集群调优后的单机综合测试、集群集合通信测试、集群性能测试 等指标，以期定性、定量测试出各厂家智算集群调优服务技术能力。测试主要 依据《附件1：2026-
2027年联通数科智算集群联调与优化服务集中采购项目测试规范书》。
二、测试安排
（一）测试申请
1.报名参加测试的厂商将申请材料的盖章扫描件通过电子邮件发送至测试组织 单位及测试实施单位联系人邮箱，并电话确认，不接受其他方式报名。
2.申请材料：
（1）《附件2：2026-
2027年联通数科智算集群联调与优化服务集中采购项目测试报名表》；法人代 表授权委托书；公司营业执照复印件；
（2）《附件3：2026年联通数科智算集群联调与优化服务集中采购项目测试信 息保护及廉洁协议》；
3.测试组织单位：联通数字科技有限公司（总体组织，统筹协调）。
测试组织单位联系人：崔一夫 电话：13161953680 邮箱：cuiyf58@chinauni com.cn
4.测试实施单位：中讯邮电咨询设计院有限公司郑州分公司（负责测试实施、现场技术支持/咨询和应答）
测试实施单位联系人：刘景涛 电话：18637129629 邮箱：ljt@dimpt.com 5.测试地点：贵州省贵安新区黔中大道电子信息产业园内中国联通贵安云数据 中心。
（二）测试要求
1.参测服务商依据测试组织单位提供的测试环境进行智算集群联调与优化，在
规定时间内完成。
2.集群联调与优化工具需由厂商自行准备。
3.测试报名时间为：2026年4月30日18:00-5月11日23:59
（三）测试启动会
请报名测试的厂商参加后续召开的测试启动会（具体地点和日期以邮件方式告 知），测试启动会将宣贯本次测试相关管理规定，并就测试要求和安排等相关 内容进行说明。
三、测试结果应用
1、参测厂商的测试结果应用在2026-
2027年联通数科智算集群联调与优化服务集中采购资格审查和技术评审中。2、本次测试为复合型测试，包含符合性测试项和技术指标量化测试项。符合性 测试结果为“通过”才具备参与技术指标量化测试结果评分的资格，具体说明 如下：
（1）符合性测试：
①
符合性测试内容为“4.1单机综合测试”。所有的测试项须全部通过，若用例不 通过则视为本次测试不合格。“4.2单机模型推理测试”、“4.3多机参数面集 合通信测试”和“4.4集群模型推理测试”需要与预期结果无偏离或正偏离，如 出现负偏离，同样视为本次测试不合格。
②在正式测试过程中，因厂家自带工具原因导致测试环境设备宕机、关键组件 出现重大安全告警、设备不稳定等问题的，该测试厂家也视为不合格。
（2）技术指标量化测试：符合性测试“通过”后才具备参与技术指标量化测试 的资格。技术指标量化测试分为
“4.2单机模型推理测试”、“4.3多机参数面集合通信测试”、“4.4集群模型 推理测试”、“4.5工具基础能力测试”共计4项。 测试完成后，需按照测试用 例记录测试结果参数。
3、本次测试结果将作为后续2026-
2027年联通数科智算集群联调与优化服务集中采购资格审查和技术评分的依据，通过本次测试是资格审查合格的必要条件。
四、测试费用
本次测试由联通数字科技有限公司委托中讯邮电咨询设计院有限公司郑州分公 司承担测试全部工作。测试产生的所有相关成本与费用，均由参测厂商承担，具体费用将依据机房、供电、人力等因素核定，并由测试实施单位收取。参测 厂家需在测试开始前与测试单位签订《测试委托协议》，并缴纳测试费用（具 体协议内容及收费标准请详询测试单位联系人）。无论测试结果是否合格，该 测试费均不退还。
五、附件清单
附件1：2026-
2027年联通数科智算集群联调与优化服务集中采购项目测试规范书
附件2：2026-
2027年联通数科智算集群联调与优化服务集中采购项目测试报名表
附件3：2026-
2027年联通数科智算集群联调与优化服务集中采购项目测试信息保护及廉洁协 议
八、监督部门
本招标项目的监督部门为中华人民共和国工业和信息化部。
九、联系方式
招 标 人：联通数字科技有限公司
地 址：北京市西城区西单北大街133号联通大厦 联 系 人：/
电 话：/
电子邮件：/
招标代理机构：公诚管理咨询有限公司
地 址： 北京市丰台区京印国际中心A区701 联 系 人： /
电 话： /
电子邮件： /
1
招标人或其招标代理机构主要负责人（项目负责人）： （签名）
招标人或其招标代理机构： （盖章）
2026-
2027年联通数科智算集群联调与优化服务集中 采购测试规范书
联通数字科技有限公司
2026年4月
目 录
目 录 .............................................................................................................................1 1 概述 .............................................................................................................................2
1.1测试目的..................................................................................................................................2 1.2术语解释..................................................................................................................................2 1.3测试内容..................................................................................................................................3
2 测试环境 .....................................................................................................................3
2.1环境总体要求..........................................................................................................................3 2.2环境部署..................................................................................................................................4
3 测试方法 .....................................................................................................................4
3.1测试工具..................................................................................................................................4 3.2具体测试方法..........................................................................................................................4 3.3测试评判..................................................................................................................................5
4 测试用例 .....................................................................................................................5
4.1单机综合测试..........................................................................................................................5 4.1.1 芯片状态测试.........................................................................................................................5 4.1.2 PCIE测试.................................................................................................................................6 4.1.3 网络联通性测试.....................................................................................................................6 4.1.4 带宽性能测试.........................................................................................................................7 4.2单机模型推理测试..................................................................................................................8 4.3多机参数面集合通信性能测试............................................................................................10 4.4集群模型推理测试 .................................................................................................................11 4.5工具基础能力测试................................................................................................................14 4.5.1 工具单机测试能力验证..........................................................................................................14 4.5.2 工具集合通信测试能力验证..................................................................................................14 4.5.3 工具单机模型测试能力验证..................................................................................................15 4.5.4 工具集群测试能力验证..........................................................................................................16
1
1 概述
本规范用于联通数科智算集群联调与调优服务技术能力测试，为《2026-2027年联通数科智算集群联调与优化服务集中采购项目》招标选型和工程建设提 供技术依据。
1.1 测试目的
依据测试规范对潜在供应商智算集群联调与调优服务技术能力进行测试，通过各厂家
对智算集群调优后的单机综合测试、集群性能测试、集群稳定性测试等指标，以期定性、
定量测试出各厂家智算集群调优服务技术能力。
1.2 术语解释
| 缩略语 | 英文 | 中文 |
| NPU | Neural network Processing Unit | 神经网络处理器，用电路模拟人类的神经 元和突触结构 |
| CPU | Central Processing Unit | 解释计算机指令以及处理计算机软件中的 数据 |
| HCCL | Huawei Collect ive Communication Library | 华为集合通信库：基于昇腾AI处理器高性 能集合通信库 |
| P2P | Peer-to-Peer | 点对点网络中，节点之间直接传输数据所 需的带宽，通常要求上行带宽稳定在80Mb ps以上，以满足高带宽需求。 |
| D2H | Device to Host | 指从设备（如GPU）到主机（如CPU）之间的数 据传输速率，通常受限于PCIe总线的性能 和数据传输方式。 |
| H2D | Host to Device | 指从主机到设备之间的数据传输速率，通 常受限于PCIe总线的带宽和内存拷贝的效 率。 |
| allreduc e | allreduce | 分布式训练中最核心的集合通信算子之一，用于在多个进程或 GPU |
2
| | 间高效聚合数据并同步结果。它将 Reduc e（归约）与 Broadcast（广播）融合，常 用于梯度同步，确保所有设备上的模型参 数一致。 |
| allgathe r | allgather | 多对多的通信原语，具有多个数据发送者，多个数据接收者，可以在集群内把多个 节点的数据收集到一个主节点上（Gather），再把这个收集到的数据分发到其他节点 上（broadcast），即收集集群内所有的数 据到所有的节点上。 |
| alltoall | alltoall | 一种特殊的集合通信模式，每个参与者都 需要向其他所有参与者发送不同的数据，同时从其他所有参与者接收不同的数据 |
| TPOT | Time Per Output Token | 平均每个输出 Token 的生成时间（解码阶段） |
| Token | Token | 大模型处理信息的基本单元 |
| Batchsiz e | Batchsize | 测试时并发数量 |
| e2e_time | e2e_time | 端到端时间，从首个token调度时间到生 成完成时间的总耗时 |
| e2e_thro ughput | e2e_throughput | 端到端吞吐量，是衡量AI推理系统整体性 能的关键指标，表示从用户请求开始到获 得完整响应的整个过程中，系统每秒能够 处理的token数量 |
| In_seq | Input Sequence | （输入序列长度）指模型一次推理 / 训练中，输入侧的 token 数量，也就是“输入上下文长度”。 |
| Out_seq | Output Sequence | （输出序列长度）指模型一次推理中生成的 |
3
| | 输出 token 总数，也就是模型“回答 / 生成”部分的 token 长度。 |
1.3 测试内容
本次测试共分为5部分的测试内容：
单机综合测试；单机模型推理测试；多机参数面集合通信测试；集群推理模型测试；工具基础能力测试；
2 测试环境
2.1 环境总体要求
1. 由项目测试实施单位提供一套测试环境，包含4台800I A2-64GB 910B（910B4/64G芯片）系列昇腾智算服务器及配套ROCE交换机。
2. 测试模型基于国内业界在推理场景下最广泛使用的大模型DeepSeek-R1-Distill-Llama-70B和DeepSeek-R1-
671B，开展单机模型推理测试、集群推理模型测试。
2.2 环境部署
1.
测试环境的服务器和交换机为无配置的裸机器，各参测厂家需仔细研读相关测试 用例，自行安排技术人员进行测试环境智算集群的联调与优化，包括但不限于系 统安装、软件安装、交换机配置、环境联调等。
2.
测试环境完成调试后，参测厂家需及时通知测试组织单位和测试实施单位，并正 式开始执行测试用例并记录测试结果。
3.
测试用例执行过程中，各参测厂家可在规定的时间内，根据测试结果对测试环境 持续进行联调和优化，只记录最终测试结果。
4
4.
测试过程中，如遇到设备故障等硬件环境导致的测试结果不准确，各参测厂家可 正式向测试组织单位和测试实施单位提出申请，经设备原厂家检测认定如确为硬 件设备故障，可申请重新测试。
3 测试方法
3.1 测试工具
测试过程中所需测试软硬件设备，包括操作系统、测试软件工具等。
| 测试工具名称 | 测试工具说明/型号 |
| 操作系统 | CUOS |
| 带宽测试工具 | 参测厂商自带 |
| 推理性能测试工具 | 参测厂商自带 |
3.2 具体测试方法
1) 单机综合测试主要测试内容包含NPU健康状态检查、NPU网口连通性检查、CPU和NPU 间传输带宽测试、单机NPU间HCCL集合通信带宽测试。
2) 单机模型推理测试主要用于测试单机推理功能是否正常，满足相关性能指标。
3) 多机参数面集合通信测试主要内容为4节点NPU网口连通性测试，达成集合通信性能 指标，保障后续4机推理的正常运行。
4) 集群推理模型测试主要内容为4节点的模型推理性能测试，满足端到端吞吐量等相关 指标要求。
5) 工具项测试主要检测参与方是否有智算集群集成调优工具，以满足大规模智算集群（如64台/128台/256台）集成调优工作需求。
3.3 测试评判
1、参测厂家的测试结果将应用在2026-
2027年联通数科智算集群联调与优化服务集中采购资格审查和技术评审中。
2、本次测试为智算集群联调与优化服务技术能力测试，包含符合性测试项和 技术指标量化测试项。符合性测试结果为“通过”才具备技术指标量化测试结果 评分的资格，具体说明如下：
（1）符合性测试：
5
①
符合性测试内容为“4.1单机综合测试”。所有的测试项须全部通过，若用例不通过 则视为本次测试不合格。“4.2单机模型推理测试”、“4.3多机参数面集合通信测试”和“4.4集群模型推理测试”需要与预期结果无偏离或正偏离，如出现负偏离，同 样视为本次测试不合格。
②在正式测试过程中，因厂家自带工具原因导致测试环境设备宕机、关键组 件出现重大安全告警、设备不稳定等问题的，该测试厂家也视为不合格。
（2）技术指标量化测试：
符合性测试“通过”后才具备参与技术指标量化测试的资格。技术指标量化 测试分为
“4.2单机模型推理测试”、“4.3多机参数面集合通信测试”、“4.4集群模型推理测 试”、“4.5工具基础能力测试”共计4项。
测试完成后，需按照测试用例记录测试结果参数。
4 测试用例
4.1 单机综合测试
4.1.1 芯片状态测试
| 测试编号： | CU-SK-AI-PCS-T0411 |
| 测试目的： | 测试服务器NPU健康状态是否正常 |
| 预置条件： | 1、设备已上电； 2、操作系统已完成安装，root用户可以通过ssh远程直连；3、 设备网络连通； 4、 测试软硬件环境及版本准备就绪； |
| 测试步骤： | 1、登录服务器或通过工具进行单机综合测试 2、通过工具创建测试任务，逐一输出各设备的健康状态。 3、如不具备工具，可通过远程访问软件登录服务器通过命令查看 NPU状态并输出健康状态结果。 |
| 预期结果： | 1、所有NPU查询结果为：Health Status: OK，Error Code: NA |
| 测试结果 | |
6
4.1.2 PCIE测试
| 测试编号： | CU-SK-AI-PCS-T0412 |
| 测试目的： | 检查 PCle 速率，所有芯片查询的结果为 Speed 16GT/s;检查 PCle 总线带宽，所有芯片查询的结果为 Width x16 |
| 预置条件： | 1、设备已上电； 2、操作系统已完成安装，root用户可以通过ssh远程直连；3、 设备网络连通； 4、 测试软硬件环境及版本准备就绪； |
| 测试步骤： | 1、登录服务器或通过工具进行单机综合测试 2、通过工具创建测试任务，逐一输出各设备的健康状态。 3、如不具备工具，可通过远程访问软件登录服务器通过命令查看 PCIE状态并输出状态结果。 |
| 预期结果： | 1、芯片查询结果为：Speed 16GT/s，Width x16 |
| 测试结果 | |
| 备注： | 备注：保留操作截屏归档 |
4.1.3 网络联通性测试
| 测试编号： | CU-SK-AI-PCS-T0413 |
| 测试目的： | 测试NPU各网口间连通性 |
| 预置条件： | 1、设备已上电； 2、操作系统已完成安装，root用户可以通过ssh远程直连；3、 设备网络连通； 4、 测试软硬件环境及版本准备就绪； |
| 测试步骤： | 1、登录服务器或通过工具进行单机综合测试 2、通过工具创建测试任务，逐一输出各设备的健康状态。 3、如不具备工具，可通过远程访问软件登录服务器通过命令查看 网口间状态并输出状态结果。 |
7
| 预期结果： | 1、NPU网口link状态up 2、NPU网口网络健康状态均为Success 3、NPU网口速率均为200000 Mb/s 4、NPU网口光模块状态均为present 5、device TLS开关状态均为1 |
| 测试结果 | |
| 备注： | 备注：保留操作截屏归档 |
4.1.4 带宽性能测试
| 测试编号： | CU-SK-AI-PCS-T0414 |
| 测试目的： | 测试CPU和NPU间传输带宽、单机NPU间HCCL集合通信带宽 |
| 预置条件： | 1、设备已上电； 2、操作系统已完成安装，root用户可以通过ssh远程直连；3、 设备网络连通； 4、 测试软硬件环境及版本准备就绪； |
| 测试步骤： | 1、登录服务器或通过工具进行单机综合测试 2、通过工具创建测试任务，逐一输出各设备的健康状态。 3、如不具备工具，可通过远程访问软件登录服务器通过命令查看 带宽性能并输出结果。 |
| 预期结果： | 1、所有NPU之间的P2P带宽，单向带宽均不低于24GB/s，双向带宽 均不低于48GB/s。 2、所有NPU的D2H带宽均不低于24.5GB/s。 3、所有NPU的H2D带宽均不低于23.5GB/s。 4、单机8个NPU的allreduce带宽在1G数据量时不低于66GB/s。5、单机8个NPU的allgather带宽在1G数据量时不低于130GB/s。 |
| 测试结果 | |
| 备注： | 备注：保留操作截屏归档 |
8
4.2 单机模型推理测试
| 测 试 编 号 | CU-SK-AI-PCS-T0421 |
| 测 试 目 的 | 测试使用DeepSeek-R1-Distill-Llama-70B模型进行单机推理的服务能力 |
| 测 试 条 件 | 1.本次测试仅限于单台整机算力服务器，设备电源供电正常 2.使用本地管理PC连接到服务器 3.设备为稳定的商用BIOS版本及BMC版本 4.设备已安装规定操作系统并且驱动程序安装正常 5.业务系统中已安装加速卡对应软件套件、Driver 6.业务系统中已导入模型开源权重和配置，链接：https://huggingface.c o/deepseek-ai/DeepSeek-R1-Distill-Llama-70B 7.测试要求使用BF16/FP16与INT8精度进行推理，模型转换工具应开源，分 别记录不同精度的模型输出 8.配置固定输入tokens和生成tokens长度分别为256/256、256/512、256/1 024、512/512、512/1024、512/2048、1024/128、1024/256、1024/1024、102 4/2048、2048/128、2048/256、2048/1024、2048/2048、2048/1、3072/1024，并发：1路、32路、64路起进行摸高；时延要求，TPOT≤100ms。 |
| 测 试 过 程 | 1.远程通过命令行登录被测试服务器，执行命令查询当前算力加速卡的状 态及健康状况。 2.执行命令进行模型推理。 3.记录各档位下的总系统deocde吞吐（tokens/s）、batchsize、tp、首toke n时延、decode平均时延，每个输入输出组合可在规定时间内多次进行调优，但最多只可输出2次结果，厂商可选定其中的一次结果作为最终指标记录。 4.保存过程日志文件(测试方式、数据集内容、token 记录、运行日志等文件)。 |
| 预 期 | 1.步骤1中，所有算力加速卡均在位且运行正常，无告警； |
9
| 结 果 | | 2.步骤 样表如 | 2中，下： | 正常推 | 理，并发、时延达 | 到要求 | ，并输出 | 模型吞 | 吐率数 | 据，记 | 录 |
| 数据 类型 | 输 入 长 度 | 输 出 长 度 | BatchSize | 首字 时延( TTFT) | decode 时延(≤1 00ms)（T POT） | decod e总吞 吐(To ken/s ) | E2E(al l Tokens /s) | E2E(o utput Token s/s) | |
| BF16/ FP16 | 256 | 256 | 1/32/64/MAX(摸高) | | | | | | |
| BF16/ FP16 | 256 | 512 | 1/32/64/MAX(摸高) | | | | | | |
| BF16/ FP16 | 256 | 102 4 | 1/32/64/MAX(摸高) | | | | | | |
| BF16/ FP16 | 512 | 512 | 1/32/64/MAX(摸高) | | | | | | |
| BF16/ FP16 | 512 | 102 4 | 1/32/64/MAX(摸高) | | | | | | |
| BF16/ FP16 | 512 | 204 8 | 1/32/64/MAX(摸高) | | | | | | |
| BF16/ FP16 | 102 4 | 128 | 1/32/64/MAX(摸高) | | | | | | |
| BF16/ FP16 | 102 4 | 256 | 1/32/64/MAX(摸高) | | | | | | |
| BF16/ FP16 | 102 4 | 102 4 | 1/32/64/MAX(摸高) | | | | | | |
| BF16/ FP16 | 102 4 | 204 8 | 1/32/64/MAX(摸高) | | | | | | |
| BF16/ FP16 | 204 8 | 128 | 1/32/64/MAX(摸高) | | | | | | |
| BF16/ FP16 | 204 8 | 256 | 1/32/64/MAX(摸高) | | | | | | |
| BF16/ FP16 | 204 8 | 102 4 | 1/32/64/MAX(摸高) | | | | | | |
| BF16/ FP16 | 204 8 | 204 8 | 1/32/64/MAX(摸高) | | | | | | |
| BF16/ FP16 | 307 2 | 102 4 | 1/32/64/MAX(摸高) | | | | | | |
| BF16/ FP16 | 204 8 | 1 | 32、64 | | / | / | | | |
| INT8 | 256 | 256 | 1/32/64/MAX(摸高) | | | | | | |
| INT8 | 256 | 512 | 1/32/64/MAX(摸高) | | | | | | |
| INT8 | 256 | 102 4 | 1/32/64/MAX(摸高) | | | | | | |
| INT8 | 512 | 512 | 1/32/64/MAX(摸高) | | | | | | |
| INT8 | 512 | 102 4 | 1/32/64/MAX(摸高) | | | | | | |
| INT8 | 512 | 204 8 | 1/32/64/MAX(摸高) | | | | | | |
| INT8 | 102 4 | 128 | 1/32/64/MAX(摸高) | | | | | | |
| INT8 | 102 | 256 | 1/32/64/MAX(摸高) | | | | | | |
10
| | | 4 | | | | | | | | |
| INT8 | 102 4 | 102 4 | 1/32/64/MAX(摸高) | | | | | |
| INT8 | 102 4 | 204 8 | 1/32/64/MAX(摸高) | | | | | |
| INT8 | 204 8 | 128 | 1/32/64/MAX(摸高) | | | | | |
| INT8 | 204 8 | 256 | 1/32/64/MAX(摸高) | | | | | |
| INT8 | 204 8 | 102 4 | 1/32/64/MAX(摸高) | | | | | |
| INT8 | 204 8 | 204 8 | 1/32/64/MAX(摸高) | | | | | |
| INT8 | 307 2 | 102 4 | 1/32/64/MAX(摸高) | | | | | |
| INT8 | 204 8 | 1 | 32、64 | | / | / | | |
| 测 试 说 明 | 1.如使用推理加速策略，需记录说明 |
| 测 试 结 果 | |
4.3 多机参数面集合通信性能测试
| 测试编号： | CU-SK-AI-PCS-T0431 |
| 测试目的： | 多机状态下进行NPU网口连通性测试（allreduce和alltoall带宽），提前排除参数面网络故障，保障后续集群训练的正常运行。 |
| 预置条件： | 1、设备已上电； 2、操作系统已完成安装，root用户可以通过ssh远程直连；3、设备网络连通； 4、测试软硬件环境及版本准备就绪； |
| 测试步骤： | 1、检测各项基础配置是否已完备； 2、创建任务名称并对测试内容进行描述； 3、创建任务配置，按照1GB数据量启动集合通信测试；4、在测试结果查看allreduce和alltoall带宽； |
| 预期结果： | 1、基准线1GB数据量下，allreduce带宽不低于34 GB/S； |
11
| 2、基准线1GB数据量下，alltoall带宽不低于18 GB/S； |
| 测试结果 | |
| 备注： | 备注：保留操作截屏归档 |
4.4 集群模型推理测试
| 测试 编号 | CU-SK-AI-PCS-T0441 |
| 测试 目的 | 测试使用DeepSeek-R1 671B模型进行集群推理的服务能力 |
| 测试 条件 | 1.本次测试在INT8精度下算力卡数不高于16卡，在BF16精度下算力卡数 不高于32卡，设备电源供电正常 2.使用本地管理PC连接到服务器 3.设备为稳定的商用BIOS版本及BMC版本 4.设备已安装规定操作系统并且驱动程序安装正常 5.业务系统中已安装加速卡对应软件套件、Driver 6.业务系统中已导入模型开源权重和配置，链接： ，原始模型结构不允许更改 7.测试要求使用BF16/FP16与INT8精度进行推理，模型转换工具应开源，分别记录不同精度的模型输出 8.配置固定输入tokens和生成tokens长度分别为256/256、256/512、256/ 1024、512/512、512/1024、512/2048、1024/128、1024/256、1024/1024、1 024/2048、2048/128、2048/256、2048/1024、2048/2048、2048/1、3072/10 24，并发：1路、32路、64路起进行摸高；时延要求，TPOT≤100ms； |
| 测试 过程 | 1.远程通过命令行登录被测试服务器，执行命令查询当前算力加速卡的 状态及健康状况。 2.执行命令进行模型推理。 3.记录各档位下的总系统deocde吞吐（tokens/s）、batchsize、tp、首token时延 |
12
| 、decode平均时延，每个输入输出组合可在规定时间内多次进行调优，但最多只可 输出2次结果，厂商可选定其中的一次结果作为最终指标记录。 4.保存过程日志文件(测试方式、数据集内容(如有)、token记录、运行日志等文件 )。 |
| 预期 结果 | | 1.步骤1 2.步骤2 录样表如 | 中，所 中，正 下： | 有算 常推 | 力加速卡均在 理，并发、时 | 位且运 延达到 | 行正常 要求，并 | ，无告警；输出模型 | 吞吐率 | 数据，记 | |
| 数据 类型 | 输 入 长 度 | 输 出 长 度 | BatchSiz e | 首字 时延 (TTF T) | deco de时 延(≤100m s)（T POT） | decode 总吞吐 (Token s/s) | E2E( all Toke n/s) | E2E( outp ut Toke ns/s ) | |
| BF16/ FP16 | 256 | 256 | 1/32/64/ MAX(摸高 ) | | | | | | |
| BF16/ FP16 | 256 | 512 | 1/32/64/ MAX(摸高 ) | | | | | | |
| BF16/ FP16 | 256 | 102 4 | 1/32/64/ MAX(摸高 ) | | | | | | |
| BF16/ FP16 | 512 | 512 | 1/32/64/ MAX(摸高 ) | | | | | | |
| BF16/ FP16 | 512 | 102 4 | 1/32/64/ MAX(摸高 ) | | | | | | |
| BF16/ FP16 | 512 | 204 8 | 1/32/64/ MAX(摸高 ) | | | | | | |
13
| | BF16/ FP16 | 102 4 | 128 | 1/32/64/ MAX(摸高 ) | | | | | | |
| BF16/ FP16 | 102 4 | 256 | 1/32/64/ MAX(摸高 ) | | | | | |
| BF16/ FP16 | 102 4 | 102 4 | 1/32/64/ MAX(摸高 ) | | | | | |
| BF16/ FP16 | 102 4 | 204 8 | 1/32/64/ MAX(摸高 ) | | | | | |
| BF16/ FP16 | 204 8 | 128 | 1/32/64/ MAX(摸高 ) | | | | | |
| BF16/ FP16 | 204 8 | 256 | 1/32/64/ MAX(摸高 ) | | | | | |
| BF16/ FP16 | 204 8 | 102 4 | 1/32/64/ MAX(摸高 ) | | | | | |
| BF16/ FP16 | 204 8 | 204 8 | 1/32/64/ MAX(摸高 ) | | | | | |
| BF16/ FP16 | 307 2 | 102 4 | 1/32/64/ MAX(摸高 ) | | | | | |
| BF16/ FP16 | 204 8 | 1 | 32、64 | | / | / | | |
14
| | INT8 | 256 | 256 | 1/32/64/ MAX(摸高 ) | | | | | | |
| INT8 | 256 | 512 | 1/32/64/ MAX(摸高 ) | | | | | |
| INT8 | 256 | 102 4 | 1/32/64/ MAX(摸高 ) | | | | | |
| INT8 | 512 | 512 | 1/32/64/ MAX(摸高 ) | | | | | |
| INT8 | 512 | 102 4 | 1/32/64/ MAX(摸高 ) | | | | | |
| INT8 | 512 | 204 8 | 1/32/64/ MAX(摸高 ) | | | | | |
| INT8 | 102 4 | 128 | 1/32/64/ MAX(摸高 ) | | | | | |
| INT8 | 102 4 | 256 | 1/32/64/ MAX(摸高 ) | | | | | |
| INT8 | 102 4 | 102 4 | 1/32/64/ MAX(摸高 ) | | | | | |
| INT8 | 102 4 | 204 8 | 1/32/64/ MAX(摸高 | | | | | |
15
| 测试 说明 | 1.分布式策略不限制，需要记录测试方案 2.如使用推理加速策略，需记录说明 |
|
|
|
|
|
|
|
| 测试 结果 | |
4.5 工具基础能力测试
4.5.1工具单机测试能力验证
| 测试编号： | CU-SK-AI-PCS-T0451 |
| 测试目的： | 测试参与方工具是否具备单机测试能力。 |
16
| 预置条件： | 1、设备已上电； 2、操作系统已完成安装，root用户可以通过ssh远程直连；3、设备网络连通； 4、测试软硬件环境及版本准备就绪； |
| 测试步骤： | 1、工具与服务器管理网络连通 2、进入单机测试相关操作界面 3、选择单机检查相关任务的检查项并执行 4、进行节点健康分析，获取检查报告 |
| 预期结果： | 1、工具可以正常完成与服务器连通并顺利创建任务 2、工具需具备可交互的操作指示界面，界面显示逻辑完整，相关 操作指令可被正常触发并执行 3、工具输出的服务器健康检查报告满足4.1单机综合测试指标要 求； |
| 测试结果 | |
| 备注： | 备注：保留操作截屏归档 |
4.5.2工具集合通信测试能力验证
| 测试编号： | CU-SK-AI-PCS-T0452 |
| 测试目的： | 测试参与方工具是否具备集合通信测试能力。 |
| 预置条件： | 1、设备已上电； 2、操作系统已完成安装，root用户可以通过ssh远程直连；3、设备网络连通； 4、测试软硬件环境及版本准备就绪； |
| 测试步骤： | 1、工具与服务器管理网络连通 2、进入集合通信测试相关页面 3、设置集合通信测试任务，进入任务配置环节，按照1GB数据量配 置参数，启动集合通信测试任务 4、在测试结果界面，可查看操作报告和操作日志 |
| 预期结果： | 1、工具可以正常完成与服务器连通并顺利创建任务 |
17
| 2、工具需具备可交互的操作指示界面，界面显示逻辑完整，相关 操作指令可被正常触发并执行 3、所有人工智能加速卡均在位且运行正常，无告警 4、工具输出的多机参数面集合通信性能测试结果满足4.3章节测 试要求； |
| 测试结果 | |
| 备注： | 备注：保留操作截屏归档 |
4.5.3工具单机模型测试能力验证
| 测试编号： | CU-SK-AI-PCS-T0453 |
| 测试目的： | 测试参与方工具是否具备集单机模型测试能力。 |
| 预置条件： | 1、设备已上电； 2、操作系统已完成安装，root用户可以通过ssh远程直连；3、设备网络连通； 4、测试软硬件环境及版本准备就绪； |
| 测试步骤： | 1、工具与服务器管理网络连通 2、进入单机模型推理测试相关页面 3、创建任务配置，配置相关参数，Batchsize设置为16， In_seq和Out_seq为512，执行DeepSeek-R1-Distill-Llama-70B模型推理； 4、在模型推理结果查看操作报告和操作日志 |
| 预期结果： | 1、工具可以正常完成与服务器连通并顺利创建任务 2、工具需具备可交互的操作指示界面，界面显示逻辑完整，相关 操作指令可被正常触发并执行 3、模型推理正常，输出结果符合事实和逻辑，不出现明显错误或 矛盾 4、测试输出的结果，可满足4.2章节测试记录表要求； |
| 测试结果 | |
| 备注： | 备注：保留操作截屏归档 |
18
4.5.4工具集群测试能力验证
| 测试编号： | CU-SK-AI-PCS-T0454 |
| 测试目的： | 测试参与方工具是否具备集群测试能力。 |
| 预置条件： | 1、设备已上电； 2、操作系统已完成安装，root用户可以通过ssh远程直连；3、设备网络连通； 4、测试软硬件环境及版本准备就绪； 5、已完成PD分离相关软件的部署，具备能力； |
| 测试步骤： | 1、工具与服务器管理网络连通 2、通过工具自带菜单进入集群测试相关页面 3、创建测试任务后，进入任务配置环节，设置配置参数，如分组配 置、存储参数配置、推理参数配置等（模型文件选择DeepSeek-R1 671B模型，权重数据格式W8A8C8，设置Batchsize、In_seq和Out_s eq（数值参考4.4章节预期结果内的要求），并执行 5、在测试结果界面，可查测试结果和操作日志 |
| 预期结果： | 1、工具可以正常完成与服务器连通并顺利创建任务 2、工具需具备可交互的操作指示界面，界面显示逻辑完整，相关 操作指令可被正常触发并执行 3、模型推理正常，输出结果符合事实和逻辑，不出现明显错误或 矛盾 4、测试输出的结果，可满足4.4章节测试记录表要求； |
| 测试结果 | |
| 备注： | 备注：保留操作截屏归档 |
19
| 2026-2027年联通数科智算集群联调与优化服务集中采购项目测试报名表 |
| 申请测试单位名称 | | 通信地址、邮政编码 | |
| 联系人 | | 电话 | |
| 邮箱 | |
| 工具名称及版本 | |
| 工具是否原厂 | 如不是，请填写原厂名称 |
| 工具技术来源 | 自行开发/联合开发/技术转让/OEM产品/其他 |
| 主要技术团队所在 地及规模 | |
| 承诺 | 我公司承诺遵守联通数字科技有限公司测试要求，并且承诺对测试规范、测试过程和相关情况 进行信息保护。 |
| 其它 | |
1
2026-2027年联通数科智算集群联调与优化服务集中采购项目测试
信息保护及廉洁协议
甲方：联通数字科技有限公司
乙方：
1、本协议适用于2026-2027年联通数科智算集群联调与优化服务集中采购项目。
2、本项目的“信息保护”是指：
（1）包括但不限于2026-
2027年联通数科智算集群联调与优化服务集中采购项目测试的内容、方案、合作形式
、合作成果等相关的2026-
2027年联通数科智算集群联调与优化服务集中采购项目测试信息；
（2）甲方以书面、口头或电子的形式提供给乙方的任何信息或数据，包括但
不限于商业秘密、技术诀窍、研究成果、商业计划、客户信息、财务数据、文档模版
、编程规范、开发流程、质量标准、双方订立的协议条款以及其它技术和商业信息。
披露此类信息的方式包括但不限于信函、传真、备忘录、纪要、协议、合同、报告、
手册、软件代码、图纸、电子邮件等。
3、厂商应采取足够的措施，保护甲方的测试信息，不将甲方的测试信息向任何第
三方公开、转让、许可，也不以其它方式让无权接触该信息的单位或个人接触该信息。
4、乙方只能在因工作需要必须使用的情况下提供给可靠的员工，并应事先与员工
签署与本协议充分相似的信息保护协议，提供程度仅限于可执行一定的商业目的。乙方
保证这些雇员应遵守本协议中约定的义务。不在无甲方许可的前提下向第三方（包括顾
问）透漏这些信息。应约束其接触本信息的员工遵守信息保护义务。
5、如2026-
2027年联通数科智算集群联调与优化服务集中采购项目测试终止，乙方应按照甲方的要
求将信息及其载体销毁或删除；如甲方要求返还的，应返还给甲方。
6、所有参测人员均须严格遵守党和国家有关法律法规及中纪委、监察部的有关廉
政规定。
7、测试活动坚持公开、公正、诚信、透明的原则（除法律认定的商业秘密和合同
文件另有规定之外），不得损害国家和集体利益。
8、严禁私下接触有利害关系的人员。
甲方： 联通数字科技有限公司 乙方：
法定代表人或授权代表： 法定代表人或授权代表：
日期： 2026 年 月 日 日期： 2026年 月 日
2
3
