内置 黔前Ai推理平台
PRO 6000 / PRO 6000D 八卡整机
当前主推两款八卡一体机。均为 Blackwell 专业卡整机，出厂完成硬件验收、推理平台安装与模型预装；具体内存、硬盘与网卡可按机房条件调整。
96GB GDDR7 ECC × 8，合计 768GB 显存。适合 GLM-5.3-Flash 长上下文、更高并发与后续扩模型。
- 8 × RTX PRO 6000 Blackwell · 24064 CUDA / 卡
- 合计 768GB GDDR7 ECC 显存
- 双路 CPU · 约 1TB 系统内存（可定制）
- 预装黔前Ai推理平台 + 默认模型
- 建议机柜电力 10kW 及以上
输出 Token / 并发 单模型加载 · 整机合计参考
| 模型 | 最大输出 | 并发 | 输出 Tok/s |
|---|---|---|---|
| GLM-5.3-Flash | 128K Token 建议上下文 32K–128K |
8–16 | 约 1,500 |
| DeepSeek-V4-Flash | 32K Token 上下文最长约 1M |
16–32 | 约 2,100 |
84GB GDDR7 ECC × 8，合计 672GB 显存。中国市场专业卡，采购与保修流通更好，同样可跑默认两款大模型。
- 8 × PRO 6000D · 19968 CUDA / 卡
- 合计 672GB GDDR7 ECC 显存
- 双路 CPU · 约 768GB 系统内存（可定制）
- 预装黔前Ai推理平台 + 默认模型
- 建议机柜电力 10kW 及以上
输出 Token / 并发 单模型加载 · 整机合计参考
| 模型 | 最大输出 | 并发 | 输出 Tok/s |
|---|---|---|---|
| GLM-5.3-Flash | 128K Token 建议上下文 32K–128K |
4–12 | 约 1,300 |
| DeepSeek-V4-Flash | 32K Token 上下文最长约 1M |
8–24 | 约 1,900 |
行情、批次与是否含税、质保年限、上门安装都会影响成交价。页面不挂固定售价，避免误导预算。Tok/s 与并发为单模型、FP8、建议上下文下的整机参考，不作为合同承诺；双模型同开、拉满 1M 或改量化后以交付实测为准。
出厂即带黔前Ai推理平台
一体机不是「只交一堆卡」。整机预装黔前Ai推理平台（基于黔前.Ai管家），把模型管理、对话、API 与基础运维收进同一套界面。
硬件到业务，少一层自建栈
到货加电后即可进入推理平台：查看 GPU 与显存、加载已预装模型、用 HTTPS + API Key 对外提供服务。企业场景可继续开通知识库、智能客服与多节点扩展，与公有云词元 API 分开跑。
- 模型下载、加载、切换与资源占用一眼可见
- OpenAI 兼容接口，业务系统可按现有 SDK 对接
- 对话、远程访问与基础监控同平台管理
- 数据与权重默认留在本机 / 客户机房
- 可与黔前Ai助手、词元套餐、高电机柜组合使用
开箱推理
预装默认模型与推理后端，验收时完成一次真实对话和 API 调用，而不是只测通 ping。
数据不出域
请求、日志与权重在客户侧存储。适合政务、医疗、金融等对驻留有要求的场景。
可运维
进程拉起、健康检查与版本升级走平台能力；需要时由本地团队远程或上门协助。
整机硬件
八卡 GPU 服务器，电源、风道与网卡按机房方案配置。
推理平台
黔前Ai推理平台预装授权，含模型管理与 API 网关。
默认模型
GLM-5.3-Flash、DeepSeek-V4-Flash 按约定版本预装。
交付支持
上电联调、接口验收；可选上门或托管到贵阳高电机柜。
开箱支持的两款主力模型
一体机默认预装并调通以下模型。其他开源或自有微调权重，可在交付时评估显存与并发后再装。
GLM-5.3-Flash
智谱 GLM-5 系列开源 Flash 型号：总参数约 320B，单 Token 激活约 18B。支持文本、图像与视频输入，适合智能体、长文档与视觉相关办公场景。FP8 权重大、长上下文占显存高，八卡专业卡整机是更稳妥的本地部署形态。PRO 6000 八卡输出约 1,500 Tok/s，PRO 6000D 约 1,300 Tok/s（单模型、建议上下文、整机合计参考）。
DeepSeek-V4-Flash
DeepSeek V4 Flash 稀疏专家模型，激活参数相对更小，适合高吞吐文本推理、代码与工具调用。与 GLM-5.3-Flash 形成「多模态办公 / 文本高吞吐」两条默认产线，可在推理平台中切换。PRO 6000 八卡输出约 2,100 Tok/s，PRO 6000D 约 1,900 Tok/s（单模型、建议上下文、整机合计参考）。
实际并发、上下文长度与量化精度会按机型（768GB / 672GB 显存）和业务 SLA 在交付方案里写明，避免把实验室峰值当成日常产能。
DeepSeek-V4-Flash-0731 内网 API 测试报告
2026-09-18 在 PRO 6000D 一体机上，对内网 OpenAI 兼容接口做的长上下文性能与基础能力测试。口径参考同名长上下文推理性能测试，并补充标准测试集。
测试概述
- 测试对象：PRO 6000D 一体机内网推理服务（OpenAI 兼容 /v1）。接口只在测试网内使用，页面不公布地址。
- 模型：deepseek-v4-flash-0731。
- 指标：TTFT（首 Token 时延）、TPOT（单 Token 输出时延）、Total_TP（整体吞吐）、E2E（端到端时延）、请求成功率。
测试环境
| 项目 | 配置 |
|---|---|
| 测试客户端 | nas102（Debian 13，Python 3.13 venv，requests） |
| 服务端 | vLLM（system_fingerprint: vllm-0.24.0-tp4） |
| 模型名称 | DeepSeek-V4-Flash-0731 |
| 最大上下文 | max_model_len = 1,048,576 tokens |
| 生成参数 | temperature=0，ignore_eos=true（固定输出长度） |
测试方法
- 压测参数：输入上下文 4K / 32K / 128K / 256K；输出固定 512 tokens；并发 1 / 4 / 8；每用例 8 个请求。每个长度先做 1 次预热（输出 1 token），再跑正式用例。
- Prompt：每个请求用不同随机种子生成唯一长填充文本，避免前缀缓存影响；通过 SSE 流式采集首个内容 token 的时刻。
- TTFT = 首个 token 时间。TPOT = (末 token − 首 token) / (输出 token 数 − 1)。E2E = 请求总耗时。
- Total_TP = (输入 + 输出 token 数) / 该用例墙钟时间，并发请求聚合计算。它含预填 token，不是上方卡片里的输出 Tok/s。
- 标准测试集：Needle-in-a-Haystack（长上下文检索，深度 10% / 50% / 90%）；GSM8K（数学推理）。
性能测试结果
每用例 8 个请求，输出固定 512 tokens。成功率为该用例全部请求的比例。
4K 输入 / 512 输出
| 并发 | TTFT(s) | TPOT(ms) | Total_TP(tok/s) | E2E(s) | 成功率 |
|---|---|---|---|---|---|
| 1 | 0.378 | 9.67 | 866 | 5.32 | 100% |
| 4 | 0.319 | 13.62 | 2,529 | 7.28 | 100% |
| 8 | 0.288 | 16.80 | 4,143 | 8.88 | 100% |
32K 输入 / 512 输出
| 并发 | TTFT(s) | TPOT(ms) | Total_TP(tok/s) | E2E(s) | 成功率 |
|---|---|---|---|---|---|
| 1 | 2.741 | 9.59 | 4,350 | 7.64 | 100% |
| 4 | 0.605 | 13.86 | 17,265 | 7.69 | 100% |
| 8 | 0.753 | 17.92 | 26,410 | 9.91 | 100% |
128K 输入 / 512 输出
| 并发 | TTFT(s) | TPOT(ms) | Total_TP(tok/s) | E2E(s) | 成功率 |
|---|---|---|---|---|---|
| 1 | 12.823 | 11.49 | 7,031 | 18.69 | 100% |
| 4 | 5.125 | 24.21 | 30,028 | 17.50 | 100% |
| 8 | 2.562 | 18.99 | 80,072 | 12.27 | 100% |
256K 输入 / 512 输出
| 并发 | TTFT(s) | TPOT(ms) | Total_TP(tok/s) | E2E(s) | 成功率 |
|---|---|---|---|---|---|
| 1 | 35.650 | 9.75 | 6,456 | 40.64 | 100% |
| 4 | 15.153 | 63.01 | 22,107 | 47.35 | 100% |
| 8 | 32.906 | 48.44 | 36,150 | 57.67 | 100% |
趋势图
横轴为输入长度，三条线为并发 1、4、8。纵轴按各指标单独刻度。
TTFT
首 Token 时延（秒）
TPOT
单 Token 输出时延（毫秒）
Total_TP
整体吞吐（tok/s，含输入）
E2E
端到端时延（秒）
长上下文检索（Needle-in-a-Haystack）
在长文本不同深度插入唯一事实并提问，考察检索准确率。四个长度、三个深度全部命中。
| 上下文长度 | 深度 10% | 深度 50% | 深度 90% | 准确率 |
|---|---|---|---|---|
| 4K | ✔ | ✔ | ✔ | 3/3 |
| 32K | ✔ | ✔ | ✔ | 3/3 |
| 128K | ✔ | ✔ | ✔ | 3/3 |
| 256K | ✔ | ✔ | ✔ | 3/3 |
合计 12/12 命中。
标准推理集（GSM8K）
- 样本数：200/200（成功 200）。
- 准确率（严格数值匹配）：195/200 = 97.5%。
- 单题平均时延：2.55 秒。
- 说明：0-shot、greedy（temperature=0），要求输出 #### 后接答案；按最终数值严格比对。
结论
- PRO 6000D 上的 DeepSeek-V4-Flash-0731 在 4K 到 256K 上下文下请求成功率 100%，长上下文可用。
- TTFT 随输入长度增长明显：256K、并发 1 约 35.7 秒。提高并发能抬高聚合吞吐，128K、并发 8 的 Total_TP 约 8.0 万 tok/s。
- 本次 Total_TP 含输入 token，服务端指纹为 vllm-0.24.0-tp4。它和机型卡片上的输出 Tok/s（单模型、建议上下文、整机参考）不是同一口径，合同仍以交付实测为准。
买一体机，还是租算力？
同一套推理平台，三种交付：买断整机、租用专属实例、或只要裸卡。按数据驻留、使用时长和是否自建栈来选。
| 对比项 | 算力一体机 | 模型工厂 | GPU 算力租用 |
|---|---|---|---|
| 资产归属 | 硬件买断，设备归客户 | 整机按月租用 | 按卡 / 按实例租用 |
| 软件 | 预装黔前Ai推理平台 | 推理管家托管部署 | 需自行装栈 |
| 默认模型 | GLM-5.3-Flash / DeepSeek-V4-Flash | 目录内选型部署 | 自备权重 |
| 数据位置 | 客户机房或指定托管柜 | 平台专属实例 | 平台机房 |
| 适合谁 | 要固定资产、长期私有化推理 | 要尽快上线、先租后买 | 实验、训练、自建推理栈 |
| 价格 | 单台面议 | 按月租面议 / 最短 6 个月 | 按需租用，面议 |
谁在买算力一体机
政务与国企私有化
公文、知识库与内部问答不能上公有云。一体机放在单位机房，推理平台管账号与接口，审计路径更清晰。
- 数据与权重不出域
- 可对接现有 OA / 业务系统
医院与科研院所
病历、课题语料对驻留敏感；八卡大显存可同时服务多科室试用，再按并发扩第二台。
- 多模态文档与影像辅助
- 本地团队协助验收
制造与园区智算节点
工厂或园区要一台「插电就能问」的推理节点，而不是先招运维再搭 vLLM。
- 开箱 API + 对话界面
- 可叠加高电机柜托管
软件公司与交付团队
给甲方做私有化交付时，硬件、模型、推理平台打包验收，避免「卡到了、软件还没装」。
- 合同可拆硬件 / 软件 / 实施
- 与智能体、知识库方案衔接
从询价到验收
需求确认
确认机型（PRO 6000 / 6000D）、放置地点、电力与网络、要预装的模型版本。
库存与报价
按当期 GPU / 整机行情给出单台方案与交期。价格面议，合同写明配置清单。
组装预装
硬件装配、压力测试，安装黔前Ai推理平台并加载约定模型。
到货验收
客户机房上架或发往贵阳高电机柜；完成对话、API 与显存占用验收。
算力一体机 FAQ
为什么价格只能面议，不能直接标价？
八卡专业 GPU 与整机渠道价随批次、汇率和保修条款波动很大，挂死价容易误导采购预算。确认机型、是否含税、质保与上门安装后，我们按当期行情出具书面报价。
PRO 6000D 的 DeepSeek 实测报告在哪里？
机型卡片和页首「6000D 实测」都链到 DeepSeek-V4-Flash-0731 内网 API 测试报告。其中有 4K 到 256K 的 TTFT、TPOT、Total_TP、E2E，以及 Needle 12/12、GSM8K 97.5%。Total_TP 含输入 token，和卡片上的输出 Tok/s 不是同一口径。
页面上的 Tok/s 和并发怎么理解？
卡片上的数字是单模型加载、FP8、建议上下文下的整机合计参考，口径与模型工厂八卡估算一致：DeepSeek-V4-Flash 在 PRO 6000 / PRO 6000D 约 2,100 / 1,900 Tok/s，并发约 16–32 / 8–24；GLM-5.3-Flash 约 1,500 / 1,300 Tok/s，并发约 8–16 / 4–12。GLM 最大输出 128K Token，DeepSeek 默认最大输出 32K Token（上下文最长约 1M）。拉满 1M、双模型同开、改量化或提高预填长度后，并发和 Tok/s 都会下降，合同以交付实测为准。
PRO 6000 和 PRO 6000D 怎么选？
PRO 6000 单卡 96GB，八卡合计 768GB，余量更大，适合更长上下文或后续加模型。PRO 6000D 单卡 84GB、合计 672GB，国内供应与保修更顺，同样预装两款默认模型。预算与进口合规要求以商务评估为准。
黔前Ai推理平台和黔前.Ai管家是什么关系？
一体机内置的推理平台基于 黔前.Ai管家，针对八卡整机做了预装与加固：模型管理、对话、API 与基础运维在同一套产品里。桌面版管家仍可单独下载；一体机交付的是整机授权与现场配置。
机房电力不够怎么办？能否放在黔前机房？
八卡专业卡整机满载通常需要 10kW 级电力与对应制冷。客户机房条件不足时，可把一体机放到贵阳 高电机柜 / VIP 机房 托管，设备仍归客户所有。
除了 GLM-5.3-Flash 和 DeepSeek-V4-Flash，还能装别的模型吗？
可以评估。默认两款会预装并完成验收；Qwen 等其他开源权重或客户自有微调模型，按显存、上下文和许可证在方案中单列，不承诺页面未列出的型号「一定能跑满」。
预约算力一体机方案
告诉我们倾向机型（PRO 6000 或 PRO 6000D 八卡）、放置地点与电力条件、以及是否只要默认两款模型。商务将按当期行情给出单台配置与交期。
咨询一体机方案 400-656-3113