消费级推理引擎辨析：NInfer 与 Strata 的量化、精度与配置真相
调研日期：2026-10-07。一手来源：两仓库 README / docs / model-cards / bench 实测数据、ISTA-DASLab 官方模型卡评测表、Qwen 官方数据，共 12 个来源页逐一核实。 本文档同时支撑
ppt/intranet-ai-coding_20261006新增的四页案例辨析（P21-P24）。
一、一句话定位
| NInfer（Neroued/ninfer） | Strata（Niko1221/Strata） | |
|---|---|---|
| 跑什么模型 | Qwen3.8-27B / Qwen3.6-27B（稠密 27.78B，原生多模态）、Qwen3.6-35B-A3B | Qwen3.8-Flash-Next（125B 主模型 MoE + 51B N-gram 表，每 token 激活 6B） |
| 目标硬件 | 仅 RTX 5090（单卡，32GB） | 任意 12GB+ 消费卡（RTX 20-50 系 / AMD RX 6800 以上） |
| 技术路线 | 从零 C++/CUDA 引擎，权重全驻显存 | llama.cpp/ggml 系，GPU+内存+SSD 三级分层 |
| 量化路线 | 自研 NVFP4 / groupwise-int | ISTA-DASLab GSQ-RCO 逐张量混合精度 |
两者代表 2026 年消费级跑大模型的两条极端路线：单卡极致（把 27B 稠密模型用 4bit 浮点全塞进 32G 显存换最大吞吐）与全民主机（用整台 PC 的内存和 SSD 分层装下 125B MoE）。
二、4090 / 5090 上分别用什么量化？
前提：NInfer 不能在 4090 上跑
NInfer 构建时直接拒绝 sm_120a 以外的所有 CUDA 架构（源码级硬约束），要求 RTX 5090 + CUDA 13.1+ + 64 位 Linux + 源码编译。4090 是 sm_89（Ada），没有 NVFP4 硬件支持，两个条件都不满足。
NInfer（仅 5090）的两档量化
| 版本 | 量化方案 | 体积 | 说明 |
|---|---|---|---|
| NVFP4（快速上手默认） | 混合精度：Text 层 0-55 的 MLP 用 NVFP4（4bit 浮点）；注意力投影 / embedding / 输出头 / 层 56-63 用 FP8；控制权重 BF16 | 22.09 GiB | 吃满 Blackwell 第五代 Tensor Core |
| groupwise-int | Q4/Q5 分组整数量化投影 + q8 embedding/输出头 | 19.03 GiB | 更小，但 prefill 慢很多 |
KV cache 用 FP8 E4M3（Qwen3.8）/ INT8（Qwen3.6），配 MTP / DFlash2 投机解码。
RTX 5090 实测（官方 2026-09-28 基准，262K 上下文，MTP3）：
| 指标 | groupwise-int | NVFP4 | 差距 |
|---|---|---|---|
| Prefill @8K 提示 | 3,332 tok/s | 12,819 tok/s | 3.8 倍 |
| Prefill @260K 提示 | 2,139 tok/s | 4,016 tok/s | 1.9 倍 |
| 单流解码（代码/结构化任务） | 224 tok/s | 220 tok/s | 持平 |
| 8 并发聚合解码 | 535 tok/s | 767 tok/s | 1.4 倍 |
Strata（4090/5090 都能跑）的量化矩阵
Strata 官方量化来自 ISTA-DASLab（GPTQ/AQLM 团队）的 GSQ-RCO：GSQ（Gumbel-Softmax Quantization）提供低比特标量量化，RCO（Riemannian Constrained Optimization）在总体积预算下按每个张量的敏感度梯度搜索分配量化类型——不是一刀切。
| 档位 | 平均位宽 | 总体积 | 驻留要求（RAM+VRAM） | 定位 |
|---|---|---|---|---|
| Q2_0 | 2.40 bpw | 66.4 GB | 37.6 GB | 最快 |
| IQ2_XS | 2.50 bpw | 68.0 GB | 39.2 GB | 官方推荐（48-64GB 内存首选） |
| IQ3_XXS | 3.00 bpw | 75.8 GB | 47.0 GB | AIME25 已匹配原模型 |
| IQ3_S | 3.50 bpw | 83.6 GB | 54.8 GB | 质量最佳档 |
| Coder | 1.89 bpw（砍半专家） | 58.4 GB | 23 GB 专家 | 32GB 内存专用，仅代码 |
| Unsloth UD-Q4_K_XL | ~4 bpw | 111.3 GB | 71.7 GB 专家 | 实验性，最接近原模型 |
| Unsloth UD-Q6_K_XL | ~6 bpw | 169.2 GB | ~135 GB+ | 实验性，最高精度 GGUF |
分层机制：注意力/router/共享专家/输出头/KV 在 GPU；全部 24,576 个专家（48 层 × 512，每 token 激活 10 个）钉在内存由 CPU 与 GPU 并行计算；28.8GB N-gram 查找表留在 SSD 经 mmap 按行读取（它是查找表不是矩阵，不参与计算精度损失）。
实测数据锚点：
| 硬件 | 量化档 | 解码速度 | 来源 |
|---|---|---|---|
| RTX 5070 12GB + 64GB RAM | Q2_0 | 94 tok/s | 官方 |
| RTX 5070 12GB + 64GB RAM | IQ3_S | 53 tok/s | 官方 |
| RTX 5090 32GB + 64GB RAM | IQ2_XS | 179 tok/s（@4K）/ 165（@128K） | 社区（2026-09-30） |
| RTX 3090 24GB | — | 100-140 tok/s | 推算值（README 原文 should do roughly） |
| RTX 4090 24GB | — | 无任何官方实测 | 网传数字全部从 24GB 卡推算 |
三、量化精度损失的真实数据
Strata 路线：ISTA-DASLab 官方评测表（vs BF16 原模型）
评测口径：AIME25 / GPQA-Diamond / LiveCodeBench v6 三任务平均，非思考模式：
| 版本 | AIME25 | GPQA-D | 代码 LCB v6 | 任务平均 | 相对基线 |
|---|---|---|---|---|---|
| BF16 原模型（354GB） | 100.00 | 91.92 | 87.43 | 93.12 | 基线 |
| Q2_0（2.4bpw） | 96.67 | 89.39 | 81.14 | 89.07 | -4.05 分（95.7%） |
| IQ2_XS（2.5bpw） | 96.67 | 87.37 | 83.43 | 89.16 | -3.96 分 |
| IQ3_XXS（3.0bpw） | 100.00 | 91.41 | 86.29 | 92.57 | -0.55 分（99.4%） |
| IQ3_S（3.5bpw） | 100.00 | 92.93 | 86.86 | 93.26 | +0.14（反超，严格平价） |
分任务洞见：
- 代码最敏感：2-bit 档 LiveCodeBench 掉 4.0-6.3 分，是所有任务中损失最大的
- 数学 3bit 已满分：IQ3_XXS 起 AIME25 = 100.00
- 常识任务无感：arc/hellaswag/winogrande/piqa 五个零样本任务所有量化版达基线的 100.3%-101.4%（评测噪声带内）
- 速度本身不损质量：MTP 投机解码是「小模型起草、大模型逐 token 验证」，输出分布与逐 token 解码一致（1.6-1.8 倍提速零质量代价）；Q2_0 的 fused int8 内核与 FP16 参考的 teacher-forced KL 散度仅 0.009
NInfer 路线：NVFP4 vs 官方 BF16 基线
Qwen3.8-27B 官方 GPQA-Diamond = 89.2%。NInfer 量化后实测（EvalScope 1.9.0，思考模式）：
| 版本 | AIME25 | AIME26 | GPQA-D | ERQA | RealWorldQA |
|---|---|---|---|---|---|
| NVFP4 | 96.67 | 96.67 | 90.40 | 66.25 | 83.53 |
| groupwise-int | 96.67 | 96.67 | 87.37 | 66.25 | 82.22 |
NVFP4 相对官方 BF16 基线 GPQA 反而 +1.2 分，处于评测噪声带内——4bit 浮点量化（配合敏感层保留 FP8/BF16 的混合精度）没有可测量的精度损失。
两条路线的共同方法论：大部分权重压到 2-4bit，但注意力、router、embedding、输出头这些敏感组件保留 FP8/Q8/BF16——这是 2026 年消费级跑大模型能「低损」的核心。
四、宣传口径辨析（三个案例）
| 宣传语 | 真实口径 |
|---|---|
| 「在自己的游戏电脑上跑 125B 模型」 | 没说谎，但默认推荐档 IQ2_XS 只有 2.5bit（68GB）；官方评测代码任务掉约 4 分；基准平价要 IQ3_S 3.5bit（83.6GB）——「跑得动」≠「跑得一样好」 |
| 「RTX 4090 跑 100+ tokens/s」 | 官方只实测过 RTX 5070 与 RX 9070 XT；3090/4090 全部是推算（README 原文 should do roughly）；高端卡唯一一手数据是社区 5090 实测 179 tok/s |
| 「Coder 版达到完整模型的 91%」 | 91% 只测了 SWE-bench Verified 一个代码基准；它砍掉一半专家（256/512），官方 issue #438 承认中文等非代码能力明显变弱——单基准百分比 ≠ 全能力 |
三问习惯：看任何 benchmark 数字先问——什么基准？什么量化档？谁测的（官方实测还是推算）？
五、跑高精度 Qwen3.8-Flash-Next 的配置阶梯
| 精度档 | 位宽 · 体积 | 显卡 | 内存 | 实测/预期速度（解码） |
|---|---|---|---|---|
| IQ3_S（基准平价甜点档） | 3.5bit · 83.6GB | 12GB+（4090/5090 均可，显存越大越快） | 64GB | 5070 实测 53 tok/s；更大显存更快 |
| Unsloth UD-Q4_K_XL（实验性） | ~4bit · 111.3GB | 单卡可跑、双卡更快（限 NVIDIA） | 48GB 起步，96GB+ 舒适（专家 71.7GiB 驻内存） | 64GB 机器仅 7-8.5 tok/s（SSD 流式）；2×3090+165GB 内存 64-78 tok/s |
| Unsloth UD-Q6_K_XL（实验性） | 6bit · 169.2GB | 建议 2×24GB 双卡分摊 | ~135GB+ 全驻留 | 慢于 4bit（专家读取 +45%，查找表 +89%）；引擎支持仍在实验期 |
| BF16 原模型 | 16bit · 354GB | 8×H100 服务器级 | 512GB+ | 数据中心级，单机消费级无解 |
按预算三档建议：
- 已有一张 4090/5090：内存加到 64GB，跑 Strata + IQ3_S——官方评测任务平均 93.26 反超 BF16 基线 93.12，83.6GB 里 54.8GB 专家驻内存、28.8GB 查找表留 SSD
- 96-128GB 内存的 workstation：Strata + UD-Q4_K_XL，双卡（
--gpus 0,1）可到 60-80 tok/s；追求极致再等 UD-Q6_K_XL 引擎支持落地 - 5090 且不需要 125B MoE：NInfer + Qwen3.8-27B NVFP4——22GB 全进显存、prefill 4,000-12,800 tok/s、8 并发 767 tok/s、原生多模态且 GPQA 90.4 无精度损失
核心结论：性价比拐点在 IQ3_S——「高精度」的真实价格是内存（64GB），不是旗舰显卡。
六、来源
- NInfer：README · Qwen3.8-27B NVFP4 模型卡 · groupwise-int 模型卡 · 性能文档 · 5090 实测
- Strata：README · MODELS.md · DETAILS.md · HOW_IT_WORKS.md · UNSLOTH_Q4.md · UNSLOTH_Q6.md · 5090 社区基准
- 量化评测：ISTA-DASLab GSQ-RCO 官方模型卡（GSQ 论文 arXiv:2604.18556、RCO 论文 arXiv:2605.00649）
- 模型规格：Qwen3.8-Flash-Next 官方仓库 · 架构论文 arXiv:2608.30320 · Qwen3.8-27B 官方数据（HokAI 汇总）
↑