最近体验了 Strata，最直观的结果是：RTX 4090 上，监控面板显示当前生成速度为 117.3 tokens/s。

这个数字值得关注，但要判断实际体验，还要看完成请求的速度、资源占用，以及使用了什么模型和配置。这篇文章把原理和截图里的实测数据放在一起，看看 Strata 如何利用消费级电脑运行大型 MoE 模型，以及这次实际跑出了什么效果。

Strata 在解决什么问题？

这里介绍的是 Niko1221/Strata。项目主要围绕 Qwen3.8-Flash-Next 模型家族构建，目标是在消费级电脑上运行大型 MoE 模型，提供本地聊天界面与应用接入接口。

大模型本地运行的困难，往往先出在容量上：显卡算力不错，显存却装不下全部权重。把计算分配给 CPU 和 GPU 后，还要处理内存带宽、传输和调度的开销。

Strata 的思路是利用 MoE 的稀疏计算特点，让显存优先服务经常用到的专家，并让整台电脑共同承担工作。项目介绍

原理一：把显存作为专家缓存

MoE，也就是混合专家，可以理解为一个拥有大量专业人员的团队。生成每个 token 时，各层的路由器只选择部分专家参与计算。总参数量很大，并不意味着每一步都计算全部参数；但专家权重仍然需要存储，不同输入还可能调用不同专家。

按照项目说明，Strata 将经常调用的专家缓存在 GPU 显存里，其他专家权重主要放在系统内存中。生成阶段，CPU 可以直接计算没有命中 GPU 缓存的专家，同时 GPU 处理缓存专家及其他计算任务。缓存会随对话调整。技术说明

这解释了为什么面板会展示“缓存专家数”和“显存命中率”：命中更多专家，意味着更多专家计算可以在 GPU 上完成。显存容量、CPU 性能与内存带宽都会影响最终速度。

截图里缓存了 6,477 个专家，占用 12.3 GB 显存。这只是专家缓存的占用，整个运行过程的显存占用则为 21.8 GB，不能把两者混为一谈。

原理二：推测解码，一轮推进多个 token

传统自回归生成通常一次推进一个 token。Strata 利用模型自身的 MTP（多 token 预测）层，先提出几个候选 token，再由主模型批量验证。技术说明

候选被接受时，一轮计算就可以推进多个 token；未被接受时，按照验证结果继续生成。是否加速、加速多少，取决于候选接受率，以及起草和验证本身的成本。

输入处理阶段也有不同的优化：项目说明会分块读取长文本，并重叠当前层计算与下一层专家数据传输；后续对话可以复用已有上下文，减少重复处理。技术说明

这些机制共同决定性能。只看到一个 tokens/s 数字，很难判断具体是哪项优化带来了收益。

实测：速度之外，也要看整机占用

以下数据来自本文开头的监控截图，是该时刻的运行读数。

GPU 利用率达到 98%，CPU 同时有 64% 的占用，与整机协作的运行方式相符。不过，利用率本身不能精确说明双方承担了多少专家计算。

系统内存显示用了 75.4 GB，说明描述测试环境时，内存必须一起考虑。这个数值是系统整体占用，不能全部归因于 Strata。228 W 同样是 GPU 功耗，并不是整台电脑的功耗。

截图没有展示模型文件、量化规格、软件版本和启动参数。因此，本文把它作为一次初步性能观察，不作为完整可复现的基准测试。

117.3 tokens/s 和完成请求的速度，有什么区别？

截图保留了三条已完成请求：

117.3 tokens/s 是运行中的当前速度，70.0 tokens/s 是那条输出 593 个 token 的已完成请求记录。 两者统计窗口不同，不宜互换。请求总耗时还可能包括输入处理等开销，也不能直接当作纯生成时长。

很短的请求容易受固定开销和统计窗口影响，只输出 3 个 token 的请求无法代表长回答的持续生成表现。

这次结果准确的表达是：RTX 4090 上，截图时刻的当前生成速度为 117.3 tokens/s；一条输出 593 个 token 的完成请求记录为 70.0 tokens/s，耗时 9.1 秒。

上下文也需要区分。配置容量是 128K，实际占用约 6.3K。这次数据不能证明填满 128K 后仍有相同速度。 截图中的 Prefill 为 57 tokens/s，也不能代表长文档输入吞吐。

怎么安装 Strata？

下面按官方安装入口整理，适用于 Windows 和 Linux。首次安装会下载运行环境、推理引擎和模型，安装器会根据硬件提供配置选项。官方安装文档

先检查硬件与空间

• 显卡：官方常规入口面向 12 GB 及以上显存的支持型号，包括 NVIDIA RTX 20/30/40/50 系列及部分 AMD Radeon；AMD、旧卡和实验支持范围请查官方文档。
• 内存：按模型量化选择，常规入口从 32 GB 起；更大的模型版本需要更多内存，不能只看显存。
• 处理器：常规路径使用支持 AVX2 的 x86-64 CPU。
• 磁盘：使用 SSD，并为模型、运行环境和缓存留足空间。常见安装的模型约 70 GB，实际需求随版本、量化和缓存变化。
• 系统：Windows 10/11 或 Linux；先更新显卡驱动，再运行安装器。

这些是项目的安装条件，不代表达到条件后就能复现本文的速度。具体型号与容量要求以 项目说明 为准。

Windows：下载后双击启动

1. 打开 Strata 仓库，点击 Code → Download ZIP，解压到本地目录；也可以用 Git 克隆。
2. 双击目录中的 START-HERE.bat。
3. 按提示选择模型、量化大小、上下文和是否启用图片输入。首次可以先采用安装器推荐值。
4. 等待下载和加载完成，浏览器会打开本地页面：

http://127.0.0.1:8080

以后再次双击 START-HERE.bat 即可启动。修改配置或安装另一款模型，可以运行 SETUP.bat。Windows 安装说明

Linux：运行安装脚本

装好 Git 后，在终端执行：

git clone https://github.com/Niko1221/Strata.git
cd Strata
./setup.sh

按提示完成配置。模型启动后，同样访问 http://127.0.0.1:8080；之后运行 ./setup.sh 启动，使用 ./setup.sh --setup 修改配置。Linux 安装说明

第一次启动与后续使用

首次下载量较大，需要预留时间。加载期间可能短暂明显变慢，先看启动窗口中的进度；若长期无法完成，检查可用内存与日志。下载中断后可以重新运行安装入口，继续下载。

进入页面后，先发一条短消息，在 Monitor 中确认生成速度、显存和系统内存占用。需要更新时，先关闭运行窗口，再使用 Windows 的 UPDATE.bat 或 Linux 的 ./update.sh。通过 ZIP 安装的版本，按提示下载新版。启动与更新说明

这次体验带来的判断

Strata 展示了一条值得继续探索的路线：利用 MoE 每步只调用部分专家的特点，把常用计算留在显存里，再由系统内存与 CPU 补充，并通过推测解码提高生成效率。

这次截图中的 117.3 tokens/s 当前生成速度，以及 593-token 请求记录的 70.0 tokens/s，已经是值得展示的初步结果。代价和前提也很清晰：除了显卡，还要考虑充足的内存与整机资源配合。

对于这类模型，本地部署的意义不仅在于能否加载成功，还在于能否获得可用的生成速度。这次运行记录展示了 Strata 在这台机器上的吞吐表现，也让专家缓存、显存和系统内存的使用情况可以直接观察。

后续可以补齐模型量化与启动配置，并测试更长上下文、持续运行和实际任务表现。当前截图展示的是运行速度与资源占用；中文表达、代码正确率和长文档理解能力，还需要结合具体输出单独评估。