Timestral-209M 小样本基准：M4 月度数据上的误差、覆盖率与延迟
Charlie Simmon解释八条 M4 月度序列的可复核结果：平均 MASE 0.514、覆盖率 87.5%，同时说明训练尺度、失败案例和共享服务延迟的限制。
这是一份已有的小样本实验说明，不是本次新跑的性能测试。公开结果生成于 2026 年 10 月 18 日，使用八条 M4 月度序列、12 步预测和共享公开 Space。代码与结果可在基准仓库核对。
平均 MASE 为 0.514，中位 MASE 为 0.441，名义 80% 区间的平均实际覆盖率为 87.5%，请求延迟中位数约 1.15 秒。七条序列的 MASE 小于 1，但这不能直接表述为在同一留出集上击败季节朴素法。
实验测了什么
模型是 mistralai/Timestral-209M，上游为公开 Space mrfakename/timestral-209m。每条月度序列取最后 120 个点，前 108 个点作为历史，后 12 个点留出。
评分使用中位数误差，以及 0.1 到 0.9 分位点构成的 80% 区间。延迟包含请求公开服务的往返，不是单独的模型推理时间。
结果表
| 项目 | 记录值 | | ------------------ | ---------: | | 平均 MASE | 0.514 | | 中位 MASE | 0.441 | | 平均 RMSE | 222.03 | | 80% 区间平均覆盖率 | 87.5% | | MASE 小于 1 的序列 | 7 / 8 | | 请求延迟中位数 | 1,153 毫秒 |
| 序列 | MASE | RMSE | 覆盖率 | 延迟 | | ---- | ----: | -----: | -----: | ---------: | | M1 | 0.471 | 611.14 | 100% | 4,437 毫秒 | | M6 | 0.507 | 341.09 | 92% | 3,113 毫秒 | | M9 | 0.219 | 70.03 | 100% | 1,178 毫秒 | | M10 | 1.139 | 606.10 | 17% | 1,540 毫秒 | | M11 | 0.359 | 62.95 | 100% | 847 毫秒 | | M12 | 0.410 | 28.04 | 92% | 994 毫秒 | | M13 | 0.401 | 31.02 | 100% | 1,128 毫秒 | | M14 | 0.606 | 25.91 | 100% | 900 毫秒 |
M10 是值得保留的困难案例。其 12 个留出月份中有 10 个落在区间之外，覆盖率约 17%，不能被整体平均值掩盖。正确处理是调查这一条序列，而不是为了让报告好看把它删掉。
MASE 分母来自哪里
代码先计算训练历史中相隔 12 个月的绝对差，再取平均作为尺度。留出窗口的预测 MAE 除以这个尺度，得到 MASE。
因此小于 1 表示留出预测误差低于训练窗口的季节差尺度，不自动证明候选击败了同一留出窗口上的季节朴素预测。若要声称提高了多少，应另外生成该基线并在相同留出集上评分。
原始 JSON 的 beatsSeasonalNaive 字段名容易产生歧义；本文按可验证的定义，把对应数字解释为 MASE 小于 1 的序列数。中位 MASE 0.441 也不等于已经证明相对留出集基线误差降低了 55.9%。
覆盖率和延迟怎样解读
87.5% 高于名义 80%，但这里只有八条序列与一个预测范围，不能据此宣布所有业务都校准良好。覆盖 100% 也可能意味着区间太宽，仍应结合宽度和决策成本判断。
延迟中位数约 1.15 秒、最慢约 4.4 秒，包含网络和共享服务的开销。结果没有单独隔离排队、网络和推理，不能把差值全部归因于某一个阶段。换部署或换时间重测，结果都可能变化。
费用是历史快照
该次记录按 2026 年 10 月 18 日的列表价格计算：639 美元对应 6,000 个年度计划积分，折算每千次 106.50 美元；9.90 美元的 10 次包折算每千次 990 美元。
这不是 GPU 成本，也不是当前价格保证。购买前查看现行价格页；对业务是否划算，应比较一次预测能改变什么决定，而不是只看每千次数字。
怎样复核而不是照信
从基准仓库读取脚本、输入子集与原始结果，核对生成时间、模型、序列和预测范围。需要调用上游时使用自己的授权凭据，不要把凭据写进代码或提交。
先在你自己的序列上保留固定的历史截止点和留出范围，再保存预测与实际值。加入现有计划和简单基线。记录失败请求与无法评分的窗口，而不是只保留成功的图。
下面的工具可帮助理解 CSV 到概率输出的流程，但一次网页试用不等于复现了整份基准。
CSV 预测工作台
粘贴时间序列，获取预测和可能范围。
每行一个数值，或一列日期加一列或多列数值。Timestral 返回预测中位数和可能范围。免费演示使用公开的 Hugging Face Space；API 为付费服务。
这份实验没有证明的事
它不是排行榜，没有比较 Chronos 或 TimesFM，没有测试长预测范围或多变量，也没有测专属部署的服务水平。不能据此宣称行业最准确、固定响应时间或对未来收入有保证。
八条月度序列可以作为流程烟雾测试，但不能替代完整业务评估。重要结论来自逐序列结果和困难案例，而不只来自平均值。
常见问题
能用在介绍材料里吗？
可以引用带样本量、日期和范围的结果，并保留 M10 的限制说明。不要将其扩展成未经比较的“最先进准确率”。
为什么 M10 的 MASE 大于 1？
它的预测误差高于训练历史定义的季节尺度，区间也漏掉多数留出值。应检查输入和业务结构，并另行评分留出集基线。
公共 Space 影响什么？
它会影响等待时间与可用性。质量比较还应固定模型版本、预处理、参数和输入，不能只凭模型名字相同就推断所有运行完全一致。