一份不是评测机构发的榜单，为什么成了"决策模型"这个新品类的裁判席？从 Jev 是什么、分数怎么算，到谁在榜上、能不能信。
2026 年 9 月底，一条消息在 AI 圈里传得很快：一家成立不到五个月的上海公司 StartLux，把一个开源决策模型推上了社区榜单的第一名，把闭源的原版 Jev 挤了下去。
紧接着 Cloudflare 跟进，开源了自家的 Clef，也宣称登顶同一份榜单。再往后，上海 AI 实验室的 Intern-Decision、Liquid AI 的 d1、AWS 的 Strands Decider 接连出现。一个月之内，"决策模型"从一个公司的产品名，变成了一个品类。
把这些散落的复现集中到同一个坐标系里的，是一份托管在 Hugging Face Space 上的社区榜单——Jev Decision Index。它不是评测机构做的，也不发证书。但如今厂商发新闻稿，第一句话常常是"在 Decision Index 0.2.1 上得分多少"。
一份社区榜单，凭什么成了裁判席？这篇把它一层层拆开：Jev 到底是什么、榜单里有什么、分数怎么算出来、现在榜上是谁、排第一是不是就等于全面更强、不看榜单还能怎么独立验证，以及对开发者到底有什么用。
先回答最基础的问题：它不是又一个会写文章的大模型。
TypeSafe AI 在 2026 年 9 月 15 日发布 Jev，把它定位成首个"System One 模型"。命名借用了心理学家卡尼曼的"快思考与慢思考"框架——System One 指快、直觉、自动的那一层。Jev 专门用来做小而碎的判断：路由一个工单、检查一段回答有没有被证据支持、给一条内容打分。
它最大的特点是不生成文字。给它一个状态和一组带类型的问题，它返回结构化的概率判断。核心原语只有三个：
一个请求里，状态共享，多个问题并行回答。价格 $0.042 / 百万输入 token，输出 token 免费；状态最长 32k token。Jev 的名字取自经济学家威廉·杰文斯（William Jevons），后者以边际效用理论著称——给"在选项之间做边际比较"这件事起个名。
关键的一步是后训练方法 RLCD（Reinforcement Learning for Calibrated Decision，面向校准决策的强化学习）。厂方宣称，这套方法让返回的概率本身就是校准过的，可以直接拿来做选择性预测——模型不确定的时候，可以自己 abstain。
但 Jev 是闭源的。权重不公开，RLCD 算法不公开，只能调 TypeSafe 自己的 API，而且目前没对中国大陆开放。这个缺口，恰好成了后来者的入口。
不是评测机构，是一个托管在 Hugging Face Space 上的社区项目。
Jev Decision Index 由社区维护，Space 账号是 @multimodalart。它干的事情可以拆成三块：
News 资讯流给每个新发布打标签，分五类：解码（Decoding）、扩散（Diffusion）、训练（Trained）、前作声明（Prior Work）、科普解读（Explainer）。trending 排序综合 X 点赞、GitHub star、Hub 点赞、浏览量，再叠加时间权重——新发布比旧作品有加成。
Index 主榜是核心。跑完基准套件的复现版本会按综合分排名，每个版本还会附一张针对 Jev 本体的分类雷达图，让读者一眼看出它在哪类任务上偏强或偏弱。
缺口清单是最诚实的一块。它明确列出仍未开源的部分：原版权重、RLCD 算法，以及任何能在校准指标上对标 Jev 的开源模型。换句话说，榜单在告诉自己读者——它还在等真正的等价物出现。
这里有一个最容易踩坑的地方：综合分不是准确率。
当前榜单的版本号是 0.2.1，基准套件覆盖 38 项公开数据集。算分方式官方写得很清楚——随机基线校正 + 加权汇总。
翻译成人话就是：
这套设计的好处是把不可比较的指标拉到一个统一刻度上。代价是失去了直觉含义——读者看到 63.88，不会立刻知道它对应什么。这也是为什么榜单页面上每一项基准的原始分数都公开，鼓励读者细看分领域表现，而不是只看综合分。
还有一个细节容易被忽略：榜单附的分类雷达图。它把 38 项基准按任务族拆开——分类、路由、NLI、阅读理解、常识推理、安全审核、评分——展示模型在每个族上的相对位置。两个综合分接近的模型，雷达图的形状可能差得很远。
2026 年 9 月底这波，是榜单上线以来最热闹的一段时间。
引用分数时须标明朝次：以下为 Decision Index 0.2.1、2026-09-28 的公开榜单快照。
StartLux-Decision 是这波的主角。27B 版本 63.88 分，高于 Jev 1.13 的 57.91；38 项基准里 31 项超过 Jev。9B 版本也以 58.63 小幅领先。上海团队用了 14 项基准的公开训练集，对应测试题已过滤。
Clef 与 Clef-flash 是 Cloudflare 在 10 月初开源的跟进版本，宣称登顶同一榜单。从 Cloudflare 自跑的数据看，它在具体基准上优势更直观：
| 基准 | Clef | Clef-flash | Jev 1.13 |
|---|---|---|---|
| BFCL · case exact | 98.47 | 98.76 | 95.75 |
| BANKING77 · macro-F1 | 94.20 | 90.93 | 79.74 |
要注意：以上 Clef 数据来自 Cloudflare 自助上报，截至目前没有第三方在官方榜上复现。
除了这两个最响亮的，还有一批值得一并记住：
这是榜单最容易让人误读的地方。
第一个坑刚才已经提过：综合分是随机基线校正后的加权汇总，不是准确率。第二个坑更要紧——综合分领先不等于分领域全领先。
StartLux 自己在发布说明里就坦白：在知识与推理这一类，它的 44.3 落后于 Jev 的 51.4。也就是说，那个 63.88 的总分背后，藏着一项明显的短板。
第三个坑是数据来源。这份 Space 是社区维护，部分成绩由厂商自助上报。StartLux 的分数明确标注"团队自测，并非官方上榜结果"；Clef 的数据来自 Cloudflare 自跑，官方榜上暂无第三方复现。榜单页面自己也会提示：引用分数时须标明朝次日期。
第四个坑是训练集污染。StartLux 用了其中 14 项基准的公开训练集做训练，对应测试题已过滤；但 公开 JevBench 的 208/231 不是包含保密测试、速度与成本的官方总分。换言之，公开榜上看到的，和厂商内部完整评测跑出来的，是两个东西。
好在有人这么做了，而且做得很扎实。
2026 年 9 月，波恩大学、Lamarr 机器学习研究所和 Fraunhofer IAIS 联合发布了一篇论文：Evaluating and Benchmarking the System One Model Jev。这是目前对 Jev 本体最系统的独立评测。
他们做了一件简单但费力的事：把 Jev 锁定在 jev-1.13.0 版本，在 37 个公开数据集上跑零样本评测，每个数据集固定一个模板，全量跑评测集，一共 346,009 次请求，总开销不到 10 美元。
对照选了两个开源大模型：Qwen3.8-27B 和 Gemma-4-E4B。它们在完全相同的请求上，通过精确的下一个 token 概率来打分，保证口径一致。
结果是这样的：
| 对比项 | Jev vs Qwen3.8-27B | Jev vs Gemma-4-E4B |
|---|---|---|
| 胜出数据集数 | 27 / 37 | 37 / 37 |
| 典型强项 | IMDB / SST-2 / HellaSwag / ARC 达 95–99% 准确率；Belebele 跨 122 种语言 86.7% | |
| 典型弱项 | 低资源语言、细粒度或噪声标签、基于评分表的质量判断 | |
| 校准性 | Choice 概率校准良好，支持选择性预测 | |
几个值得记住的细节：Jev 在 MMLU 的计算题上反而比其他题更准（94% 对 91%），和两个开源模型相反——后者在计算题上掉分。研究者做了反查：轮换选项位置，准确率不变；拿掉问题只给状态，准确率掉到接近随机。这排除了"看选项位置瞎猜"的浅层记忆，但没法完全排除"题面—答案对"的记忆。
这项工作的价值不在于给 Jev 拍一个分数，而在于把方法、模板、原始响应全部开源，存进内容寻址缓存。后人拿别的模型接上同一套 harness，可以直接复跑。这才叫"可复现的评测"。
说到底，开发者要的不是排名，是选型依据。
一个比较稳的用法是"先看分领域，再看延迟成本"。如果你的业务是工单路由，重点看 BANKING77 / CLINC150 这一族；如果是内容审核，看 OpenAI Moderation / ToxiGen / ToxicChat；如果是回答有用性评分，看 SummEval / HelpSteer2。
第二个建议是拿自己的业务样本回放一遍。榜单上的 38 项基准是公开的，但它们的分布大概率不等于你的业务分布。一个在 BANKING77 上领先 14 个点的模型，在你的内部工单上未必还领先 14 个点。Jev 论文里那个"阈值调优后 micro-F1 从 0.50 提到 0.75"的例子，就是提醒——校准和阈值不能直接照搬。
第三个建议是把"能不能 abstain"当一条硬指标。决策模型最被看重的不是峰值准确率，而是"不确定时主动弃权"的能力。这份榜单的校准数据可以看，但更靠谱的是自己在业务样本上画 reliability diagram。
最后是部署方式。Jev 闭源托管 API，国内未开放；如果你需要本地部署或数据不出域，就只能在复现版里挑——fast-browser-use 这种 MIT 协议、没 GPU 也能跑的，门槛最低。
一份社区维护的 Hugging Face Space，撑不起"权威评测机构"这四个字。它没有发证书的资格，自报数据也经不起太较真。
但它干成了一件具体的事：把闭源 Jev 从一个不可比较的黑箱，变成了一个有坐标系的东西。原版在哪一项强、弱项是什么、哪些开源复现逼近了、哪些还差得远——这些以前无从回答的问题，现在至少有一个可以查的地方。
真正值得关注的，从来不是哪一家冲到了榜首，而是这个坐标系本身开始被一圈厂商、研究者和开发者共同使用。当所有人都用同一把尺子量的时候，"决策模型"才从一个产品名变成了一个品类。
剩下的问题，是这把尺子什么时候能从社区维护，升级成有一套公认规范的第三方评测。在那之前，看榜可以，别只看榜。
@multimodalart），分 News 资讯流、Index 主榜、缺口清单三块，数据由一份静态 JSON 驱动。@multimodalart），榜单快照 2026-09-28，版本 0.2.1