Skip to content
Chenghao Liao
Go back

Jev 的真正价值,不是更快地完成一次分类

最近看到一些关于 Jev 的讨论和独立评测。其中一个观点很值得重视:评价新技术时,不能只接受产品预设的比较维度,而应该回到真实业务约束,寻找最合适的替代方案。

一些分类实验也表明,在任务固定、标注数据充足并允许专门训练的前提下,传统分类器或小模型可能获得更好的准确率、延迟或运行成本。

我认可这个结论。但仔细了解 Jev 后,我认为还可以从另一个角度理解它的技术定位。

Jev 是 TypeSafe AI 推出的 System One decision model。它接收业务状态和预先定义的问题,返回 Choice、Score 或 Yes/No 等结构化结果及相应概率,而不是生成一段自由文本。

Jev 最有价值的地方,并不是能够快速完成某一次分类或评分,而是无需为每一种判断任务重新训练一套专用模型,就能够利用通用语义理解能力,在定义好判断目标和输出结构后,为不同任务提供结构化结果。

要理解这个差别,首先需要讨论一个更基础的问题:当业务需要某种判断能力时,我们到底应该选择什么技术?

一、不是所有判断都需要 LLM

假设我们需要开发一套系统,它可能遇到以下四类问题。

业务场景优先考虑的技术方案
固定规则、确定性判断普通代码 / Rule
同类型任务高频重复执行,标注数据充足传统分类器 / 小模型
判断任务类型多变、标注数据不足,需要结构化决策Jev 等通用决策模型
需要生成语言、复杂推理、探索或调用工具生成式 LLM / Agent

这四种方案并不存在绝对的技术先进性排序,而是解决不同的问题。

1. 固定规则:直接写代码

例如判断一个文件是不是 Go 文件:

is_go_file = filename.endswith(".go")

或者根据明确的业务状态进行路由:

status = FAILED
→ 进入失败处理流程

既然规则已经确定,就没有必要再调用模型判断一次。

普通代码成本低、确定性强、容易测试,也不会引入额外的模型误判。

能用确定性规则解决的问题,就不应该为了使用 AI 而使用 AI。

2. 固定、高频、有数据:传统分类器

假设我们需要判断一条短信是不是垃圾短信。

这个任务具备几个明显特点:

在这种情况下,训练一个 DistilBERT 或其他小型分类模型,可能是非常合理的选择。

虽然前期需要数据准备、训练和部署,但只要调用量足够大,这些成本就可以被不断摊薄。

而经过专门优化的小模型,通常能够获得较好的推理效率。

因此,如果只是比较一次垃圾短信分类的准确率、延迟和成本,Jev 未必有优势。

但问题在于:不是所有业务都只有一种固定的判断任务。

二、Jev 真正解决的是“判断任务的多样性”

考虑另一个场景。

假设我们正在开发一个 AI Agent 平台,里面有大量需要语义判断的环节:

用户请求
→ 判断应该路由给哪个 Agent

Agent 执行
→ 判断是否需要更多证据

Tool 返回
→ 判断异常是否值得重试

Agent 输出
→ 判断结果是否符合用户意图

任务结束
→ 判断是否需要人工介入

这些判断任务的共同特点是:

每一种判断可能都不复杂,但任务种类很多,而且经常变化。

如果使用传统分类模型,理论上我们可以为每一种判断任务建立专门的分类器。

但问题随之而来:

新增判断任务
    ↓
收集数据
    ↓
人工标注
    ↓
模型训练
    ↓
效果评估
    ↓
部署与维护

如果只有一种任务,这完全可以接受。

但如果有几十甚至上百种判断任务,而且经常新增、调整或废弃,那么反复适配专用模型的工程成本就可能变得非常高。

Jev 提供了另一种思路:

同一个通用决策模型
        ↓
任务 A:用户意图分类
任务 B:代码风险判断
任务 C:工单优先级评估
任务 D:是否需要人工处理
任务 E:Agent 输出质量判断
        ↓
直接返回结构化结果

它不需要为每种新任务重新训练一套模型,而是利用已有的通用语义理解能力进行 Zero-shot 判断。

这才是 Jev 真正值得关注的地方。

它节省的可能不仅是生成 Token,更是适配大量不同判断任务所需的数据和模型工程成本。

当然,无需逐任务训练,不代表无需逐任务配置和评测。接入一个新任务时,仍然需要定义问题、候选项或评分尺度,并结合具体业务验证准确率、误判风险和概率阈值。

三、两种完全不同的规模经济

沿着这个思路,我觉得可以进一步总结出 Jev 和传统分类器之间一个很重要的区别。

传统分类器更擅长在同一种任务上扩大调用规模。

例如:

一种固定分类任务
        ↓
积累大量标注数据
        ↓
训练专用模型
        ↓
每天执行百万次
        ↓
持续摊薄训练和部署成本

任务越稳定、调用次数越多,专用模型的优势往往越明显。

而 Jev 这类通用决策模型希望在不同判断任务之间复用同一个模型的泛化能力。

例如:

100 种不同的语义判断
        ↓
共享一个通用决策模型
        ↓
无需逐任务训练
        ↓
通过配置判断目标快速接入新任务

这里真正扩大的是任务种类,而不只是某一种任务的调用量。

因此,两者的规模化方向不同:

传统分类器追求的是同一任务的规模经济;Jev 追求的是跨任务的规模经济。

这也解释了为什么只拿单个固定分类任务比较推理速度,并不能完整评价 Jev 的价值。

它可能不是那个任务上最便宜的方案,但可能是一百种动态判断任务组合起来时,整体工程成本更合理的方案。

四、单一固定任务的胜负,不足以定义 Jev 的价值

现有的一些独立分类评测说明,在固定任务、标注数据充足并允许专门训练的前提下,传统小型分类器完全可能取得比 Jev 更好的准确率、延迟或运行成本。

这个结论并不意外,也不意味着 Jev 没有价值。因为监督训练的专用分类器和 Zero-shot 通用决策模型,承担的前期成本并不相同。

如果任务固定,传统分类器可以通过专门训练获得优势。

如果任务种类繁多、变化频繁、缺乏标注数据,那么通用决策模型的价值就开始显现。

所以我觉得评价 Jev 时,更应该考虑的是:

任务类型数量
+
任务变化频率
+
标注数据可用性
+
单次判断成本
+
新任务适配成本
+
整体维护成本

而不只是:

Accuracy
Latency
Token Cost

换句话说:

技术选型比较的不应该只有模型推理效率,还应该包括完整的工程生命周期成本。

当然,Jev 自身也有边界。

通用泛化并不保证每个领域都能达到专用模型的精度。Jev 返回概率,也不代表这些概率在每个业务任务上都天然可靠。

实际接入时仍然需要使用本领域评测集检查准确率、校准程度和阈值表现,并为高风险或低置信度结果设计人工确认或其他兜底机制。

五、再往前一步:很多地方甚至不需要 Agent

我觉得 Jev 带来的另一个启发,是重新审视 Agent 架构中的决策环节。

最近在研究 Coding Agent 时,我发现我们很容易把系统中的每一个智能判断,都包装成一个新的 Agent。

需要判断任务类型,就设计一个 Router Agent。

需要评估结果,就设计一个 Critic Agent。

需要判断下一步是否继续,就再增加一个 Planner 或 Replanner Agent。

但这些环节真的都需要完整的 Agent Loop 吗?

未必。

例如在 Code Review 系统中:

识别文件类型
→ Rule

判断代码修改可能涉及什么领域
→ Rule / 轻量语义决策

分析是否存在真实的鉴权绕过
→ LLM + Code Search + Evidence

自动修复代码并验证
→ Agent + Tool + Workflow

不同问题需要的能力层级其实差别很大。

有些是确定性判断,有些是语义分类,有些则需要复杂的证据调查。

如果全部交给强 LLM,甚至全部包装成 Agent,可能只是增加了不必要的成本和系统复杂度。

反过来,如果用简单分类模型去解决需要跨文件分析、工具调用和复杂推理的问题,也不现实。

因此我越来越倾向于一种按问题复杂度分层的架构:

确定性问题
    ↓
Rule / Code

简单语义判断
    ↓
通用决策模型 / 小模型

复杂推理
    ↓
Generative LLM

需要与环境持续交互
    ↓
Agent + Tools

这里并不是要求每个请求依次经过所有层级,而是由系统根据任务性质选择足够可靠、成本合理的执行方式。

六、结语

我觉得 Jev 真正值得关注的,并不是它把一次分类做得比生成式 LLM 快了多少。

对于固定规则,普通代码可能更快、更可靠。

对于稳定、高频且数据充足的分类任务,传统小模型也可能是更好的选择。

Jev 的真正价值,在于将通用语义理解能力转化成可复用的结构化决策能力,减少大量动态判断任务对专门训练和模型工程的依赖。

这种优势不是来自某一次推理,而是来自跨任务的泛化和复用。

最终,技术选择应该回到业务问题本身:

不同的答案,自然对应不同的技术方案。

这也让我进一步确认了一条 Agent 工程原则:

不是所有需要 AI 的地方都需要生成式 LLM,不是所有需要 LLM 的地方都需要 Agent,更不是所有 Agent 都需要 Multi-Agent。

技术方案的价值不在于它有多新、架构有多复杂,而在于它能否以合理的综合成本,可靠地解决真实问题。

先定义问题,再选择技术。

参考资料


Share this post:

Previous Post
Context Engineering:Agent 的核心不是能看到多少,而是每一步该看到什么