我们推出 Verboo Code 路由器:通过统一接口接入多个 AI 模型,并为每个请求选择模型。开发任务会随着工作进展而变化,处理任务的模型也可以随之调整。
首个路由策略使用 TypeSafe 的 Jev 评估候选模型与任务的匹配程度。Verboo Code 将这一评估与访问控制、模型能力和响应生成流程结合起来。
应用只需使用一个别名。Verboo Code 为每个请求选择负责生成响应的模型,并统一管理候选模型集合。我们可以随时间推移添加或移除模型,同时保持这一接入点稳定。
为开发者带来什么
- 减少手动切换模型。 无论是解释代码、编写测试还是排查问题,智能体都可以继续使用同一个模型别名。系统会在每次调用时重新选择模型。
- 让模型能力适应任务。 不同阶段可以由不同模型处理,选择范围受已授权的候选集合和每个请求的技术要求约束。
- 将成本纳入选择。 路由策略会考虑任务匹配度和预估执行成本,目标是更有效地分配资源。实际收益取决于模型组合和工作负载。
- 让集成随产品一起演进。 候选模型集合可以调整,应用使用的模型标识符无需随之更换。消息、工具调用和流式输出仍通过 Chat Completions 流程完成。
一次开发会话可能从阅读一个函数开始,接着编写测试,最后排查涉及多个文件的问题。路由器可以根据每个请求提供的上下文,分别评估这些阶段的需求。
稳定的接口,持续演进的模型集合
每次调用都遵循相同流程:接收请求,检查哪些模型满足要求,评估符合条件的候选模型,然后将生成任务交给其中一个。下一次调用时,系统根据新的上下文重复这一流程。每个请求由一个模型生成响应。
Verboo Code 统一管理这一集合,并可在未来添加或移除模型。 应用继续使用同一个路由器别名和 Chat Completions 流程。模型组合可以演进,路由机制保持一致:评估每个请求,并选择能够处理该请求的模型。
Jev 如何参与决策
Jev 是 TypeSafe 开发的模型,用于评估信息并返回结构化答案。应用可以通过其 API 针对文本上下文提出问题,再将评估结果用于决策。了解 TypeSafe API。
在首个路由策略中,我们利用这一能力估计各候选模型对当前任务的适用程度。该估计与请求的技术限制、模型成本一起参与选择。
响应生成由选定模型负责。它接收调用中的消息、工具和参数,然后生成交付给用户的内容。这种分工使选择策略和生成模型能够独立演进。
一个请求如何完成
1. 检查兼容性
路由器会检查候选模型的可用状态,并根据请求应用技术筛选条件:
- 上下文: 根据输入大小的估计值和请求的输出上限,检查是否符合模型的上下文窗口限制。
- 视觉: 请求包含图像时,候选模型需要支持图像输入。
- 推理: 候选模型需要支持调用中指定的
reasoning_effort级别。
上下文估计用于初步检查。准确的 token 数量仍取决于执行生成的模型所使用的 tokenizer。
2. 从符合条件的候选模型中选择
路由策略会考虑任务匹配度评估,以及输入和输出 token 的预估成本。评估过程本身也有成本,并会增加一个处理环节。因此,其效率取决于模型组合以及整个工作流程取得的结果。
3. 生成响应
请求会携带消息、工具定义和参数转发给选定模型。执行过程保留适用的访问控制和限制。下一次调用时,路由器可以重新作出选择。
基于 Chat Completions 的集成
路由器面向 /v1/chat/completions 端点构建,保留消息、工具定义和流式响应流程。系统根据请求的技术要求选择执行生成的模型。
对于应用而言,model 字段用于标识路由器。在下面的示例中,别名是 jev-router:Verboo Code 更新模型集合时,该别名保持不变。路由器的访问权限遵循所属组的授权:
{
"model": "jev-router",
"messages": [
{
"role": "user",
"content": "分析这个函数,并为边界情况提出测试方案。"
}
],
"stream": true
}
在编程智能体中,响应可能请求调用工具,而工具返回的结果又会成为下一次调用的输入。在这一循环中,应用始终使用同一个别名,模型选择则跟随每个阶段的上下文调整。
一个实例,统一访问
路由器在 Verboo Code 中作为一个虚拟实例,分配给有权使用它的访问组。它包含模型选择策略、候选模型集合,以及用于回退的默认模型。
Verboo Code 管理这一集合的组成。应用继续通过路由器接入:模型更新时,API 调用使用的标识符保持不变。
连续运行与故障处理
模型选择过程设有时间限制。如果评估超时、失败,或未能识别出合适的候选模型,路由器可以使用默认模型,前提是该模型仍符合当前请求的条件。
如果没有符合条件的模型,调用会返回错误。选择层不会自动重复已经开始的生成过程。如流程图所示,回退发生在生成开始之前的决策阶段。
Jev 的评估使用近期对话历史中的文本片段,其中可能包含任务内容。图像 URL 和二进制内容不会进入这一评估环节。生成请求的上下文会转发给选定模型。
为更多策略打下基础
Jev 支持了这一架构中的首个路由策略。将选择与执行分离后,我们可以在未来引入其他策略,并针对不同工作负载调整模型集合。
首发模型
初始集合包括 DeepSeek V4.1 Flash、GLM 5.3 和 MiniMax M3。GLM 5.3 Flash 是未来可考虑加入的选项之一。这一组合只是起点:随着服务演进,我们可以添加或移除模型,同时保持应用使用的别名不变。
通过路由器,我们将不同的 AI 能力整合到统一接口中:开发者保持原有工作流程,模型选择则适应每个新的请求。



