Verboo Code 动态模型路由正式亮相
返回博客
文章inteligência artificialtecnologiadesenvolvimento de software

Verboo Code 动态模型路由正式亮相

Ivo2026年9月19日阅读约 5 分钟

我们推出 Verboo Code 路由器:通过统一接口接入多个 AI 模型,并为每个请求选择模型。开发任务会随着工作进展而变化,处理任务的模型也可以随之调整。

首个路由策略使用 TypeSafe 的 Jev 评估候选模型与任务的匹配程度。Verboo Code 将这一评估与访问控制、模型能力和响应生成流程结合起来。

应用只需使用一个别名。Verboo Code 为每个请求选择负责生成响应的模型,并统一管理候选模型集合。我们可以随时间推移添加或移除模型,同时保持这一接入点稳定。

为开发者带来什么

  • 减少手动切换模型。 无论是解释代码、编写测试还是排查问题,智能体都可以继续使用同一个模型别名。系统会在每次调用时重新选择模型。
  • 让模型能力适应任务。 不同阶段可以由不同模型处理,选择范围受已授权的候选集合和每个请求的技术要求约束。
  • 将成本纳入选择。 路由策略会考虑任务匹配度和预估执行成本,目标是更有效地分配资源。实际收益取决于模型组合和工作负载。
  • 让集成随产品一起演进。 候选模型集合可以调整,应用使用的模型标识符无需随之更换。消息、工具调用和流式输出仍通过 Chat Completions 流程完成。

一次开发会话可能从阅读一个函数开始,接着编写测试,最后排查涉及多个文件的问题。路由器可以根据每个请求提供的上下文,分别评估这些阶段的需求。

稳定的接口,持续演进的模型集合

每次调用都遵循相同流程:接收请求,检查哪些模型满足要求,评估符合条件的候选模型,然后将生成任务交给其中一个。下一次调用时,系统根据新的上下文重复这一流程。每个请求由一个模型生成响应。

Verboo Code 统一管理这一集合,并可在未来添加或移除模型。 应用继续使用同一个路由器别名和 Chat Completions 流程。模型组合可以演进,路由机制保持一致:评估每个请求,并选择能够处理该请求的模型。

应用保持使用同一个 Chat Completions 别名。路由器结合 Jev 评估、任务匹配度和成本,从候选集合中选择一个模型。Verboo Code 可随时间推移添加或移除模型。
模型集合持续演进,接入方式保持稳定。每个响应由一个选定模型生成。图中的候选模型仅为概念示意,其数量和组成均可变化。

Jev 如何参与决策

Jev 是 TypeSafe 开发的模型,用于评估信息并返回结构化答案。应用可以通过其 API 针对文本上下文提出问题,再将评估结果用于决策。了解 TypeSafe API

在首个路由策略中,我们利用这一能力估计各候选模型对当前任务的适用程度。该估计与请求的技术限制、模型成本一起参与选择。

响应生成由选定模型负责。它接收调用中的消息、工具和参数,然后生成交付给用户的内容。这种分工使选择策略和生成模型能够独立演进。

一个请求如何完成

1. 检查兼容性

路由器会检查候选模型的可用状态,并根据请求应用技术筛选条件:

  • 上下文: 根据输入大小的估计值和请求的输出上限,检查是否符合模型的上下文窗口限制。
  • 视觉: 请求包含图像时,候选模型需要支持图像输入。
  • 推理: 候选模型需要支持调用中指定的 reasoning_effort 级别。

上下文估计用于初步检查。准确的 token 数量仍取决于执行生成的模型所使用的 tokenizer。

2. 从符合条件的候选模型中选择

路由策略会考虑任务匹配度评估,以及输入和输出 token 的预估成本。评估过程本身也有成本,并会增加一个处理环节。因此,其效率取决于模型组合以及整个工作流程取得的结果。

3. 生成响应

请求会携带消息、工具定义和参数转发给选定模型。执行过程保留适用的访问控制和限制。下一次调用时,路由器可以重新作出选择。

路由流程:检查上下文、视觉与推理兼容性;通过 Jev 评估任务匹配度和预估成本;由选定模型生成响应。如果选择失败,可在生成开始前回退到符合条件的默认模型。
兼容性检查、模型选择与响应生成。回退发生在执行之前。本图为概念示意,不包含性能测量数据。

基于 Chat Completions 的集成

路由器面向 /v1/chat/completions 端点构建,保留消息、工具定义和流式响应流程。系统根据请求的技术要求选择执行生成的模型。

对于应用而言,model 字段用于标识路由器。在下面的示例中,别名是 jev-router:Verboo Code 更新模型集合时,该别名保持不变。路由器的访问权限遵循所属组的授权:

{
  "model": "jev-router",
  "messages": [
    {
      "role": "user",
      "content": "分析这个函数,并为边界情况提出测试方案。"
    }
  ],
  "stream": true
}

在编程智能体中,响应可能请求调用工具,而工具返回的结果又会成为下一次调用的输入。在这一循环中,应用始终使用同一个别名,模型选择则跟随每个阶段的上下文调整。

一个实例,统一访问

路由器在 Verboo Code 中作为一个虚拟实例,分配给有权使用它的访问组。它包含模型选择策略、候选模型集合,以及用于回退的默认模型。

Verboo Code 管理这一集合的组成。应用继续通过路由器接入:模型更新时,API 调用使用的标识符保持不变。

连续运行与故障处理

模型选择过程设有时间限制。如果评估超时、失败,或未能识别出合适的候选模型,路由器可以使用默认模型,前提是该模型仍符合当前请求的条件。

如果没有符合条件的模型,调用会返回错误。选择层不会自动重复已经开始的生成过程。如流程图所示,回退发生在生成开始之前的决策阶段。

Jev 的评估使用近期对话历史中的文本片段,其中可能包含任务内容。图像 URL 和二进制内容不会进入这一评估环节。生成请求的上下文会转发给选定模型。

为更多策略打下基础

Jev 支持了这一架构中的首个路由策略。将选择与执行分离后,我们可以在未来引入其他策略,并针对不同工作负载调整模型集合。

首发模型

初始集合包括 DeepSeek V4.1 Flash、GLM 5.3 和 MiniMax M3GLM 5.3 Flash 是未来可考虑加入的选项之一。这一组合只是起点:随着服务演进,我们可以添加或移除模型,同时保持应用使用的别名不变。

通过路由器,我们将不同的 AI 能力整合到统一接口中:开发者保持原有工作流程,模型选择则适应每个新的请求。

了解 Verboo Code

喜欢这篇文章吗?
把知识分享给你的朋友。
// 继续阅读

相关文章