大多数人的 AI 应用是这样写的:选一个”最强模型”,所有请求都发给它。

在 2024 年这没问题——模型少、价差小。但到了 2026 年 11 月,同一个任务用不同模型跑,成本能差 40 倍,而质量差异往往只体现在少数难任务上。你为 90% 的简单请求,付了旗舰模型的钱。

这篇文章给一套能直接抄的三层模型路由方案。


一、先看清价格:2026 年 11 月的真实牌价

单位:美元 / 百万 tokens(输入 / 输出),数据取自各厂商 11 月中旬公开定价页。

层级 模型 价格(输入/输出) 适合什么
规划层 Claude Fable 5.2 $8 / $40 架构设计、难题攻坚、长链推理
规划层 Gemini 4 Carbon $4 / $20(11/30 后) 长程智能体、科学推理、安全分析
规划层 GPT-6 Sol $2 / $10 通用复杂任务、代码重构
中间层 Claude Opus 5.5 $4 / $20 日常开发主力、需要稳定输出
中间层 Gemini 4 Argon $2 / $10(11/30 后 $4/$20) 软件工程、知识工作
中间层 Qwen4-Max 以官网为准(缓存命中 ¥0.5/百万) 中文场景、智能体任务
执行层 Gemini 4 Hydrogen $1.50 / $7.50 高频编码、智能体执行
执行层 Mistral Large 4 $0.70 / $2.10 开源可控、批量处理
执行层 Claude Haiku 5.5 $0.10 / $0.50 分类、抽取、改写、短问答
执行层 GPT-6 Luna $0.10 / $0.50 同上,免费额度友好
执行层 Meta Muse Ember $0.10 / $0.50 百万上下文、长文档处理

看这张表能得出一个结论:从执行层到规划层,价差是 80 倍(Haiku 5.5 到 Fable 5.2)。而现实中的请求分布,通常是 70% 简单、25% 中等、5% 困难。

全量发旗舰,等于给 70% 的”你好,帮我把这段话改写得更正式”付了 $8/百万的输入价。


二、三层怎么分:不是按模型分,是按任务分

规划层(约 5% 流量)

负责想清楚,不负责写完全部代码。

  • 任务拆解:把一个需求拆成可执行的步骤清单
  • 架构决策:技术选型、数据结构、接口契约
  • 难题攻坚:连续两次执行失败后的根因分析
  • 高风险审查:涉及资金、权限、数据删除的方案

关键原则:规划层输出的是”计划”,不是”实现”。让它写 2000 行代码是最贵的用法。

执行层(约 70% 流量)

负责把明确的事做完,输入输出都短,可批量、可重试。

  • 分类、打标、意图识别
  • 信息抽取(从邮件/合同/网页里提字段)
  • 格式化改写、翻译、摘要
  • 单元测试生成、样板代码填充
  • 智能体的每一次工具调用决策

这一层的选择逻辑只有一条:够用就行,越便宜越好。Haiku 5.5 与 GPT-6 Luna 都在 $0.10/$0.50,是默认起点。

中间层(约 25% 流量)

负责要质量但不至于动用旗舰的活。

  • 日常功能开发、bug 修复
  • 中等长度文档撰写
  • 需要较长上下文的多轮对话
  • 执行层搞不定、但又不值得上 Fable 的任务

Opus 5.5、Gemini 4 Argon、Qwen4-Max 都在这一层,按语言和预算选。


三、路由怎么写:规则优先,模型兜底

最容易犯的错是”用一个旗舰模型来判断该用哪个模型”——判断成本比任务本身还贵。

正确的顺序是:规则 → 小模型 → 不确定才升级。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
import re

# 1) 规则层:零成本,覆盖 60% 以上的明确请求
def rule_route(prompt: str, ctx_tokens: int) -> str | None:
p = prompt.strip()
# 明显的高风险/高难度信号 → 直接规划层
hard_signals = ["架构", "设计方案", "为什么会", "根因", "重构整个",
"安全审计", "迁移方案", "证明"]
if any(s in p for s in hard_signals):
return "planner"
# 明显的轻任务 → 执行层
light_signals = ["翻译", "改写", "摘要", "提取", "分类", "打标签", "格式化"]
if any(s in p for s in light_signals) and ctx_tokens < 4000:
return "executor"
# 超长上下文 + 简单任务 → 长文档执行层
if ctx_tokens > 100_000:
return "long_context"
return None # 规则拿不准,交给小模型

# 2) 小模型层:一次极便宜的调用,输出一个标签
ROUTER_PROMPT = """判断下面任务需要哪档模型,只输出一个词:
executor(简单:分类/抽取/改写/短问答)
worker(中等:写代码/写文档/多轮讨论)
planner(困难:架构/根因/高风险决策)

任务:{task}
"""

def model_route(prompt: str, ctx_tokens: int, call_cheap_model) -> str:
tier = rule_route(prompt, ctx_tokens)
if tier:
return tier
label = call_cheap_model(ROUTER_PROMPT.format(task=prompt[:2000])).strip()
return label if label in {"executor", "worker", "planner"} else "worker"

# 3) 映射到具体模型
MODEL_MAP = {
"executor": {"model": "claude-haiku-5-5", "in": 0.10, "out": 0.50},
"long_context": {"model": "muse-ember", "in": 0.10, "out": 0.50},
"worker": {"model": "claude-opus-5-5", "in": 4.00, "out": 20.0},
"planner": {"model": "claude-fable-5-2", "in": 8.00, "out": 40.0},
}

注意路由调用的成本控制:输入只截前 2000 字符,输出限制 5 个 token,单次成本约为 $0.0002——100 万次路由判断也才 200 美元,可以忽略。

升级机制:失败了再往上走

真正的省钱不在”选对”,而在”允许失败后升级”。

1
2
3
4
5
6
7
8
9
10
11
12
def run_with_escalation(task, tier_order=("executor", "worker", "planner")):
last_error = None
for tier in tier_order:
cfg = MODEL_MAP[tier]
try:
result = call_model(cfg["model"], task)
if validate(result, task): # 结构校验 + 关键字段检查
return result, tier
last_error = "validation_failed"
except Exception as e:
last_error = str(e)
raise RuntimeError(f"三级都失败: {last_error}")

三个要点:

  1. validate() 必须是确定性的——JSON schema 校验、正则、必填字段,而不是”再问一次模型对不对”;
  2. 升级要带上下文:把上一次的失败原因一起交给上一层,命中率会明显提高;
  3. 设总预算上限:单任务累计花费超过阈值就中止,避免升级链变成无底洞。

四、算一笔账:100 万次请求省多少

假设每次请求 2000 输入 + 500 输出 tokens,月请求量 100 万次,流量分布 70/25/5。

方案 单次成本 月成本
全部 Fable 5.2 $0.0360 $36,000
全部 Opus 5.5 $0.0180 $18,000
全部 Gemini 4 Argon $0.0090 $9,000
全部 Haiku 5.5 $0.00045 $450
三层路由(70/25/5) $0.0066 $6,615

对比全量 Opus 5.5,路由方案省 63%;对比全量 Fable 5.2,省 82%。而且关键任务拿到的还是旗舰模型——省的是浪费,不是质量。

如果再加两件事,成本还能往下走:

  • 缓存:相同或高度相似的 prompt 前缀命中缓存,输入价通常打 1-2 折;
  • 批处理:非实时任务走 batch 接口,普遍有 5 折。

五、五个坑(都是踩过的)

  1. 只按 token 数路由。长度不等于难度,200 字的架构问题比 5000 字的翻译难得多。要结合关键词和任务类型。
  2. 跨模型切换丢上下文。不同模型的 system prompt 敏感度不同,切换时把”角色设定、输出格式、约束”重写一遍,别假设它们理解一致。
  3. 校验层用同一个模型。自己检查自己,错误会一致地漏过去。校验至少换一家厂商,或者用确定性规则。
  4. 没有可观测性。不记录 model / tokens / cost / latency / 成功率,你永远不知道钱花在哪。一张按模型分组的日报表就够了。
  5. 评测集漂移。上线时的路由规则三个月后可能全错——模型更新了、业务变了。每月拿 50 条真实请求重跑一次准确率。

六、今天就动手的三步

  1. 打日志:给现有请求加三个字段——任务类型、实际用的模型、花费。先看清现状,再谈优化。
  2. 迁 70%:把分类、抽取、改写、摘要这类明确任务切到 Haiku 5.5 或 GPT-6 Luna,一周内就能看到账单变化。
  3. 留 5% 的闸门:给难题和风险操作设一个人工确认环节。省钱的同时,也顺手解决了智能体”越权动手”的问题。

模型会一直更新,路由的思路不会变:简单的事交给便宜的手,困难的事交给聪明的脑子,重要的事留给人。


延伸阅读:AI双周速递·第五期 里有这两个月的完整价格变动和 11 月 30 日前的窗口期提醒。想系统搭建 AI 工作流,可以从 《如何用 AI 编程:从需求到上线的完整工作流》 开始。