别再找最强模型:三层模型路由实战(2026年11月版)
大多数人的 AI 应用是这样写的:选一个”最强模型”,所有请求都发给它。
在 2024 年这没问题——模型少、价差小。但到了 2026 年 11 月,同一个任务用不同模型跑,成本能差 40 倍,而质量差异往往只体现在少数难任务上。你为 90% 的简单请求,付了旗舰模型的钱。
这篇文章给一套能直接抄的三层模型路由方案。
一、先看清价格:2026 年 11 月的真实牌价
单位:美元 / 百万 tokens(输入 / 输出),数据取自各厂商 11 月中旬公开定价页。
| 层级 | 模型 | 价格(输入/输出) | 适合什么 |
|---|---|---|---|
| 规划层 | Claude Fable 5.2 | $8 / $40 | 架构设计、难题攻坚、长链推理 |
| 规划层 | Gemini 4 Carbon | $4 / $20(11/30 后) | 长程智能体、科学推理、安全分析 |
| 规划层 | GPT-6 Sol | $2 / $10 | 通用复杂任务、代码重构 |
| 中间层 | Claude Opus 5.5 | $4 / $20 | 日常开发主力、需要稳定输出 |
| 中间层 | Gemini 4 Argon | $2 / $10(11/30 后 $4/$20) | 软件工程、知识工作 |
| 中间层 | Qwen4-Max | 以官网为准(缓存命中 ¥0.5/百万) | 中文场景、智能体任务 |
| 执行层 | Gemini 4 Hydrogen | $1.50 / $7.50 | 高频编码、智能体执行 |
| 执行层 | Mistral Large 4 | $0.70 / $2.10 | 开源可控、批量处理 |
| 执行层 | Claude Haiku 5.5 | $0.10 / $0.50 | 分类、抽取、改写、短问答 |
| 执行层 | GPT-6 Luna | $0.10 / $0.50 | 同上,免费额度友好 |
| 执行层 | Meta Muse Ember | $0.10 / $0.50 | 百万上下文、长文档处理 |
看这张表能得出一个结论:从执行层到规划层,价差是 80 倍(Haiku 5.5 到 Fable 5.2)。而现实中的请求分布,通常是 70% 简单、25% 中等、5% 困难。
全量发旗舰,等于给 70% 的”你好,帮我把这段话改写得更正式”付了 $8/百万的输入价。
二、三层怎么分:不是按模型分,是按任务分
规划层(约 5% 流量)
负责想清楚,不负责写完全部代码。
- 任务拆解:把一个需求拆成可执行的步骤清单
- 架构决策:技术选型、数据结构、接口契约
- 难题攻坚:连续两次执行失败后的根因分析
- 高风险审查:涉及资金、权限、数据删除的方案
关键原则:规划层输出的是”计划”,不是”实现”。让它写 2000 行代码是最贵的用法。
执行层(约 70% 流量)
负责把明确的事做完,输入输出都短,可批量、可重试。
- 分类、打标、意图识别
- 信息抽取(从邮件/合同/网页里提字段)
- 格式化改写、翻译、摘要
- 单元测试生成、样板代码填充
- 智能体的每一次工具调用决策
这一层的选择逻辑只有一条:够用就行,越便宜越好。Haiku 5.5 与 GPT-6 Luna 都在 $0.10/$0.50,是默认起点。
中间层(约 25% 流量)
负责要质量但不至于动用旗舰的活。
- 日常功能开发、bug 修复
- 中等长度文档撰写
- 需要较长上下文的多轮对话
- 执行层搞不定、但又不值得上 Fable 的任务
Opus 5.5、Gemini 4 Argon、Qwen4-Max 都在这一层,按语言和预算选。
三、路由怎么写:规则优先,模型兜底
最容易犯的错是”用一个旗舰模型来判断该用哪个模型”——判断成本比任务本身还贵。
正确的顺序是:规则 → 小模型 → 不确定才升级。
1 | import re |
注意路由调用的成本控制:输入只截前 2000 字符,输出限制 5 个 token,单次成本约为 $0.0002——100 万次路由判断也才 200 美元,可以忽略。
升级机制:失败了再往上走
真正的省钱不在”选对”,而在”允许失败后升级”。
1 | def run_with_escalation(task, tier_order=("executor", "worker", "planner")): |
三个要点:
validate()必须是确定性的——JSON schema 校验、正则、必填字段,而不是”再问一次模型对不对”;- 升级要带上下文:把上一次的失败原因一起交给上一层,命中率会明显提高;
- 设总预算上限:单任务累计花费超过阈值就中止,避免升级链变成无底洞。
四、算一笔账:100 万次请求省多少
假设每次请求 2000 输入 + 500 输出 tokens,月请求量 100 万次,流量分布 70/25/5。
| 方案 | 单次成本 | 月成本 |
|---|---|---|
| 全部 Fable 5.2 | $0.0360 | $36,000 |
| 全部 Opus 5.5 | $0.0180 | $18,000 |
| 全部 Gemini 4 Argon | $0.0090 | $9,000 |
| 全部 Haiku 5.5 | $0.00045 | $450 |
| 三层路由(70/25/5) | $0.0066 | $6,615 |
对比全量 Opus 5.5,路由方案省 63%;对比全量 Fable 5.2,省 82%。而且关键任务拿到的还是旗舰模型——省的是浪费,不是质量。
如果再加两件事,成本还能往下走:
- 缓存:相同或高度相似的 prompt 前缀命中缓存,输入价通常打 1-2 折;
- 批处理:非实时任务走 batch 接口,普遍有 5 折。
五、五个坑(都是踩过的)
- 只按 token 数路由。长度不等于难度,200 字的架构问题比 5000 字的翻译难得多。要结合关键词和任务类型。
- 跨模型切换丢上下文。不同模型的 system prompt 敏感度不同,切换时把”角色设定、输出格式、约束”重写一遍,别假设它们理解一致。
- 校验层用同一个模型。自己检查自己,错误会一致地漏过去。校验至少换一家厂商,或者用确定性规则。
- 没有可观测性。不记录 model / tokens / cost / latency / 成功率,你永远不知道钱花在哪。一张按模型分组的日报表就够了。
- 评测集漂移。上线时的路由规则三个月后可能全错——模型更新了、业务变了。每月拿 50 条真实请求重跑一次准确率。
六、今天就动手的三步
- 打日志:给现有请求加三个字段——任务类型、实际用的模型、花费。先看清现状,再谈优化。
- 迁 70%:把分类、抽取、改写、摘要这类明确任务切到 Haiku 5.5 或 GPT-6 Luna,一周内就能看到账单变化。
- 留 5% 的闸门:给难题和风险操作设一个人工确认环节。省钱的同时,也顺手解决了智能体”越权动手”的问题。
模型会一直更新,路由的思路不会变:简单的事交给便宜的手,困难的事交给聪明的脑子,重要的事留给人。
延伸阅读:AI双周速递·第五期 里有这两个月的完整价格变动和 11 月 30 日前的窗口期提醒。想系统搭建 AI 工作流,可以从 《如何用 AI 编程:从需求到上线的完整工作流》 开始。
