LiteLLM 网关 401？TaoToken 这样查 Base URL

1. 打开一个 401 报错LiteLLM 的认证链路到底断在哪我见过不少团队把 LiteLLM 部署成公司内部的大模型网关config.yaml里写了七八个模型商OpenAI、Anthropic、Azure、Bedrock 全都有。表面上看一切正常可一旦线上开始报401 Authentication Error你就得面对一个很尴尬的事实你根本不知道这个 401 是 LiteLLM 拒绝的还是上游模型商拒绝的。LiteLLM Proxy 的认证分为两段。第一段客户端带着虚拟 Key 访问你部署的网关LiteLLM 需要确认这把 Key 有没有权限调用你指定的模型第二段LiteLLM 拿着你在config.yaml里配置的上游api_key去真正访问 OpenAI 或 Anthropic。这两段只要有一段 Key 不对、地址不对、或者认证头格式不对返回给你的都是 401。更麻烦的是像原文里提到的场景一个 LiteLLM 网关通常要同时接 OpenAI、Anthropic、Vertex AI、Bedrock甚至本地 Ollama。每一家的api_key都是独立申请的每一家的api_base格式也都不一样。有些商家的地址要带/v1有些不能带有些要带/v1beta你一旦填错LiteLLM 不会先在本地校验格式而是直接把这个请求原样转发出去然后收到一个 401。为了确认到底是哪一家的问题你得逐家换 Key、逐家试地址特别消耗时间。TaoToken 的价值就是把这一整段排查收敛起来。它是一个统一 API 兼容通道提供固定的 Base URLhttps://taotoken.net/api你只需要去 https://taotoken.net/?utm_sourcetaotoken_aicg_blog_end 创建一把 API Key然后把 LiteLLM 的上游地址指向它就能把逐家对地址变成只看一个出口。下面我会按实际排障的顺序把每一步写清楚。1.1 401 的两种长相虚拟 Key 无效和上游 Key 无效先给你一个判断方法。用 curl 直接打你的 LiteLLM Proxy 地址不带任何 Keycurl -s https://your-litellm-proxy:4000/chat/completions \ -H Content-Type: application/json \ -d {model:gpt-4o,messages:[{role:user,content:hi}]}如果返回Authentication Error: No API key supplied说明 LiteLLM 在入口处就没收到虚拟 Key如果返回401 Unauthorized且带有具体的上游错误信息那说明你的虚拟 Key 通过了但上游那家模型商拒绝了。这两种 401 的修复方式完全不同前者去config.yaml里核对master_key后者去核对litellm_params里的api_key和api_base。原文里提到每个大模型提供商都有自己的 API 格式、认证方式和调用规范这句话放在排障场景下的意思就是你有多少个上游就有多少个可能导致 401 的地方。你不可能靠记忆记住所有商家的 Base URL 规则更不可能每次报错都逐个去翻文档。所以先确定是前端还是后端的问题再决定往哪边查这个顺序比什么都重要。1.2 为什么逐个换 Key是一个越查越慢的死胡同我接触过的一个实际案例LiteLLM 配置里同时挂了 Azure 和 Anthropic某天线上突然开始大面积报 401。运维同事的第一反应是挨个测试api_key先在 Azure 的配置里换一把新 Key重启服务发现还是 401然后又去 Anthropic 换了一把依然 401。折腾了两个小时最后发现问题是AZURE_API_BASE多了个/openai请求被 Azure 直接拒绝。跟 Key 一点关系都没有。这就是逐家对地址的典型困境变量太多而每次只能试一个。更别说你还得在多个config.yaml环境之间切换测试完还要记得还原。TaoToken 的思路是把所有上游先收敛成一个。你只需要在litellm_params里把api_base统一改成https://taotoken.net/api把api_key统一改成从 TaoToken 创建的那一把 Key。这样原本 5 个上游、5 套认证、5 个可能出错的地址就变成了 1 个 Base URL、1 把 Key、1 个统一的认证格式。只要这个链路通了就说明 LiteLLM 的配置本身没问题接下来再去拆具体的上游细节效率会高很多。2. 把 Base URL 拆开看为什么多了 /v1 就 401要理解 TaoToken 为什么能帮你定位 401得先搞清楚一件事Base URL 和模型路径通常不是一个东西。LiteLLM 在转发请求时会把litellm_params里配置的api_base和路由路径拼接在一起。如果你填的 Base URL 带了/v1而 LiteLLM 自己又在后面拼了一个/chat/completions有些商家会得到正确的/v1/chat/completions有些则会得到/v1/v1/chat/completions直接 404 或 401。TaoToken 的做法是把 Base URL 固定成https://taotoken.net/api末尾不带/v1。因为你真正要访问的完整路径是https://taotoken.net/api/chat/completions这个地址由 TaoToken 帮你处理好不需要你在 Base URL 里手动加版本号。2.1 先看一个反例地址多写一段Key 再对也没用下面是 LiteLLMconfig.yaml里一段典型的错误配置看起来没什么问题但实际会报 401model_list: - model_name: gpt-4o litellm_params: model: openai/gpt-4o api_key: YOUR_API_KEY api_base: https://taotoken.net/api/v1问题就出在api_base最后多了一个/v1。LiteLLM 内部会对openai/前缀的模型做 OpenAI SDK 兼容处理而 OpenAI SDK 默认会在 Base URL 末尾拼上/chat/completions。当你的 Base URL 写成https://taotoken.net/api/v1实际请求就会被拼成https://taotoken.net/api/v1/chat/completions而不是预期的https://taotoken.net/api/chat/completions。路径不对网关直接拒绝表现就是 401。正确的写法是把/v1去掉model_list: - model_name: gpt-4o litellm_params: model: openai/gpt-4o api_key: YOUR_API_KEY api_base: https://taotoken.net/api2.2 TaoToken 的 Base URL 设计就是为了一刀切掉这个歧义TaoToken 的接口入口统一为https://taotoken.net/api末尾不需要加/v1。这样你在写 LiteLLM 配置时就不用再为这家要不要带 /v1那家要不要带 /beta而纠结。只要记住一个原则api_base只填到https://taotoken.net/api剩下的路径由 LiteLLM 和 TaoToken 协商补齐。这种设计带来的一个额外好处是排查 401 时变量变少了。假设你原来有 3 个上游各自的 Base URL 格式都不一样现在你把它们全部指向https://taotoken.net/api。如果通说明 LiteLLM 的转发逻辑没毛病如果不通那问题基本集中在 Key 或者网络出口上排查范围小得多。3. 拿 Key 和写配置把 LiteLLM 的上游换到 TaoToken接下来是实际可复制的配置步骤。无论你是要用 Router 做负载均衡还是只想把某个模型临时切到 TaoToken 验证一下整个改动都集中在config.yaml的litellm_params里。先说需要准备的东西打开 https://taotoken.net/?utm_sourcetaotoken_aicg_blog_end注册账号创建 API Key记下这把 Key 的值就是YOUR_API_KEY这个位置要填的。然后确认你想用的模型 ID以 TaoToken 模型广场 当时列表为准不要靠记忆填模型名。3.1 单模型接入最小可运行的 config.yaml先给一个最简单的情况只接一个模型用来验证链路model_list: - model_name: tao-claude litellm_params: model: anthropic/claude-sonnet-4 api_key: YOUR_API_KEY api_base: https://taotoken.net/api这里的关键点有三个model_name是 LiteLLM 暴露给你业务方的名字叫什么都行。model是对上游模型 ID 的声明这里写的anthropic/claude-sonnet-4只是为了触发 LiteLLM 的 Anthropic 兼容逻辑具体的模型 ID 要看模型广场别照抄。api_base才是真正干活的地址必须严格写成https://taotoken.net/api。配好之后先不要启动整个 Proxy用下面的命令单测一下curl -s https://taotoken.net/api/chat/completions \ -H Content-Type: application/json \ -H Authorization: Bearer YOUR_API_KEY \ -d {model:anthropic/claude-sonnet-4,messages:[{role:user,content:hello}]}如果返回正常的 JSON 内容说明 Key 和 Base URL 都没问题。这时再把config.yaml交给 LiteLLM Proxy你就有把握说404、401 不是出在 Key 上。3.2 Router 多模型接入把 5 个上游收成 1 个出口当你用 LiteLLM 的 Router 做负载均衡时原文给的模型列表通常长这样Azure 一组、OpenAI 一组、Anthropic 一组每组都有自己的api_key和api_base。要接入 TaoToken你不需要重新设计 Router 结构只需要把每个litellm_params的api_key统一替换成YOUR_API_KEY把api_base统一替换成https://taotoken.net/api。一个比较典型的配置长这样model_list: - model_name: chat-main litellm_params: model: openai/gpt-4o api_key: YOUR_API_KEY api_base: https://taotoken.net/api - model_name: chat-main litellm_params: model: anthropic/claude-sonnet-4 api_key: YOUR_API_KEY api_base: https://taotoken.net/api - model_name: chat-main litellm_params: model: bedrock/anthropic.claude-3-5-haiku api_key: YOUR_API_KEY api_base: https://taotoken.net/api三个部署共用一把 Key、一个 Base URLRouter 照常在这三个部署之间做simple-shuffle负载均衡也会正常处理超时重试和冷却机制。唯一的区别是你不再需要关心三家各自的认证差异因为你统一走同一个出口。4. 从 401 到 200按这个顺序验证 LiteLLM 配置配好之后别急着直接上生产流量我建议你按下面的顺序做三轮验证。这个顺序本身也是在帮你定位如果仍然报 401至少你能确定它发生在哪一段。4.1 第一轮直接测 TaoToken 的接口排除上游问题先把 LiteLLM 放在一边直接用 curl 打 TaoToken 的接口。这一步要确认的只有一件事你的 Key 是否有效模型 ID 是否真实存在。curl -s https://taotoken.net/api/chat/completions \ -H Content-Type: application/json \ -H Authorization: Bearer YOUR_API_KEY \ -d {model:anthropic/claude-sonnet-4,messages:[{role:user,content:ping}]}如果这条命令返回 200 和正常的回复说明 Key 没问题模型 ID 也没问题。如果这条命令返回 401那就直接去 官网控制台 检查这把 Key 是不是被禁用了或者去模型广场确认你填的模型 ID 是否真的存在。4.2 第二轮用 Python 走一遍 LiteLLM SDK验证封装逻辑curl 通了只代表 HTTP 层没问题但 LiteLLM 的 SDK 还会做一层模型映射。用下面的脚本验证import os from litellm import completion os.environ[ANTHROPIC_API_KEY] YOUR_API_KEY os.environ[ANTHROPIC_API_BASE] https://taotoken.net/api response completion( modelanthropic/claude-sonnet-4, messages[{role: user, content: ping}], ) print(response.choices[0].message.content)如果这里报 401多半是你没把ANTHROPIC_API_BASE设成功或者环境变量被旧值覆盖了。先echo $ANTHROPIC_API_BASE看看实际生效的是不是https://taotoken.net/api。4.3 第三轮启动 Proxy用虚拟 Key 走完整链路前两轮都通了之后再启动 LiteLLM Proxy用虚拟 Key 请求curl -s http://0.0.0.0:4000/chat/completions \ -H Content-Type: application/json \ -H Authorization: Bearer sk-1234 \ -d {model:chat-main,messages:[{role:user,content:ping}]}这里的sk-1234是你在 LiteLLM 的 master_key 里配置的虚拟 Key。如果这一步返回 401但前两轮都正常那问题就出在 LiteLLM 的入口认证配置上去检查config.yaml里的master_key和路由规则。5. 即使 Base URL 对了也可能遇到的三种伪装成 401 的报错很多人在配置正确之后仍会碰到怪问题这里列出三种最常被误认为 401 的情况以及它们的排查方法。5.1 403Key 有效但权限不足有时返回的不是 401而是 403。这个区别很重要401 是说你是谁403 是说你没资格做这件事。如果你在 TaoToken 控制台创建 Key 的时候没有授权某个模型分类访问就会被拒。排查方法是到 https://taotoken.net/?utm_sourcetaotoken_aicg_blog_end 的 API Key 管理页重新生成一把带完整权限的 Key 试试。5.2 404模型 ID 写错或者路径拼接错误404 经常被当成 401 处理其实是两码事。404 说明请求已经到了服务器但服务器找不到你要求的资源。常见原因有两个模型 ID 填了一个模型广场上不存在的名字或者 Base URL 错误地加了/v1。建议先登录模型广场把你配置的model字段和列表里的模型 ID 逐字比对。5.3 429不是认证问题是限流如果你的请求通过了认证但短时间内打得太快TaoToken 或者 LiteLLM 的速率限制会返回 429。别在 429 的时候去瞎改 Key先停 10 秒再发一次如果恢复正常就说明你的请求频率超过了套餐限制。对应原文里提到的enforce_model_rate_limits和 Router 的冷却机制需要做的是在 LiteLLM 侧配置重试和降级而不是改认证信息。6. 排障收尾去控制台对一下这次调用的用量和成本401 排障的最后一步不是关闭终端而是回到控制台确认这次请求有没有被正确记录。毕竟你的目标是让 LiteLLM 网关恢复正常工作顺手把成本追踪也带上。在 TaoToken 模型对话 里用同一把 Key 发一条测试消息看看模型 ID 是否匹配你配置的那个。确认无误后到 控制台 API Keys 检查这把 Key 是否出现在用量记录里如果有一点调用记录说明 LiteLLM 的上游配置已经完整打通。之后你可以在 Coding Plan 页面评估一下你的调用量和套餐余量避免测试时不小心把额度刷爆。LiteLLM 侧的成本追踪可以继续用你原来的用法TaoToken 只是把你的上游认证收敛成了统一的格式和地址不改变你现有的业务逻辑。