• 可以,但這個輪轉要在 LiteLLM Router 設定,不是沉浸式翻譯內設定。做法是讓沉浸式翻譯永遠呼叫一個固定 alias,例如 translate; LiteLLM 遇到 429/額度不足時,自動切到備用模型。
config.yaml 範例:
router_settings: num_retries: 0 # 不在同一供應商反覆重試 fallbacks: - translate: [translate-backup]
model_list: - model_name: translate litellm_params: model: groq/llama-3.3-70b-versatile api_key: os.environ/GROQ_API_KEY rpm: 10 # 依你的 Groq 額度調低
- model_name: translate-backup
litellm_params:
model: xai/grok-4.5
api_key: os.environ/XAI_API_KEY
rpm: 5
然後:
- 沉浸式翻譯的「自訂模型」只填 translate
- LiteLLM Virtual Key 要有 translate 及 translate-backup 的使用權限
- 修改後重啟 LiteLLM
當 Groq 回傳 429(請求過頻)或其他錯誤時,LiteLLM 會按順序改用 translate-backup。LiteLLM 的一般 fallbacks 包含 rate-limit 類錯誤。 LiteLLM Fallback 文件 (https://docs.litellm.ai/docs/proxy/reliability)
不過你目前 xAI Team 沒有 credits,Grok 仍不能作備用;要先儲值,或改用另一個已可用的 API 供應商。
另外在沉浸式翻譯的 OpenAI「更多設定」,把每秒最大請求數調低至 1–2。網頁翻譯會並行送多段內容,這是最直接減少 429 的方法。