LiteLLM

以统一接口连接多种模型服务。

简介

以统一接口连接多种模型服务。提供 Python SDK 与代理服务,适合给应用提供模型网关。

适用场景

  • 给应用提供模型网关
  • 管理模型路由与调用预算

特点

  • 提供 Python SDK 与代理服务
  • 可配置重试和模型回退