any-llm

活跃
GitHub Python Apache-2.0

简介

Mozilla 提供的统一 LLM 接口，访问多家 Provider 而无需切换 SDK。

核心特性

  • 统一 API — 一次写代码，跨多家 Provider 跑
  • 完整覆盖 — OpenAI、Anthropic、Mistral、Ollama、vLLM 等
  • 可观测 — 调用 trace 与 token 统计
  • 流式支持 — 统一 streaming 接口
  • 本地优先 — 默认支持本地 LLM
  • 开源 — Mozilla 官方维护

适用场景

💡 为 Agent 框架接入多家 LLM Provider。
💡 在 CI 中跨 Provider 跑回归测试。
💡 在本地与云端 LLM 间无缝切换。

标签

llm unified-api provider agent-tools

分类

⚡ Agent 工具

快速开始

# 安装
pip install any-llm
# 统一调用
from any_llm import completion
resp = completion(
    model='openai/gpt-4o',
    messages=[{'role':'user','content':'hi'}],
)
print(resp.choices[0].message.content)
访问 GitHub

相关项目