MLflow
活跃简介
MLflow 是开源 AI 工程平台，为 Agent 和 LLM 应用提供调试、评估、监控和优化能力，支持模型与数据访问管理。
核心特性
- LLM可观测性 — 基于OpenTelemetry捕获Agent和LLM应用的完整调用链
- 系统评估 — 50+内置指标和LLM Judge，自动评估模型输出质量
- Prompt注册与优化 — 版本管理Prompt，支持自动优化算法改进性能
- AI网关 — 统一API网关管理多LLM提供商，支持限流、降级和A/B测试
- 实验跟踪 — 记录模型参数、指标和评估结果，跨实验对比
- 模型注册与部署 — 协作管理ML模型全生命周期，支持Docker/K8s/AWS部署
适用场景
💡 监控生产环境中LLM应用的延迟、成本和质量指标
💡 在部署前系统评估Prompt版本的效果并发现回归
💡 通过AI网关统一管理OpenAI、Anthropic等多个LLM提供商的访问
💡 跟踪ML实验迭代，对比不同模型参数和训练数据的效果
💡 将训练好的模型部署到云端或Kubernetes集群进行推理服务
优势与不足
✅ 优势
- • 活跃维护，近期持续更新
- • 社区热度高（27.5k stars）
- • 开源许可证友好（Apache-2.0）
⚠️ 不足
- • Issue 积压较多（2.0k 个 open issues）
分类
快速开始
pip install mlflow
uvx mlflow server
# 在Python代码中:
import mlflow
mlflow.set_tracking_uri("http://localhost:5000")
mlflow.openai.autolog()
from openai import OpenAI
client = OpenAI()
response = client.responses.create(
model="gpt-4o-mini",
input="Hello!",
)
print(response)