MLflow

活跃
GitHub Python Apache-2.0

简介

MLflow 是开源 AI 工程平台，为 Agent 和 LLM 应用提供调试、评估、监控和优化能力，支持模型与数据访问管理。

核心特性

  • LLM可观测性 — 基于OpenTelemetry捕获Agent和LLM应用的完整调用链
  • 系统评估 — 50+内置指标和LLM Judge，自动评估模型输出质量
  • Prompt注册与优化 — 版本管理Prompt，支持自动优化算法改进性能
  • AI网关 — 统一API网关管理多LLM提供商，支持限流、降级和A/B测试
  • 实验跟踪 — 记录模型参数、指标和评估结果，跨实验对比
  • 模型注册与部署 — 协作管理ML模型全生命周期，支持Docker/K8s/AWS部署

适用场景

💡 监控生产环境中LLM应用的延迟、成本和质量指标
💡 在部署前系统评估Prompt版本的效果并发现回归
💡 通过AI网关统一管理OpenAI、Anthropic等多个LLM提供商的访问
💡 跟踪ML实验迭代，对比不同模型参数和训练数据的效果
💡 将训练好的模型部署到云端或Kubernetes集群进行推理服务

标签

mlflow llmops evaluation observability python

分类

📊 可观测性

快速开始

pip install mlflow
uvx mlflow server

# 在Python代码中:
import mlflow
mlflow.set_tracking_uri("http://localhost:5000")
mlflow.openai.autolog()

from openai import OpenAI
client = OpenAI()
response = client.responses.create(
    model="gpt-4o-mini",
    input="Hello!",
)
print(response)
访问 GitHub 访问官网

相关项目