Langfuse

活跃
GitHub TypeScript NOASSERTION

简介

Langfuse 是开源 LLM 可观测性平台，支持 trace、评估、提示词版本管理与成本分析。

核心特性

  • LLM 可观测性追踪 — 追踪 LLM 调用、检索、嵌入、Agent 动作等完整链路，支持用户会话级调试
  • 提示词版本管理 — 中心化管理、版本控制和协作迭代提示词，服务端/客户端缓存零延迟切换
  • 评估管线 — 支持 LLM-as-a-Judge、代码评估、用户反馈收集和自定义评估管道
  • 数据集与基准测试 — 创建测试集和基准运行，支持持续改进和部署前回归测试
  • LLM Playground — 从追踪界面直接跳转到 Playground 调试提示词和模型配置
  • ClickHouse 驱动 — 底层使用 ClickHouse 数据库，支撑高性能大规模 trace 存储与查询

适用场景

💡 生产环境 LLM 监控 — 实时追踪线上 AI 应用的调用链、延迟、成本和错误率
💡 提示词 A/B 测试 — 管理多个提示词版本，通过评估管线对比不同版本效果
💡 模型质量评估 — 使用 LLM-as-a-Judge 对模型输出进行自动化评分
💡 合规审计与回溯 — 完整记录所有 LLM 交互，支持事后审计和问题回溯
💡 成本优化分析 — 分析各模型调用的 token 消耗和成本分布，发现优化空间

标签

observability tracing llm analytics

分类

📊 可观测性

快速开始

# Docker Compose 本地启动
git clone --depth=1 https://github.com/langfuse/langfuse.git
cd langfuse
docker compose up

# Python SDK 集成
pip install langfuse

from langfuse import Langfuse
langfuse = Langfuse()

# 开始追踪
trace = langfuse.trace(name='my-app')
span = trace.span(name='llm-call')
# ... 执行 LLM 调用 ...
span.end()
langfuse.flush()
访问 GitHub 访问官网 查看文档

相关项目

相关文章

AI Agent可观测性链路追踪

Agent 可观测性体系构建：从链路追踪到自动评估

系统讲解 Agent 可观测性的三大支柱——链路追踪、指标监控和自动评估，帮你构建生产级 Agent 监控体系。

阅读全文 →
Langfuse可观测性Tracing

Agent 可观测性落地手册：用 Langfuse 做全链路追踪

结合真实落地经验，介绍如何用 Langfuse 搭建 Agent 追踪、评估与成本分析闭环。

阅读全文 →