Langfuse
活跃简介
开源 LLM 可观测性平台，提供追踪、评估、提示管理和数据集管理功能，支持 LangChain、OpenAI、Anthropic 等主流框架的集成。
核心特性
- LLM 可观测性追踪 — 追踪 LLM 调用、检索、嵌入、Agent 动作等完整链路，支持用户会话级调试
- 提示词版本管理 — 中心化管理、版本控制和协作迭代提示词，服务端/客户端缓存零延迟切换
- 评估管线 — 支持 LLM-as-a-Judge、代码评估、用户反馈收集和自定义评估管道
- 数据集与基准测试 — 创建测试集和基准运行，支持持续改进和部署前回归测试
- LLM Playground — 从追踪界面直接跳转到 Playground 调试提示词和模型配置
- ClickHouse 驱动 — 底层使用 ClickHouse 数据库，支撑高性能大规模 trace 存储与查询
适用场景
💡 生产环境 LLM 监控 — 实时追踪线上 AI 应用的调用链、延迟、成本和错误率
💡 提示词 A/B 测试 — 管理多个提示词版本，通过评估管线对比不同版本效果
💡 模型质量评估 — 使用 LLM-as-a-Judge 对模型输出进行自动化评分
💡 合规审计与回溯 — 完整记录所有 LLM 交互，支持事后审计和问题回溯
💡 成本优化分析 — 分析各模型调用的 token 消耗和成本分布，发现优化空间
优势与不足
✅ 优势
- • 活跃维护，近期持续更新
- • 社区热度高（34.4k stars）
- • 项目有一定历史沉淀（已维护 3 年）
⚠️ 不足
- • 缺少明确的开源许可证
分类
快速开始
# Docker Compose 本地启动
git clone --depth=1 https://github.com/langfuse/langfuse.git
cd langfuse
docker compose up
# Python SDK 集成
pip install langfuse
from langfuse import Langfuse
langfuse = Langfuse()
# 开始追踪
trace = langfuse.trace(name='my-app')
span = trace.span(name='llm-call')
# ... 执行 LLM 调用 ...
span.end()
langfuse.flush()