Weave

活跃
GitHub Python Apache-2.0

简介

Weights & Biases 推出的 AI 应用开发工具包，提供 LLM 调用追踪、评估实验管理和版本化能力，助力 AI 应用从原型到生产的全流程管理。

核心特性

  • LLM 调用追踪：使用 @weave.op 装饰器自动追踪函数的输入输出，生成完整的调用链路
  • 评估实验管理：构建严格的、可对比的 LLM 用例评估流程，支持系统化实验
  • 工作流信息整合：统一管理从实验到评估再到生产过程中产生的所有信息
  • 多模型兼容：支持 OpenAI、Anthropic、Google AI Studio、Hugging Face 等主流 LLM 提供商的调用追踪
  • 版本化与可复现：为 LLM 应用提供版本管理能力，确保实验和评估结果可复现
  • W&B 平台集成：与 Weights & Biases 平台深度集成，利用其成熟的实验追踪和可视化基础设施

适用场景

💡 LLM 应用调试：追踪模型调用链路，定位性能瓶颈和异常输出
💡 模型评估对比：系统化地评估不同 LLM 在特定任务上的表现差异
💡 AI 产品生产监控：在生产环境中持续监控 LLM 调用质量和成本
💡 团队协作开发：在团队间共享 LLM 实验结果和评估指标，统一开发流程

标签

observability evaluation llm python framework

分类

📊 可观测性

快速开始

1. 安装：pip install weave
2. 初始化：import weave; weave.init("my-project")
3. 追踪函数：使用 @weave.op 装饰器标记需要追踪的函数
4. 运行代码后在 W&B 平台查看追踪结果
访问 GitHub 访问官网

相关项目

相关文章

Agent 评估LLM 评测自动化测试

Agent 评估与测试体系：从单轮评分到端到端流水线

大多数团队靠"看起来对了"来判断 Agent 质量。真正的评估需要三层指标、不腐烂的数据集、以及不会什么都同意的评判器。本文给出可运行的代码和可落地的决策框架。

阅读全文 →
可观测性OpenTelemetryLLMOps

Agent 可观测性深度实战：从 OpenTelemetry 到生产 trace 体系

把多步 Agent 推理装进 OpenTelemetry 语义规范：从 OpenLLMetry 入手，建立层级化 Span 关联模型、token 成本归因、检索质量指标和分层告警体系，让 Agent 从黑盒变成可信赖的基础设施。

阅读全文 →