OpenLIT
活跃简介
OpenLIT 是开源 AI 工程平台，基于 OpenTelemetry 提供 LLM 可观测性、GPU 监控、防护栏、评估、提示词管理与沙盒，集成 50+ LLM 提供商和 Agent 框架。
核心特性
- 基于 OpenTelemetry 原生的 LLM 可观测性，全面监控 LLM、向量数据库和 GPU
- 11 种内置评估类型，包括幻觉、偏见、毒性和安全检测
- 规则引擎支持 AND/OR 条件逻辑，匹配运行时追踪属性
- 通过 Prompt Hub 进行提示词管理与版本控制，安全保管 API 密钥
- 分析仪表盘提供成本追踪、异常监控和性能指标
- 一行代码即可自动对接 50+ LLM 提供商、AI 框架和向量数据库
适用场景
💡 使用 OpenTelemetry 追踪和指标监控生产环境中的 LLM 应用
💡 AI 产品的自动化评估与安全防护栏
💡 通过详细的 Token 使用追踪和预算管理优化成本
💡 企业团队的集中式提示词管理与 API 密钥安全
分类
快速开始
运行 'docker compose up -d' 部署 OpenLIT，然后执行 'pip install openlit' 安装 SDK。在 Python 代码中添加两行：import openlit 和 openlit.init()。访问 127.0.0.1:3000 查看仪表盘，可视化并优化 AI 应用性能。