LiteLLM

Helicone 是面向大模型应用的开源代理与监控平台，提供请求追踪、缓存与成本分析能力。

自托管的开源 AI 网关，统一 20+ LLM 提供商、数据库和文件访问，集成 RAG、语音和安全护栏功能，提供单一 API 接口。

vLLM 是一个高吞吐量、低内存占用的 LLM 推理与服务引擎，支持连续批处理、PagedAttention 等优化技术，广泛用于生产环境中的大模型部署。

数据工程工作流的 AI Agent 工具集，为数据处理管道提供智能化的 Agent 辅助能力。