Jina AI Serve

不活跃
GitHub Python Apache-2.0

简介

Jina AI Serve 是一个云原生多模态 AI 应用构建框架，支持构建 RAG 管道、Agent 系统和多模态搜索应用。

核心特性

  • 多协议支持 — 通过 gRPC、HTTP 和 WebSocket 通信，灵活构建 AI 服务
  • LLM 流式输出 — 支持 token-by-token 流式响应，适合实时交互场景
  • 内置容器化 — 原生 Docker 集成和 Executor Hub，一键推送和部署
  • 弹性扩展 — 支持副本、分片和动态批处理，从本地开发平滑扩展到生产环境
  • Kubernetes 和云部署 — 导出为 Kubernetes YAML 或 Docker Compose，或一键部署到 Jina AI Cloud
  • 多模态数据处理 — 基于 DocArray 的数据处理，原生支持各种 ML 框架和数据类型

适用场景

💡 构建和部署多模态 AI 微服务
💡 搭建 RAG 管道进行语义搜索和文档问答
💡 创建支持流式输出的 LLM 推理服务
💡 将 AI 模型一键部署到云端生产环境

标签

multimodal rag cloud-native ai-framework python

分类

⚡ Agent 工具 📚 RAG 工具

快速开始

pip install jina

from jina import Executor, requests, Deployment
from docarray import DocList, BaseDoc

class Prompt(BaseDoc):
    text: str

class MyExecutor(Executor):
    @requests
    def gen(self, docs: DocList[Prompt]):
        return docs

dep = Deployment(uses=MyExecutor, port=12345)
with dep:
    dep.block()
访问 GitHub 访问官网

相关项目