Unsloth

活跃
GitHub Python Apache-2.0

简介

Unsloth Studio 是一个用于本地训练和运行开源大模型的 Web UI 工具,支持 Gemma 4、Qwen3.6、DeepSeek 等模型,为 Agent 开发者提供模型微调和部署能力。

核心特性

  • 高效微调引擎 — 自定义 Triton 内核加速训练,速度提升 2x,显存降低 70%,无精度损失
  • 多模态训练支持 — 支持文本、视觉、语音(TTS)、Embedding 模型的微调
  • 强化学习(RL) — 支持 GRPO、FP8 等 RL 方法,显存占用降低 80%
  • Unsloth Studio Web UI — 图形化界面搜索、下载、运行和导出 GGUF/safetensors 模型
  • Data Recipes — 从 PDF、CSV、DOCX 等文件自动创建训练数据集,可视化节点编辑
  • 广泛模型兼容 — 支持 500+ 模型,与 Qwen3、Llama 4、Gemma、gpt-oss 等团队直接合作修复 bug

适用场景

💡 本地微调开源大模型用于特定领域任务,如客服、代码生成、文档理解
💡 通过强化学习对齐模型行为,提升 Agent 的工具调用和推理能力
💡 构建本地 LLM 推理服务,通过 API 端点集成到 Claude Code 或 Codex 工具链
💡 从业务文档自动生成训练数据,快速构建领域专用模型

优势与不足

优势

  • 活跃维护,近期持续更新
  • 社区热度高(72.6k stars)
  • 开源许可证友好(Apache-2.0)
  • 项目有一定历史沉淀(已维护 2 年)

快速开始

# macOS / Linux 安装 Unsloth Studio
curl -fsSL https://unsloth.ai/install.sh | sh

# 启动 Web UI(默认端口 8888)
unsloth studio -p 8888

# 或使用 Python 核心版本
pip install unsloth --torch-backend=auto

相关项目

Tongyi DeepResearch

19.8k · Python
不活跃 B

阿里巴巴通义实验室开源的深度研究 Agent,采用多阶段迭代式信息检索和推理架构,能够对复杂问题进行深度分析、综合和总结,支持网页搜索和文档分析。

pythonagentllm +3
  • · 30.5B 总参数的智能体 LLM,每 token 仅激活 3.3B 参数(MoE 架构)
  • · 全自动合成数据生成流水线,支持智能体预训练、SFT 和强化学习
  • · 基于多样化智能体交互数据的大规模持续预训练

mistral.rs

7.6k · Rust
活跃 A

基于Rust构建的快速灵活LLM推理引擎,支持多种模型架构和量化方案,提供高性能的本地LLM部署能力。

rustllmtools +1
  • · 零配置模型加载 — 从任意 Hugging Face 模型自动检测架构、量化格式和聊天模板
  • · 真正的多模态 — 一个引擎支持文本、视觉、视频、音频输入、语音生成、图像生成和嵌入
  • · 智能量化 — UQFF 预构建量化和 ISQ,每个级别自动选择最佳格式

Vision Agents

8.1k · Python
活跃 A+

Stream 开源的视觉与语音智能体框架,支持任意模型和视频提供商,利用边缘网络实现超低延迟的实时多模态 AI 交互。

voiceagentpython +3
  • · 实时视频 AI,集成 YOLO、Roboflow 并结合 Gemini/OpenAI 进行实时视觉理解
  • · 通过 Stream 边缘网络实现 30ms 以下超低延迟音视频传输,500ms 内加入
  • · 原生 SDK 方法来自 OpenAI、Gemini 和 Claude,始终使用最新 LLM 能力

MiroThinker

8.4k · Python
正常 A

专为复杂研究和预测任务优化的深度研究 Agent 框架,其 MiroThinker-1.7 和 MiroThinker-H1 模型在 BrowseComp 基准上分别达到 74.0 和 88.2 分,支持多步骤推理和信息检索。

pythonagentllm +3
  • · 专为复杂研究和预测任务优化的深度研究 Agent 框架
  • · MiroThinker-1.7 模型在 BrowseComp 基准达到 74.0 分,H1 模型达到 88.2 分
  • · 支持 256K 上下文窗口和每次任务最多 300 次工具调用

相关文章