LlamaFactory

活跃
GitHub Python Apache-2.0

简介

统一高效的百种大语言模型与视觉语言模型微调框架，支持 LoRA、QLoRA、RLHF 等多种训练策略，为 Agent 提供定制化模型能力。

核心特性

  • 百种模型支持 — 覆盖 LLaMA、Qwen3、DeepSeek、Gemma、GLM、Mistral、Phi 等 100+ 大语言模型
  • 全训练方式集成 — 支持预训练、SFT、RLHF、DPO、KTO、ORPO、PPO 等完整训练流程
  • 高效微调策略 — 支持 16-bit 全量微调、LoRA、QLoRA（2/3/4/5/6/8-bit）及 GaLore、BAdam、APOLLO 等高级算法
  • 多模态训练 — 支持图像理解、视觉定位、视频识别、音频理解等多模态任务微调
  • LLaMA Board 可视化界面 — 基于 Gradio 的零代码 Web UI，可视化配置训练参数并监控过程
  • vLLM/SGLang 推理部署 — 微调完成后可直接部署为 OpenAI 兼容 API 服务

适用场景

💡 研究人员对开源大模型进行领域微调，快速适配医疗、法律、金融等垂直场景
💡 企业构建私有化 LLM 服务，通过 LoRA/QLoRA 在消费级 GPU 上完成模型定制
💡 训练 Agent 专用模型，通过工具调用和多轮对话数据集微调让模型具备 Agent 能力
💡 多模态 Agent 开发，微调视觉语言模型以支持图像理解和视觉定位任务
💡 模型对比实验，利用统一框架快速评估不同训练策略和超参数对模型效果的影响

标签

python llm agent framework tools

分类

🤖 Agent 框架

快速开始

# 安装 LLaMA Factory
pip install llamafactory

# 使用 CLI 进行微调（以 LoRA 为例）
llamafactory-cli train \
  --model_name_or_path meta-llama/Llama-3-8B-Instruct \
  --dataset alpaca_en_demo \
  --finetuning_type lora \
  --output_dir output/llama3-lora

# 或启动 Web UI
llamafactory-cli webui
访问 GitHub

相关项目