DeepSpeed

活跃
GitHub Python Apache-2.0

简介

Microsoft 开源的深度学习分布式训练优化库，提供 ZeRO 内存优化、3D 并行、混合精度训练等核心能力，支持千亿参数模型的高效训练与推理加速。

核心特性

  • ZeRO 优化器 — 将优化器状态、梯度和参数分片到多 GPU，显著降低内存占用
  • 3D 并行 — 支持张量并行、流水线并行和数据并行同时使用
  • 超长序列训练 — 通过 Ulysses Sequence Parallelism 训练超长上下文序列
  • 混合专家(MoE) — 内置 DeepSpeed-MoE，支持万亿参数模型训练
  • 推理加速 — DeepSpeed Inference 优化 Transformer 模型推理性能
  • 多硬件支持 — 兼容 NVIDIA、AMD、Intel GPU 及 CPU 训练

适用场景

💡 大规模 LLM 预训练 — 使用 ZeRO-3/ZeRO-Infinity 在数千 GPU 上训练千亿参数模型
💡 指令微调与 RLHF — 基于 DeepSpeed-Chat 进行低资源高效 RLHF 训练
💡 科学计算加速 — 通过 DeepSpeed4Science 方案优化分子动力学、天气预报等科学模拟
💡 多模态大模型训练 — 利用 DeepSpeed-VisualChat 训练视觉语言模型

标签

distributed-training optimizer deepspeed llm gpu python

分类

🤖 Agent 框架

快速开始

# 安装 DeepSpeed
pip install deepspeed

# 验证安装
ds_report

# 使用 DeepSpeed 运行训练脚本
deepspeed --num_gpus=4 train_script.py

# 或通过 PyTorch Lightning 集成使用
pip install pytorch-lightning
访问 GitHub 访问官网 查看文档

相关项目