如何在AMD MI350/MI355上部署DeepSeek-R1-0528-MXFP4-v2？完整教程在此

如何在AMD MI350/MI355上部署DeepSeek-R1-0528-MXFP4-v2？完整教程在此

【免费下载链接】DeepSeek-R1-0528-MXFP4-v2项目地址: https://ai.gitcode.com/hf_mirrors/amd/DeepSeek-R1-0528-MXFP4-v2

DeepSeek-R1-0528-MXFP4-v2是一款针对AMD MI350/MI355硬件优化的文本生成模型，采用MXFP4量化技术实现高效推理。本教程将详细介绍在AMD MI350/MI355上部署该模型的完整步骤，帮助你快速搭建高性能AI推理服务。

📋 系统要求与依赖准备

在开始部署前，请确保你的系统满足以下要求：

• 硬件要求：AMD MI350/MI355 GPU
• 操作系统：Linux
• 软件依赖：
  • ROCm 7.0
  • PyTorch 2.8.0
  • Transformers 4.53.0
  • 推理引擎：SGLang或vLLM
  • 模型优化工具：AMD-Quark V0.10

🔧 环境配置步骤

1. 安装ROCm环境

首先需要安装ROCm 7.0驱动和运行时环境，具体安装步骤请参考AMD官方文档。

2. 创建Python虚拟环境

python -m venv deepseek_env source deepseek_env/bin/activate

3. 安装依赖包

pip install torch==2.8.0 transformers==4.53.0 sglang vllm

📥 模型获取

克隆模型仓库

git clone https://gitcode.com/hf_mirrors/amd/DeepSeek-R1-0528-MXFP4-v2 cd DeepSeek-R1-0528-MXFP4-v2

🚀 模型部署

DeepSeek-R1-0528-MXFP4-v2支持SGLang和vLLM两种推理引擎，以下是使用SGLang部署的步骤：

使用SGLang启动服务

创建启动脚本start_server.sh，内容如下：

#!/bin/bash MODEL=/path/to/DeepSeek-R1-0528-MXFP4-v2 LOG="sglang-serving.log" SGLANG_AITER_MLA_PERSIST=1 \ python3 -m sglang.launch_server \ --model-path $MODEL \ --tensor-parallel-size 8 \ --trust-remote-code \ --chunked-prefill-size 131072 \ --host 0.0.0.0 \ --port 8321 \ --disable-radix-cache \ --mem-fraction-static 0.8 \ --max-running-requests 64 \ --attention-backend aiter 2>&1 | tee $LOG

运行启动脚本

chmod +x start_server.sh ./start_server.sh

✅ 模型验证

服务启动后，可以通过以下方式验证模型是否正常工作：

使用lm-evaluation-harness进行评估

AIME24评估

lm_eval --model local-completions \ --model_args model=/path/to/DeepSeek-R1-0528-MXFP4-v2,base_url=http://0.0.0.0:8321/v1/completions,num_concurrent=999999,timeout=999999,tokenized_requests=False,max_length=32000,temperature=0.6,top_p=0.95 \ --tasks aime24 \ --num_fewshot 0 \ --gen_kwargs "do_sample=True,temperature=0.6,top_p=0.95,max_tokens=32000" \ --batch_size auto 2>&1 | tee aime24.log

GSM8K评估

lm_eval --model local-completions \ --model_args model=/path/to/DeepSeek-R1-0528-MXFP4-v2,base_url=http://0.0.0.0:8321/v1/completions,num_concurrent=256,max_retries=10,max_gen_toks=2048,tokenized_requests=False \ --tasks gsm8k \ --num_fewshot 5 \ --batch_size auto 2>&1 | tee gsm8k.log

📊 模型性能

根据官方测试，DeepSeek-R1-0528-MXFP4-v2在AMD MI350/MI355上表现出优异的性能：

📄 许可证信息

Modifications Copyright(c) 2025 Advanced Micro Devices, Inc. All rights reserved.

【免费下载链接】DeepSeek-R1-0528-MXFP4-v2项目地址: https://ai.gitcode.com/hf_mirrors/amd/DeepSeek-R1-0528-MXFP4-v2