vLLM成功部署大模型最完整教程，部署不成功找我！

简介vLLM是一个开源的、专为大语言模型LLM设计的高性能推理和服务引擎。它的核心目标就是让LLM的部署变得简单、快速、成本低廉。主要解决了LLM部署中的两大痛点GPU资源消耗巨大和推理速度慢。查看GPU状态nvidia-smi去掉终端长前缀PS1\u${HOSTNAME%%-*}:\W# 创建虚拟Python环境conda create -n vllmenv python3.12 -y进入虚拟环境conda activate vllmenv安装vLLMpip install vllm安装依赖pip install modelscope conda install -c nvidia cuda-toolkit conda install -c conda-forge libstdcxx-ng14.2.0 -y设置环境变量指向真实的 CUDA 库export LIBRARY_PATH/usr/lib/x86_64-linux-gnu:$LIBRARY_PATH export LD_LIBRARY_PATH/usr/lib/x86_64-linux-gnu:$LD_LIBRARY_PATH export LD_LIBRARY_PATH/root/miniconda3/envs/vllmenv/lib:/usr/lib/x86_64-linux-gnu:$LD_LIBRARY_PATHvLLM 模型下载 部署清理 flashinfer 缓存 rm -rf /root/.cache/flashinfer 模型千问3-0.6B 地址https://www.modelscope.cn/models/Qwen/Qwen3-0.6B 下载modelscope download --model Qwen/Qwen3-0.6B 前台部署VLLM_USE_MODELSCOPEtrue vllm serve /root/.cache/modelscope/models/Qwen--Qwen3-0.6B/snapshots/master --served-model-name qwen3-0.6b 后台部署nohup bash -c VLLM_USE_MODELSCOPEtrue vllm serve /root/.cache/modelscope/models/Qwen--Qwen3-0.6B/snapshots/master --served-model-name qwen3-0.6b --port 8000 vllm_qwen3_0.6b.log 21 # 查看进程 ps aux | grep -i vllm # 查看实时日志 tail -f vllm_qwen.log简单对话测试model参数对应部署时的--served-model-namecurl http://localhost:8000/v1/chat/completions \ -H Content-Type: application/json \ -d { model: qwen3-0.6b, messages: [ {role: user, content: 你好请介绍一下你自己} ], temperature: 0.6, max_tokens: 500 }测试结果注意如果在部署过程中遇到报错直接复制发给DeepSeek问不要问豆包