Windows用户也能玩本地AIclub-3090在WSL2上部署RTX 3090大模型全教程【免费下载链接】club-3090Community recipes for serving LLMs on RTX 3090/4090/5090 CUDA gpus. Multi-engine (vLLM, llama.cpp, ik_llama) and model-agnostic. Currently shipping Qwen3.6-27B Qwen3.6 35B Gemma 4 26B Gemma 4 31B configs for 1× and 2× cards.项目地址: https://gitcode.com/gh_mirrors/cl/club-3090 想在 Windows 上免费运行本地大模型开源项目club-3090提供了一套开箱即用的本地 AI 部署方案针对 RTX 3090/4090/5090 显卡的 LLM 推理配方支持 vLLM、llama.cpp、ik_llama 等多引擎一条命令即可把 Qwen3.6-27B、Gemma 4 等大模型跑起来并输出 OpenAI 兼容 API。Windows 用户只需通过WSL2即可完整使用——本文将带你从零走完 club-3090 在 WSL2 上部署 RTX 3090 大模型的全部步骤。为什么 Windows 用户要走 WSL2club-3090 的脚本、Docker Compose 和工具链全部基于 bash Docker Linux 路径原生 Windows 无法直接运行。而 WSL2 可以推理引擎原生 WindowsWSL2vLLM❌ 仅支持 Linux CUDA✅ 完整支持llama.cpp / ik_llama⚠️ 只能手动跑引擎无配套工具✅ 与 Linux 一致的完整配方好消息是WSL2 通过 GPU 直通直接调用 Windows 侧的 NVIDIA 驱动不需要在 WSL 里装第二份驱动。全程一次性配置之后就是普通的下载模型 → 一键启动。 完整官方指南见 docs/WSL_SETUP.md本文是该指南的通俗版导读。第 1 步安装 WSL2 Ubuntu打开管理员 PowerShell执行wsl --install -d Ubuntu-22.04 wsl --set-default-version 2按提示重启后用wsl -l -v确认 VERSION 列显示2而不是 1。此后除特别说明外所有操作都在 UbuntuWSL终端里进行。第 2 步安装 NVIDIA 驱动验证 GPU 直通在Windows 侧安装 NVIDIA 显卡驱动建议 580.x 以上满足 vLLM 的 CUDA 13 运行时。⚠️千万不要在 WSL 内部再装驱动——WSL 自动继承 Windows 驱动装第二份反而会破坏直通。在 WSL 终端验证nvidia-smi # 能列出你的 3090 即成功第 3 步给 WSL2 分配足够内存最常见的坑 ⚠️WSL2 默认只使用宿主机 50% 的内存而模型加载时需要把整个权重文件读进内存。内存不足时vLLM 会报一个GPU OOM的误导性错误实际是主机内存饥饿。在 Windows 侧创建C:\Users\你的用户名\.wslconfig[wsl2] memory24GB swap8GB然后在 PowerShell 执行wsl --shutdown重启虚拟机回到 WSL 用free -h确认 total 约为 24Gi。第 4 步安装 Docker NVIDIA Container Toolkit二选一Docker Desktop开启 WSL2 后端并在 Settings → Resources 中启用 GPU或在 Ubuntu 内安装docker-cenvidia-container-toolkit。验证 GPU 能进入容器docker run --rm --gpus all nvidia/cuda:12.4.0-base-ubuntu22.04 nvidia-smi第 5 步克隆仓库两个 WSL 专属注意事项 ⚠️git config --global core.autocrlf input # 克隆前执行防止 CRLF 换行符 cd ~ # 一定要克隆到 WSL 主目录 git clone https://gitcode.com/gh_mirrors/cl/club-3090.git cd club-3090两个关键点不要克隆到/mnt/cWindows 磁盘经由 DrvFs 挂载小文件 I/O 慢 10–50 倍且会丢失 Unix 执行权限导致脚本神秘地报permission denied。保持 LF 换行若用 Windows 编辑器改过脚本CRLF 换行会让 bash 报bad interpreter: /usr/bin/env bash^M可用dos2unix或 VS Code 右下角切换为 LF 修复。第 6 步下载模型权重并启动 先安装hfCLIsetup.sh缺失时会提示一键安装直接回答 Y 即可sudo apt install -y pipx pipx install huggingface-hub[hf_transfer] pipx ensurepath # 重启终端生效然后按下载 → 启动 → 验证三步走bash scripts/setup.sh qwen3.6-27b # 下载并 SHA 校验权重 bash scripts/launch.sh # 自动识别单卡/双卡启动并自检 bash scripts/switch.sh --list # 查看本机可运行的全部配置启动成功后对http://localhost:8020/v1/chat/completions发一条测试请求看到 Paris问它法国首都是哪就说明部署完成。 磁盘紧张时可用bash scripts/settings.sh set MODEL_DIR/mnt/d/models把权重大文件放到 Windows 盘仓库本身必须留在 ext4。第 7 步绕开 WSL2 特有的三个暗坑WSL2 的 GPU 虚拟化会隐性占用约 1.3 GiB 显存nvidia-smi空闲时不显示24 GB 卡实际可用约 22.7 GB。官方已给出针对性修复要点如下显存预算单卡 vLLM 若默认显存利用率高于 0.94启动时加GPU_MEMORY_UTILIZATION0.94llama.cpp 路线则降低上下文如CTX_SIZE131072。TDR 超时Windows 会在 GPU 内核态运行 2 秒后强制重置长上下文提示会触发device not ready。通过注册表把TdrDelay调至 60 秒并重启即可。expandable_segments启动崩溃部分驱动下 vLLM 启动报device not ready设PYTORCH_CUDA_ALLOC_CONFexpandable_segments:False——setup.sh检测到 WSL2 时会自动帮你保存该设置。完整的显存对照表和合并后的 WSL2 推荐配置在 docs/FAQ.md 的 Windows/WSL2 章节与 docs/HARDWARE.md。部署完成后能跑到什么性能单张 RTX 3090230W 风冷上club-3090 实测 Qwen3.6-27B 叙事类生成约50 TPS代码生成约66–67 TPS日常聊天、写代码、Agent 场景流畅无压力如果你还关心功耗与静音可以把 3090 的功耗限制降到290W效率达到 0.111 TPS/W 的峰值SM 频率降至 78% 的出厂 TDP温度噪音都更友好——完整扫描曲线见下图脚本在 scripts/power-cap-sweep.sh下一步继续探索 club-3090你想做的事去哪儿新手了解本地 AI 术语TPS、KV、量化docs/LOCAL_AI_PRIMER.md挑选单卡/双卡最佳配置docs/SINGLE_CARD.md · docs/DUAL_CARD.md各引擎原理与选型docs/INFERENCE_ENGINES.md模型配置目录Qwen3.6、Gemma 4 等models/排障与报告工具docs/TROUBLESHOOTING.md · scripts/report.sh终端驾驶舱 GUIc3tools/serve-cockpit/启动、切换、验证都由 scripts/ 下的脚本统一管理setup.sh负责下载权重launch.sh一键启动switch.sh在不同配置间无缝切换verify.sh/bench.sh负责质量检查与跑分。Windows 用户只需按本文完成一次性环境准备之后的使用体验与原生 Linux 完全一致。【免费下载链接】club-3090Community recipes for serving LLMs on RTX 3090/4090/5090 CUDA gpus. Multi-engine (vLLM, llama.cpp, ik_llama) and model-agnostic. Currently shipping Qwen3.6-27B Qwen3.6 35B Gemma 4 26B Gemma 4 31B configs for 1× and 2× cards.项目地址: https://gitcode.com/gh_mirrors/cl/club-3090创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考