deer-flow 2.0部署+调用本地大模型教程（基于vllm）

deer-flow部署+调用本地大模型教程（基于vllm）

部署deer-flow执行流程

拉取最新代码

gitclone https://github.com/bytedance/deer-flow

切换到代码目录

cddeer-flow

配置环境

makeinstall

安装完成后执行：

makecheck

显示如下：

配置启动配置文件

makeconfig

执行完会在根目录生成config.yaml文件

修改配置文件

将config.yaml中models部分替换成自己部署的模型

models: - name: local-vllm display_name: Local vLLM use: langchain_openai:ChatOpenAI model: qwen3 api_key: dummy_key base_url: http://<your-vllm-host>:<port>/v1

启动服务

makestart

启动成功显示如下：

vllm部署本地大模型

以qwen3-8B 为例，显存占用44G

执行流程

安装vllm

pipinstall-Uvllm\--pre\--extra-index-url https://wheels.vllm.ai/nightly

下载qwen3-8B模型

exportHF_ENDPOINT=https://hf-mirror.com huggingface-cli download --resume-download Qwen/Qwen3-8B --local-dir qwen3

注意–local-dir名字和后面的服务启动，deer-flow配置相关！！！

启动服务

vllm serve qwen3--port8866--max_model_len16384--reasoning-parser deepseek_r1 --enable-auto-tool-choice --tool-call-parser hermes

注意–max_model_len 必须设置，否则在deer-flow调用时会报400：bad request

部署完并调用成功界面如下

如有疑问，欢迎评论区交流