Dify安装与Ollama模型接入

Dify是什么

Dify是一个开源的LLM应用开发平台，帮助开发者快速构建和运营生成式AI应用。

它介于“直接使用大模型”和“从零开发AI应用”之间——你不需要写大量代码，但又能获得比简单Prompt工程更强大的能力。

Dify的下载与安装

第一步：下载Docker。Docker快速入门——Windowns系统下Docker安装（理解与完整，附带WSL1如何升级为WSL2）_升级wsl2-CSDN博客

Dify的官方推荐部署方式是基于容器化。

Dify不是单一可执行文件，而且是一个微服务架构应用，包含多个独立进程：API服务、Web前端、Worker、数据库、缓存/消息队列、向量数据库

验证docker

Win+R 输入cmd 执行下面命令

docker --version

如果正常输出版本号即安装成功，开始第二步（类似下图）

第二步：克隆Dify仓库

输入以下命令

git clone https://github.com/langgenius/dify.git

如果无法 clone,可以直接download原始的zip文件（解压缩）：

地址 ： https://github.com/langgenius/dify.git

访问GitHub地址仓库页面->点击“Code”->选择“Download ZIP”

“实在是下载不了，文章最上方我已经放好资源包，大家点击下载即可”

第三步：

• 进入到dify文件夹下docker文件夹，将.env.example文件名改为.env
• (切换到dify/docker文件夹下去操作，可以使用rename .env.example.env)
• 也可以输入下面命令：

cd dify/docker cp .env.example.env

第四步：启动Dify

• 在dify文件下进入终端，然后去操作下面的命令
• 输入下面的命令：

docker compose up -d

第五步：访问应用

地址：http://localhost/signin 第一次需要（除第一次后面只要登录）设置好邮箱、用户名、密码就可以登录了

点击设置->进入开发界面

Dify接入大模型

本地Ollama与API应用

第一步：安装Ollama

Ollama一个用于在本地或云端构建、运行和管理大型语言模型（LLM）的开源工具

下载地址：Download Ollama on macOS

第二步：下载模型

“模型后面的数字越大（8B，12B），对于硬件要求越高”

选择一个模型，随便发送一条消息即可开始下载。

第三步：应用模型

模型下载完毕之后，即可在对话框输入消息开始对话（还可以联网操作）

附ollama常用命令

命令	用途	示例
ollama run	运行模型。若本地无此模型，会自动下载	ollama run llama3.2
ollama pull	仅下载模型到本地，不立刻运行	ollama pull mistral
ollama list/ollama ls	列出所有已下载到本地的模型	ollama list
ollama ps	查看当前正在后台运行的模型列表	ollama ps
ollama stop	停止一个正在后台运行的模型，以释放资源	ollama stop llama3.2
ollama rm	删除一个本地模型，以释放磁盘空间	ollama rm llava
ollama show	查看模型的详细信息，如参数、许可证等	ollama show llama
ollama serve	启动Ollama的后台服务进程	ollama serve
ollama help	查看所有可用命令的帮助信息	ollama help

第四步：接入模型

点击设置->在安装模型提供商中找到Ollama提供商下载

安装好会出现在模型列表中

点击右下角添加模型

输入前面下载好的准确的模型名称

项目类型有三种可选：

• LLM：基于 Transformer 解码器的自回归生成模型，通过最大化上下文条件概率进行预训练，承担语义理解与文本生成任务。

• Text Embedding：基于双编码器架构的稠密向量化模型，经对比学习训练，将文本映射为固定维度向量以支撑海量语义检索。

• Rerank：基于交叉编码器架构的相关性精排模型，对查询与候选文档进行全交互注意力计算，输出精细相关性分数以优化排序质量。
  （三者级联构成 RAG 的“召回–重排–生成”流水线：Embedding 粗筛，Rerank 精排，LLM 终答。）

不知道选什么就选LLM

注意：基础URL

docker(同一机器)部署dify：hhtp://host.docker.internal:11434

docker(不同机器)部署dify：http://192.168.x.x(自己IP):11434