Ollama简介Ollama 是一个开源的大型语言模型LLM平台旨在让用户能够轻松地在本地运行、管理和与大型语言模型进行交互。Ollama 提供了一个简单的方式来加载和使用各种预训练的语言模型支持文本生成、翻译、代码编写、问答等多种自然语言处理任务。Ollama 的特点在于它不仅仅提供了现成的模型和工具集还提供了方便的界面和 API使得从文本生成、对话系统到语义分析等任务都能快速实现。与其他 NLP 框架不同Ollama 旨在简化用户的工作流程使得机器学习不再是只有深度技术背景的开发者才能触及的领域。Ollama 支持多种硬件加速选项包括纯 CPU 推理和各类底层计算架构如 Apple Silicon能够更好地利用不同类型的硬件资源。官方网站https://ollama.com/downloadOllama安装Windows 系统安装访问官网下载安装包打开浏览器访问 Ollama 官方网站https://ollama.com/download下载适用于 Windows 的安装程序。下载地址为https://ollama.com/download/OllamaSetup.exe。下载完成后双击安装程序并按照提示完成安装。更改安装路径可选如果需要将 Ollama 安装到非默认路径可以在安装时通过命令行指定路径例如OllamaSetup.exe /DIRd:\some\location这样可以将 Ollama 安装到指定的目录。验证安装打开命令提示符或 PowerShell输入以下命令验证安装是否成功ollama --version如果显示版本号则说明安装成功。macOS 系统安装访问官网下载安装包打开浏览器访问 Ollama 官方网站https://ollama.com/download下载适用于 macOS 的安装程序。下载地址为https://ollama.com/download/Ollama-darwin.zip。下载完成后双击安装包并按照提示完成安装。安装完成后通过以下命令验证ollama --version如果显示版本号则说明安装成功。Linux 系统安装Linux 下可以使用一键安装脚本我们打开终端运行以下命令curl -fsSL https://ollama.com/install.sh | bash安装完成后通过以下命令验证ollama --version如果显示版本号则说明安装成功。Docker 安装如果你熟悉 Docker也可以通过 Docker 安装 Ollama。官方 Docker 镜像 ollama/ollama 可在 Docker Hub 上获取https://hub.docker.com/r/ollama/ollama。拉取 Docker 镜像docker pull ollama/ollama运行容器docker run -p 11434:11434 ollama/ollama访问 http://localhost:11434 即可使用 Ollama。Ollama 运行模型命令行运行Ollama 运行模型使用 ollama run 命令。ollama run deepseek-r1:671bOllama 支持的模型可以访问https://ollama.com/librarypython SDK运行安装 Python SDK首先需要安装 Ollama 的 Python SDK打开终端执行以下命令pip install ollama编写 Python 脚本接下来你可以使用 Python 代码来加载和与模型交互。以下是一个简单的 Python 脚本示例演示如何使用 LLama3.2 模型来生成文本实例import ollamaresponse ollama.generate(model“llama3.2”, # 模型名称prompt“你是谁。” # 提示文本)print(response)运行 Python 脚本在终端中运行你的 Python 脚本python test.py你会看到模型根据你的输入返回的回答。对话模式实例from ollama import chat response chat( modelllama3.2, messages[ {role: user, content: 为什么天空是蓝色的} ] ) print(response.message.content)此代码会与模型进行对话并打印模型的回复。流式响应实例from ollama import chat stream chat( modelllama3.2, messages[{role: user, content: 为什么天空是蓝色的}], streamTrue ) for chunk in stream: print(chunk[message][content], end, flushTrue)此代码会以流式方式接收模型的响应适用于处理大数据。Ollama相关命令模型管理拉取模型从模型库中下载模型ollama pull model-name例如ollama pull llama2运行模型运行已下载的模型ollama run model-name例如ollama run llama2列出本地模型查看已下载的模型列表ollama list删除模型删除本地模型ollama rm model-name例如ollama rm llama2自定义模型创建自定义模型基于现有模型创建自定义模型ollama create custom-model-name -f Modelfile例如ollama create my-llama2 -f ./Modelfile复制模型复制一个已存在的模型ollama cp source-model-name new-model-name例如ollama cp llama2 my-llama2-copy推送自定义模型将自定义模型推送到模型库ollama push model-name例如ollama push my-llama2服务管理启动 Ollama 服务启动 Ollama 服务以在后台运行ollama serve停止 Ollama 服务停止正在运行的 Ollama 服务ollama stop重启 Ollama 服务重启 Ollama 服务ollama restart其他常用命令查看帮助查看所有可用命令ollama --help查看版本信息查看当前安装的 Ollama 版本ollama version更新 Ollama更新 Ollama 到最新版本ollama update查看日志查看 Ollama 的日志信息ollama logs清理缓存清理 Ollama 的缓存ollama clean模型信息查看模型详细信息查看指定模型的详细信息ollama show model-name例如ollama show llama2查看模型依赖查看模型的依赖关系ollama deps model-name例如ollama deps llama2查看模型配置查看模型的配置文件ollama config model-name例如ollama config llama2导入与导出导出模型将模型导出为文件ollama export model-name output-file例如ollama export llama2 llama2.tar导入模型从文件导入模型ollama import input-file例如ollama import llama2.tar系统信息查看系统信息查看 Ollama 的系统信息ollama system查看资源使用情况查看模型的资源使用情况ollama resources model-name例如ollama resources llama2模型性能查看模型性能查看模型的性能指标ollama perf model-name例如ollama perf llama2模型历史查看模型历史记录查看模型的历史记录ollama history model-name例如ollama history llama2模型状态检查模型状态检查指定模型的状态ollama status model-name例如ollama status llama2Ollama 模型交互Ollama 提供了多种方式与模型进行交互其中最常见的就是通过命令行进行推理操作。命令行交互通过命令行直接与模型进行交互是最简单的方式。运行模型使用 ollama run 命令启动模型并进入交互模式ollama run model-name例如我们下载 deepseek-coder 模型实例ollama run deepseek-coder启动后您可以直接输入问题或指令模型会实时生成响应。 你好你能帮我写一段代码吗 当然可以。但是首先我想知道您希望在哪种编程语言中实现这个功能例如Python、JavaScript等和要解决什么问题或者完成的任务是什么样的例子呢这样我们可以为您提供更准确的 内容同时也方便我帮助你写出最适合您的代码片段。 写一段 python hello world 当然可以这是一个简单的 Hello, World! 程序print(Hello, World!)这个脚本会输出Hello, World!并将其打印到控制台上。这只是最基本的 Python Hello world示例Python是一种解释型、通用型的编程语言以其简洁性和易读性而闻名。它还允许用户在代码中插入变量和表达式来创建复杂的行为。退出交互模式在交互模式下输入 /bye 或按下 Ctrld 退出。单次命令交互如果您只需要模型生成一次响应可以直接在命令行中传递输入。使用管道输入通过管道将输入传递给模型实例echo 你是谁 | ollama run deepseek-coder输出结果如下我是由中国的深度求索DeepSeek公司开发的编程智能助手名为DeepCoder。我专注于解答计算机科学相关的问题和任务。如果你有任何关于这个领域的话题或者需要帮助的地方请 随时提问使用命令行参数直接在命令行中传递输入ollama run deepseek-coder Python 的 hello world 代码输出结果如下在 Python 中“Hello World!” 通常是这段简单的脚本print(Hello World!)当你运行这个程序时它会输出Hello, World。这是因为 print() 函数将字符串 “Hello, World” 打印到标准输出设备 (stdout) - 也就是你的屏幕上显示的信息在这种情况下是命令行终端或类似的工具中运行 Python 脚本时它会直接写入控制台。多轮对话Ollama 支持多轮对话模型可以记住上下文。实例 你好你能帮我写一段 Python 代码吗 当然可以请告诉我你需要实现什么功能。 我想写一个计算斐波那契数列的函数。 好的以下是一个简单的 Python 函数 def fibonacci(n): if n 1: return n else: return fibonacci(n-1) fibonacci(n-2)文件输入可以将文件内容作为输入传递给模型。假设 input.txt 文件内容为Python 的 hello world 代码将 input.txt 文件内容作为输入ollama run deepseek-coder input.txt自定义提示词通过 Modelfile 定义自定义提示词或系统指令使模型在交互中遵循特定规则。创建自定义模型编写一个 ModelfileModelfile文件为以Modelfile命名无扩展名的文件实例FROM deepseek-coder SYSTEM 你是一个编程助手专门帮助用户编写代码。 然后创建自定义模型 ollama create runoob-coder -f ./Modelfile 运行自定义模型: ollama run runoob-coder交互日志Ollama 会记录交互日志方便调试和分析。查看日志:ollama logs创建模型准备Modelfile文件FROM deepseek-r1 SYSTEM 你是华星重工智能助理专门帮助华星重工及客户解决问题在ollama官网创建一个模型ollama配置本地秘钥找到本地的秘钥不同系统对应的地址如下macOS~/.ollama/id_ed25519.pubLinux/usr/share/ollama/.ollama/id_ed25519.pubWindowsC:\Users\username\.ollama\id_ed25519.pubNext, add it as a key in settings↗.点击settings将本地的秘钥添加进去推送本地模型到ollama使用命名行进行推送ollama push rckj/hxjx-AIOllama Open WebUIOpen WebUI 用户友好的 AI 界面支持 Ollama、OpenAI API 等。Open WebUI 支持多种语言模型运行器如 Ollama 和 OpenAI 兼容 API并内置了用于检索增强生成RAG的推理引擎使其成为强大的 AI 部署解决方案。Open WebUI 可自定义 OpenAI API URL连接 LMStudio、GroqCloud、Mistral、OpenRouter 等。Open WebUI 管理员可创建详细的用户角色和权限确保安全的用户环境同时提供定制化的用户体验。Open WebUI 支持桌面、笔记本电脑和移动设备并提供移动设备上的渐进式 Web 应用PWA支持离线访问。开源地址https://github.com/open-webui/open-webui官方文档https://docs.openwebui.com/安装Open WebUI 提供多种安装方式包括通过 Python pip 安装、Docker 安装、Docker Compose、Kustomize 和 Helm 等。使用 Docker 快速开始如果 Ollama 已安装在你的电脑上使用以下命令docker run -d -p 3000:8080 --add-hosthost.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main使用 Nvidia GPU 支持运行 Open WebUIdocker run -d -p 3000:8080 --gpus all --add-hosthost.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:cudaOpen WebUI 与 Ollama 捆绑安装此安装方法使用一个单一的容器镜像将 Open WebUI 与 Ollama 捆绑在一起可以通过一个命令轻松设置。根据你的硬件配置选择合适的命令。启用 GPU 支持docker run -d -p 3000:8080 --gpusall -v ollama:/root/.ollama -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:ollama仅使用 CPUdocker run -d -p 3000:8080 -v ollama:/root/.ollama -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:ollama这两个命令都能帮助你简化安装过程让 Open WebUI 和 Ollama 无缝运行。安装完成后你可以通过访问 http://localhost:3000 使用 Open WebUI。更新 Open WebUI手动更新使用 Watchtower 手动更新 Docker 容器docker run --rm -v /var/run/docker.sock:/var/run/docker.sock containrrr/watchtower --run-once open-webui自动更新每 5 分钟自动更新容器docker run -d --name watchtower --restart unless-stopped -v /var/run/docker.sock:/var/run/docker.sock containrrr/watchtower --interval 300 open-webui注意如果你的容器名不同请将 open-webui 替换为你的容器名。手动安装Open WebUI 的安装有两种主要方法使用 uv runtime manager 或 Python 的 pip。推荐使用 uv因为它简化了环境管理减少了潜在的冲突。使用 uv 安装推荐macOS/Linuxcurl -LsSf https://astral.sh/uv/install.sh | shWindowspowershell -ExecutionPolicy ByPass -c irm https://astral.sh/uv/install.ps1 | iex运行 Open WebUI安装 UV 后运行 Open WebUI 就比较简单了。使用以下命令确保设置 DATA_DIR 环境变量以避免数据丢失。macOS/LinuxDATA_DIR~/.open-webui uvx --python 3.11 open-webuilatest serveWindows$env:DATA_DIRC:\open-webui\data; uvx --python 3.11 open-webuilatest serve通过 pip 安装Open WebUI 可以通过 Python 的包安装程序 pip 进行安装在开始安装之前请确保您使用的是 Python 3.11以避免可能出现的兼容性问题。打开您的终端运行以下命令以安装 Open WebUIpip install open-webui安装完成后您可以通过以下命令启动 Open WebUIopen-webui serve启动后Open WebUI 服务器将运行在 http://localhost:8080您可以通过浏览器访问该地址来使用 Open WebUI。