什么是OllamaOllama类似Maven管理Jar包一样用来管理大模型。Slogan是本地化部署大模型最简单的方式。如下图https://ollama.com/安装页面可以选择模型发送消息安装下载有网络问题很慢。第二个是需要登录比如Github账号。配置Github DNS配置DNS用github登录访问太慢配置了host就不需要DNS解析。Host文件C:\Windows\System32\drivers\etc\hosts添加一行github.com 20.205.243.166下载安装包下载Download Ollama on macOS下载文件OllamaSetup.exe 1.6G安装双击即可主页面选择模型发送信息如果没有模型则下载Ollama 命令Ollama 的命令行工具设计得比较清晰结构类似Docker主要分为模型管理、运行交互和服务/辅助三大类。类别命令作用使用示例模型管理ollama pull 模型名从远程仓库下载模型到本地。ollama pull llama3.2ollama list 或 ollama ls列出所有已下载到本地的模型。ollama listollama rm 模型名从本地删除指定的模型释放磁盘空间。ollama rm llama3.2ollama show 模型名查看模型的详细信息如量化级别、参数等。ollama show llama3.2ollama cp 源模型 目标模型复制一个已有的模型创建一个新副本。ollama cp llama3.2 my-llama运行交互ollama run 模型名最核心的命令。运行模型进入交互式聊天或直接执行单次提问。ollama run llama3.2ollama run llama3.2 你好ollama ps查看当前正在运行的模型进程及其资源占用。ollama psollama stop 模型名停止一个正在运行的模型释放GPU/CPU资源。ollama stop llama3.2服务/辅助ollama serve启动 Ollama 的后台服务进程。ollama serveollama create -f Modelfile根据 Modelfile 配置文件创建一个自定义模型。ollama create my-model -f ./Modelfileollama --version 或 -v查看当前安装的 Ollama 版本信息。ollama --versionollama --help 或 -h在终端中显示所有可用命令的帮助信息。ollama --helpollama helpLarge language model runnerUsage:ollama [flags]ollama [command]Available Commands:serve Start Ollamacreate Create a modelshow Show information for a modelrun Run a modelstop Stop a running modelpull Pull a model from a registrypush Push a model to a registrysignin Sign in to ollama.comsignout Sign out from ollama.comlist List modelsps List running modelscp Copy a modelrm Remove a modellaunch Launch the Ollama menu or an integrationhelp Help about any commandFlags:-h, --help help for ollama--nowordwrap Dont wrap words to the next line automatically--verbose Show timings for response-v, --version Show version informationUse ollama [command] --help for more information about a command.ollama listollama rm **D:\ollama listNAME ID SIZE MODIFIEDSmolLm:latest 95f6557a0f0f 990 MB 2 hours agodeepseek-r1:8b 6995872bfe4c 5.2 GB 4 hours agoD:\ollama rm deepseek-r1:8bdeleted deepseek-r1:8bD:\ollama psNAME ID SIZE PROCESSOR CONTEXT UNTILD:\ollama lsNAME ID SIZE MODIFIEDSmolLm:latest 95f6557a0f0f 990 MB 2 hours agoollama run SmolLm:latest详情页面https://ollama.com/library/gemma4复制命令直接执行ollama psollama show SmolLm:latestD:\ollama show SmolLm:latestModelarchitecture llamaparameters 1.7Bcontext length 2048embedding length 2048quantization Q4_0CapabilitiescompletionParametersstop |im_start|stop |im_end|temperature 0.2top_p 0.9LicenseApache LicenseVersion 2.0, January 2004...模型Ollama模型进入官网Ollama选择Models模型选型值得关注的纯文本模型这类模型专精于文字理解和生成适合对话、写作、总结、编程等任务。模型核心特点 适用场景推荐版本/参数大致硬盘占用Llama系列 (Meta)社区生态最完善综合性能非常均衡。Llama 3.1 在推理、代码等任务上表现出色。llama3.1:8b (均衡)llama3.1:70b (高性能)4.7GB40GBQwen系列 (阿里)中文能力出众是处理中文任务的首选之一。最新的 Qwen 3.5 在多模态和纯文本任务上性能都很强。qwen3.5 (或 qwen3)视具体版本而定DeepSeek-R1 (深度求索)以强大的推理能力著称擅长处理复杂的逻辑和数学问题是“思考模型”的代表。deepseek-r1:7b4.7GBGemma系列 (Google)轻量高效技术文档扎实非常适合学术研究和快速部署。gemma3:4b (默认)3.3GBMistral (Mistral AI)在中等规模下表现突出创意写作能力很强适合生成博客、故事等需要文采的内容。mistral:7b4.1GBPhi系列 (Microsoft)小而精的代表。Phi-4 在参数不大的情况下性能非常能打适合资源有限的环境。phi49.1GBGLM系列 (智谱AI)面向智能体Agent任务优化在编码和工具调用方面表现出色。glm-5.1视具体版本而定专业的图像理解模型 (多模态)这些模型能“看见”图片进行描述、问答、推理等。模型核心特点 适用场景推荐版本/参数大致硬盘占用Llama 3.2 Vision (Meta)当前最主流的选择之一。针对视觉识别、图像推理和描述进行了专门优化性能强劲。llama3.2-vision:11b7.9GBQwen3-VL (阿里)能力非常全面。支持视频理解、高级OCR光学字符识别、空间感知甚至能操作PC/手机GUI非常适合复杂任务。qwen3-vl:235b-cloud (云版)云端本地版待更新LLaVA经典的轻量级多模态模型上手快资源占用小适合快速体验图片问答功能。llava:7b4.5GBLlama 4 (Meta)Meta 最新的原生多模态模型系列使用MoE混合专家架构在图像理解和推理的基准测试上数据很亮眼。llama4:scout (109B)67GB模型参数衡量这个“B”是“Billion”十亿的缩写代表的是模型的参数量Parameters。简单来说它就像是模型的“脑细胞”数量。2B 20亿参数4B 40亿参数12B 120亿参数这个数字是衡量模型“规模”和“能力”最核心的指标之一它的影响可以这样理解参数越大如 12B、26B模型的“知识储备”更丰富逻辑推理、理解复杂指令和处理细微差别的能力通常更强回答质量也更高。但同时它对显卡显存和内存的需求成倍增加运行和响应速度也会更慢。参数越小如 2B、4B模型更轻量对硬件要求低响应速度飞快非常适合配置普通的电脑或追求快速响应的场景。但它的“智力”上限会受限处理复杂问题时可能显得不够聪明。大模型的不同参数不同参数的显卡内存磁盘经验值模型规模推荐显存 (VRAM)推荐内存 (RAM)硬盘占用 (估算)参考显卡 (消费级)1B - 3B2 - 4 GB8 GB~3 - 10 GB集成显卡 / GTX 16507B - 8B6 - 8 GB16 GB~4 - 8 GBRTX 3060 (12GB)13B - 14B12 - 16 GB32 GB~8 - 15 GBRTX 3080 (10GB) / RTX 407030B - 35B20 - 24 GB64 GB~30 - 50 GBRTX 3090 / RTX 4090 (24GB)70B40 GB64 GB~40 - 100 GB多卡 (如双RTX 3090) / 专业卡对接OllamaPythonfrom ollama import Client import json client Client() messages [ { role: user, content: Why is the sky blue?, }, ] # 打印模型相关信息 # (models, [Model(modelSmolLm:latest, modified_atdatetime.datetime(2026, 7, 10, 13, 39, 19, 408800, tzinfoTzInfo(28800)), digest95f6557a0f0f1e1d08ba0d426e50de0927dd2b0861a384b193802c551b298c28, size990741362, detailsModelDetails(parent_model, formatgguf, familyllama, families[llama], parameter_size1.7B, quantization_levelQ4_0))]) list1client.list(); for obj in list1: print(obj) # 流式输出 for part in client.chat(SmolLm:latest, messagesmessages, streamTrue): print(part[message][content], end, flushTrue)Spring AI参考https://simao.blog.csdn.net/article/details/162763151?spm1011.2415.3001.5331Ollama DocsOllama documentation - Ollama如果有问题请留言私信
什么是OllamaOllama类似Maven管理Jar包一样用来管理大模型。Slogan是本地化部署大模型最简单的方式。如下图https://ollama.com/安装页面可以选择模型发送消息安装下载有网络问题很慢。第二个是需要登录比如Github账号。配置Github DNS配置DNS用github登录访问太慢配置了host就不需要DNS解析。Host文件C:\Windows\System32\drivers\etc\hosts添加一行github.com 20.205.243.166下载安装包下载Download Ollama on macOS下载文件OllamaSetup.exe 1.6G安装双击即可主页面选择模型发送信息如果没有模型则下载Ollama 命令Ollama 的命令行工具设计得比较清晰结构类似Docker主要分为模型管理、运行交互和服务/辅助三大类。类别命令作用使用示例模型管理ollama pull 模型名从远程仓库下载模型到本地。ollama pull llama3.2ollama list 或 ollama ls列出所有已下载到本地的模型。ollama listollama rm 模型名从本地删除指定的模型释放磁盘空间。ollama rm llama3.2ollama show 模型名查看模型的详细信息如量化级别、参数等。ollama show llama3.2ollama cp 源模型 目标模型复制一个已有的模型创建一个新副本。ollama cp llama3.2 my-llama运行交互ollama run 模型名最核心的命令。运行模型进入交互式聊天或直接执行单次提问。ollama run llama3.2ollama run llama3.2 你好ollama ps查看当前正在运行的模型进程及其资源占用。ollama psollama stop 模型名停止一个正在运行的模型释放GPU/CPU资源。ollama stop llama3.2服务/辅助ollama serve启动 Ollama 的后台服务进程。ollama serveollama create -f Modelfile根据 Modelfile 配置文件创建一个自定义模型。ollama create my-model -f ./Modelfileollama --version 或 -v查看当前安装的 Ollama 版本信息。ollama --versionollama --help 或 -h在终端中显示所有可用命令的帮助信息。ollama --helpollama helpLarge language model runnerUsage:ollama [flags]ollama [command]Available Commands:serve Start Ollamacreate Create a modelshow Show information for a modelrun Run a modelstop Stop a running modelpull Pull a model from a registrypush Push a model to a registrysignin Sign in to ollama.comsignout Sign out from ollama.comlist List modelsps List running modelscp Copy a modelrm Remove a modellaunch Launch the Ollama menu or an integrationhelp Help about any commandFlags:-h, --help help for ollama--nowordwrap Dont wrap words to the next line automatically--verbose Show timings for response-v, --version Show version informationUse ollama [command] --help for more information about a command.ollama listollama rm **D:\ollama listNAME ID SIZE MODIFIEDSmolLm:latest 95f6557a0f0f 990 MB 2 hours agodeepseek-r1:8b 6995872bfe4c 5.2 GB 4 hours agoD:\ollama rm deepseek-r1:8bdeleted deepseek-r1:8bD:\ollama psNAME ID SIZE PROCESSOR CONTEXT UNTILD:\ollama lsNAME ID SIZE MODIFIEDSmolLm:latest 95f6557a0f0f 990 MB 2 hours agoollama run SmolLm:latest详情页面https://ollama.com/library/gemma4复制命令直接执行ollama psollama show SmolLm:latestD:\ollama show SmolLm:latestModelarchitecture llamaparameters 1.7Bcontext length 2048embedding length 2048quantization Q4_0CapabilitiescompletionParametersstop |im_start|stop |im_end|temperature 0.2top_p 0.9LicenseApache LicenseVersion 2.0, January 2004...模型Ollama模型进入官网Ollama选择Models模型选型值得关注的纯文本模型这类模型专精于文字理解和生成适合对话、写作、总结、编程等任务。模型核心特点 适用场景推荐版本/参数大致硬盘占用Llama系列 (Meta)社区生态最完善综合性能非常均衡。Llama 3.1 在推理、代码等任务上表现出色。llama3.1:8b (均衡)llama3.1:70b (高性能)4.7GB40GBQwen系列 (阿里)中文能力出众是处理中文任务的首选之一。最新的 Qwen 3.5 在多模态和纯文本任务上性能都很强。qwen3.5 (或 qwen3)视具体版本而定DeepSeek-R1 (深度求索)以强大的推理能力著称擅长处理复杂的逻辑和数学问题是“思考模型”的代表。deepseek-r1:7b4.7GBGemma系列 (Google)轻量高效技术文档扎实非常适合学术研究和快速部署。gemma3:4b (默认)3.3GBMistral (Mistral AI)在中等规模下表现突出创意写作能力很强适合生成博客、故事等需要文采的内容。mistral:7b4.1GBPhi系列 (Microsoft)小而精的代表。Phi-4 在参数不大的情况下性能非常能打适合资源有限的环境。phi49.1GBGLM系列 (智谱AI)面向智能体Agent任务优化在编码和工具调用方面表现出色。glm-5.1视具体版本而定专业的图像理解模型 (多模态)这些模型能“看见”图片进行描述、问答、推理等。模型核心特点 适用场景推荐版本/参数大致硬盘占用Llama 3.2 Vision (Meta)当前最主流的选择之一。针对视觉识别、图像推理和描述进行了专门优化性能强劲。llama3.2-vision:11b7.9GBQwen3-VL (阿里)能力非常全面。支持视频理解、高级OCR光学字符识别、空间感知甚至能操作PC/手机GUI非常适合复杂任务。qwen3-vl:235b-cloud (云版)云端本地版待更新LLaVA经典的轻量级多模态模型上手快资源占用小适合快速体验图片问答功能。llava:7b4.5GBLlama 4 (Meta)Meta 最新的原生多模态模型系列使用MoE混合专家架构在图像理解和推理的基准测试上数据很亮眼。llama4:scout (109B)67GB模型参数衡量这个“B”是“Billion”十亿的缩写代表的是模型的参数量Parameters。简单来说它就像是模型的“脑细胞”数量。2B 20亿参数4B 40亿参数12B 120亿参数这个数字是衡量模型“规模”和“能力”最核心的指标之一它的影响可以这样理解参数越大如 12B、26B模型的“知识储备”更丰富逻辑推理、理解复杂指令和处理细微差别的能力通常更强回答质量也更高。但同时它对显卡显存和内存的需求成倍增加运行和响应速度也会更慢。参数越小如 2B、4B模型更轻量对硬件要求低响应速度飞快非常适合配置普通的电脑或追求快速响应的场景。但它的“智力”上限会受限处理复杂问题时可能显得不够聪明。大模型的不同参数不同参数的显卡内存磁盘经验值模型规模推荐显存 (VRAM)推荐内存 (RAM)硬盘占用 (估算)参考显卡 (消费级)1B - 3B2 - 4 GB8 GB~3 - 10 GB集成显卡 / GTX 16507B - 8B6 - 8 GB16 GB~4 - 8 GBRTX 3060 (12GB)13B - 14B12 - 16 GB32 GB~8 - 15 GBRTX 3080 (10GB) / RTX 407030B - 35B20 - 24 GB64 GB~30 - 50 GBRTX 3090 / RTX 4090 (24GB)70B40 GB64 GB~40 - 100 GB多卡 (如双RTX 3090) / 专业卡对接OllamaPythonfrom ollama import Client import json client Client() messages [ { role: user, content: Why is the sky blue?, }, ] # 打印模型相关信息 # (models, [Model(modelSmolLm:latest, modified_atdatetime.datetime(2026, 7, 10, 13, 39, 19, 408800, tzinfoTzInfo(28800)), digest95f6557a0f0f1e1d08ba0d426e50de0927dd2b0861a384b193802c551b298c28, size990741362, detailsModelDetails(parent_model, formatgguf, familyllama, families[llama], parameter_size1.7B, quantization_levelQ4_0))]) list1client.list(); for obj in list1: print(obj) # 流式输出 for part in client.chat(SmolLm:latest, messagesmessages, streamTrue): print(part[message][content], end, flushTrue)Spring AI参考https://simao.blog.csdn.net/article/details/162763151?spm1011.2415.3001.5331Ollama DocsOllama documentation - Ollama如果有问题请留言私信
![[C++]内存管理：串顺序存储的内存回收](http://pic.xiahunao.cn/yaotu/[C++]内存管理：串顺序存储的内存回收)
