ARTICLE DETAIL

建站实战干货

来自一线的建站与推广经验沉淀,每一条都经过真实交付验证。

如何 5 分钟跑通 text-generation-webui:一份写给纯新手的本地大模型快速上手指南

2026/8/31 8:14:05 拓冰建站 浏览量
如何 5 分钟跑通 text-generation-webui:一份写给纯新手的本地大模型快速上手指南 如何 5 分钟跑通 text-generation-webui一份写给纯新手的本地大模型快速上手指南【免费下载链接】textgenOpen-source desktop app for local LLMs. Text, vision, tool-calling, OpenAI/Anthropic-compatible API. 100% private.项目地址: https://gitcode.com/GitHub_Trending/te/textgentext-generation-webui 是一个开源的大语言模型网页界面让模型在你自己的电脑上离线运行对话数据不出本机隐私完全归你。它适合想体验本地大模型、又不想折腾复杂部署的新手。跟着下面的步骤走完你就能完成 text-generation-webui 快速上手的全流程装好、启动、找到模型加载的位置并调好几个直接影响生成效果的参数。为什么值得试全程本地运行模型和聊天记录都留在你自己的机器上不需要联网授权。一键启动装好脚本双击或敲一行命令就能打开界面不用自己配环境依赖。不只是聊天视觉理解、工具调用、兼容 OpenAI 的 API、模型训练和图像生成这些功能它都有。三步跑起来克隆仓库git clone https://gitcode.com/GitHub_Trending/te/text-generation-webui进入仓库后运行启动脚本Linux 用./start_linux.shmacOS 用./start_macos.shWindows 用start_windows.bat下载一个 GGUF 格式llama.cpp 使用的单文件模型格式最容易部署的模型文件放进user_data/models/目录界面会自动识别其他安装方式比如 Docker 部署见仓库 README 和 docker 目录即可。界面长什么样打开后顶部是一排标签页按常用程度逐个说Chat对话主阵地支持按指令模式和自定义角色两种方式和模型聊天。Default / Notebook自由文本生成适合写长文、改文字。Parameters调温度、Top-p 这些生成参数的地方参数配置源码 就在这一层。Model加载和切换模型支持 Transformers、GGUF、EXL2 等多种格式。Training做 LoRA 微调训练新手可以先只看一眼。Session管理会话历史对话在这里找回。从第一次对话到调参第一次打开进 Chat 标签确认模型已加载输入一句话发出去等第一条回复。接下来你会想改性格。Parameters 标签里最值得动的就三个温度Temperature控制回答的随机程度。日常问答设 0.10.3写创作用 0.71.0拿不准就 0.7 起步。Top-p候选词的概率池一般保持 0.9 左右不建议和温度同时大幅调。最大新词数限制回复长度不想看长篇大论就设 512。想加新能力语音合成、翻译之类的扩展去 扩展目录 看看想给模型立一个人设把角色配置文件放进 角色目录 就行。新手最容易踩的 3 个坑显存不够→ 模型加载失败或直接卡死 → 换更小的参数规模或换量化数值更低的 GGUF 文件量化数字越小越省显存。Python 版本不兼容→ 启动脚本报一堆包错误 → 本项目要求 Python 3.9 以上直接用启动脚本自动创建的虚拟环境跑别混用全局环境里的版本。模型文件没下全→ 模型列表里看不到它或点加载就报错 → 对比一下文件大小和下载页面是否一致不一致就重新下载覆盖。装好之后先去 Chat 标签和模型来一轮真对话再用 Parameters 把温度调到合适的值。之后想学视觉输入和工具调用翻 官方文档目录每个标签页都有对应的入门章节。【免费下载链接】textgenOpen-source desktop app for local LLMs. Text, vision, tool-calling, OpenAI/Anthropic-compatible API. 100% private.项目地址: https://gitcode.com/GitHub_Trending/te/textgen创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考