Jan 如何通过 Custom Endpoint 接入 vLLM、Ollama 等自托管推理服务【免费下载链接】janJan is an open source alternative to ChatGPT that runs 100% offline on your computer.项目地址: https://gitcode.com/GitHub_Trending/ja/janJan 除了内置的云端 provider 之外还可以连接任何使用 OpenAI 或 Anthropic 线协议的 API 端点。如果你的机器或局域网里跑着 vLLM、Ollama、LocalAI、TGI、llama.cpp 的llama-server等自托管推理服务或者你在用 LiteLLM 之类的网关代理就可以通过 Custom Endpoint 把它们接进 Jan在模型选择器里直接使用这些本地模型。接入完成后的目标是Jan 能列出或手动添加你的模型并正常发起对话请求。什么时候该用 Custom Endpoint文档列出三类适用情况你在本机或局域网运行自己的推理服务vLLM、Ollama、LocalAI、TGI、llama.cppllama-server你使用网关或代理LiteLLM、Bedrock/Vertex 代理、公司内部网关你想接入的 provider 不在 Jan 内置列表里但对外提供 OpenAI 或 Anthropic 兼容 API。接入步骤打开 Add Provider 对话框进入SettingsModel Providers。在 provider 列表旁点击Add Provider按钮。选择 API 格式在Add Custom Provider对话框中选择你的端点使用的API formatOpenAI-compatible默认——适用于 vLLM、Ollama、LocalAI、TGI、llama.cpp server、OpenAI 模式的 LiteLLM 以及大多数第三方 providerAnthropic-compatible——适用于暴露 Anthropic Messages API 的端点Claude 代理、Anthropic 模式的 LiteLLM、Bedrock/Vertex 的 Anthropic 网关。API 格式决定了 Jan 如何构造请求和解析响应。选错格式时即使 Base URL 和 API key 都正确请求也会失败。拿不准时看端点自己的文档里写的是 OpenAI-compatible 还是暴露 Anthropic Messages API。填写 provider 信息字段说明Provider name该 provider 的唯一名称会显示在模型选择器中Base URLAPI 的根地址。OpenAI 兼容端点通常是带/v1结尾的地址如http://localhost:8000/v1Anthropic 兼容端点使用其网关文档给出的 baseAPI key必填。本地不做鉴权的服务可以填任意非空占位符如sk-no-key填写完成后点击Create添加 provider。Base URL 必须包含你的服务期望的版本路径。文档特别提示的常见错误是OpenAI 兼容服务填了http://localhost:8000而不是http://localhost:8000/v1请求会直接 404。末尾的斜杠会自动去除。添加模型保存时 Jan 会尝试从{base_url}/models拉取可用模型列表。如果你的端点不提供这个接口就手动添加在该 provider 的Models区域点击按钮填入服务端期望的模型 ID例如llama-3.1-8b-instruct。需要注意的是自定义 provider 不会做能力自动检测——Jan 无法推断模型是否支持 tools、vision 或 audio需要逐个模型手动配置能力。常见服务的 Base URL 参考文档给出的默认值如下服务 / 网关API 类型典型 Base URLvLLMOpenAI-Compatiblehttp://localhost:8000/v1OllamaOpenAI-Compatiblehttp://localhost:11434/v1LocalAIOpenAI-Compatiblehttp://localhost:8080/v1Text Generation Inference (TGI)OpenAI-Compatiblehttp://localhost:8080/v1LiteLLMOpenAI 模式OpenAI-Compatiblehttp://localhost:4000/v1LiteLLMAnthropic 模式Anthropic-Compatiblehttp://localhost:4000端口和路径取决于你怎么启动的服务以启动日志为准。上表是默认值你的环境可能不同。验证接入是否成功文档提供的核对方式模型列表保存 provider 时 Jan 从{base_url}/models拉取模型如果端点不暴露/models说明拉不到列表改走手动添加模型 ID 的路径。Test keys在 provider 的API keys区域点击Advanced添加 key 后点Test keysJan 会对每个 key 调用{base_url}/models并报告结果OK、Invalid/revoked (401)、Forbidden (403)、Rate limited (429)或Network error。provider 名称创建成功后provider 名称会出现在模型选择器中选中模型后即可正常对话。可选配置 API key 轮询对远程 providerJan 支持配置多个 API key优先使用主 key并且仅在收到 HTTP401未授权、403禁止或429限流时自动切换到下一个 key 重试其他错误不触发重试。在SettingsModel Providers中打开该 provider。在API keys区域点击Advanced。用 Add key添加编号条目——#1是主 key#2及之后是 fallback。点击Test keys逐一验证。如果所有 key 都是 401/403Jan 会报告 key 轮换已耗尽——所有配置的 key 都无效或未获授权所有 key 持续 429 则是被限流需要等待或增加 key。采样参数对本地引擎llama.cpp、MLX和自定义 providerJan 会暴露完整的采样参数temperature、top-K、top-P、min-P、repetition penalty 等。内置云端 provider 则隐藏这些控件因为这些 provider 自己管理或忽略大多数 sampler。文档同时提醒自定义端点比较宽松——Jan 会照发你设置的 sampler但服务端可能静默忽略它不支持的参数。如果某个参数看起来没效果检查你的后端是否实现了它。出问题时的排查路径文档给出的现象对照表现象可能原因处理请求立刻失败端点的API type选错按服务端实际协议在 OpenAI-Compatible 与 Anthropic-Compatible 之间切换每次请求都404Base URL 缺/v1或路径不对补上服务端期望的版本路径401/403API key 错误或缺失核对 key无鉴权本地服务填任意非空占位符429被限流等待或添加 fallback keyConnection refused / 网络错误服务没启动、主机/端口不对或防火墙拦截确认服务已启动且从你的机器可达没有列出模型端点不暴露/models手动添加模型 ID需要更深的诊断时查看 Jan 的错误日志在界面底部打开System Monitor选择App Log或在终端查看数据目录下的logs/app.logapp、server、engine 的消息都写在这个文件里可按[APP]/[SERVER]/[SPECS]标签区分。日志文件位置macOS~/Library/Application Support/Jan/data/logs/app.logWindows%APPDATA%\Jan\data\logs\app.logLinux~/.local/share/Jan/data/logs/app.log文档给出的终端示例macOStail -n 50 ~/Library/Application\ Support/Jan/data/logs/app.log更完整的日志获取与常见问题说明见 Troubleshooting。【免费下载链接】janJan is an open source alternative to ChatGPT that runs 100% offline on your computer.项目地址: https://gitcode.com/GitHub_Trending/ja/jan创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考