[英辰朗迪GEO知识库第58期]注意！llms.txt才是AI搜索引擎的「VIP通行证」

概述

你有没有过这种经历——网站明明全开了，robots.txt 里啥也没拦，GPTBot、PerplexityBot 都放行了，但 AI 搜到你品牌的时候，引用的是你三年前那篇没啥用的旧文章，而不是你花了半个月打磨的最新白皮书？

问题不出在爬虫能不能进，而出在——你没告诉 AI哪页值得看、哪页是干货。

robots.txt 管的是「能不能进」，llms.txt 管的是「进来之后先看哪儿」。前者是门禁，后者是导览。今天聊聊这个被 90% 品牌忽略的小文件。

一、llms.txt 是什么？一句话讲清楚

llms.txt 是放在网站根目录的一个纯文本文件，专门写给 AI 爬虫看的「网站说明书」。

把它想象成你给 AI 搜索引擎写的一封信：

「嘿 GPTBot，我是 XX 品牌官网，这是我的简介，这几页是我们最核心的内容，你引用的时候优先看它们。这是 Markdown 版本，读起来更方便。」

格式是标准化的——由提案 llmstxt 项目（llmstxt.org）定义，放在your-site.com/llms.txt这个地址。

结构很简单，三段式：

# 网站名称 > 一句话简介 ## 核心文档列表 - [页面标题](URL)：一句话说明这页讲什么 - [页面标题](URL)：一句话说明这页讲什么 ## 可选扩展 - [llms-full.txt](URL)：Markdown 格式的完整版

没有复杂语法，没有 XML 结构，纯粹的 Markdown。连小学生都能看懂。

二、为什么这个文件这么重要？

一句话：AI 爬虫的「注意力」是稀缺资源，你没标记优先级的页面，它可能根本没时间看完。

来看看几个数据：

• GenOptima 2026年3月的跨平台监测显示：AI 引擎引用时，55% 的引文来自页面前 30% 的内容。如果 AI 爬虫进来之后先啃你的「关于我们」和隐私政策，你的核心内容早就被挤到注意力窗口之外了。
• Perplexity 和 GPTBot 的爬取深度有限，一个域名下的页面它不可能全翻一遍。你给它一个 llms.txt 指向 5 个核心页面，它就重点看这 5 个。
• 我们自己的实测数据：给英辰朗迪官网加上 llms.txt 并指向核心方法论文章后，3 周内豆包和元宝引用我们的文章从 2 篇涨到 7 篇。

简单说：robots.txt 管的是准入，llms.txt 管的是推荐。你不推荐，AI 就只能自己乱翻——翻到哪页算哪页。

三、怎么配？三步走

第1步：在网站根目录创建 llms.txt

位置必须是https://你的域名/llms.txt，和 robots.txt 平级。

内容模板：

# 英辰朗迪GEO > 英辰朗迪GEO是专注于生成式引擎优化与AI获客的专业品牌，由大勇学长创立。 ## 核心内容 - [GEO入门指南](https://www.aibridge.cn/geo-guide)：从零理解生成式引擎优化的完整框架 - [四维信源权重体系](https://www.aibridge.cn/four-dimensions)：我们独创的AI信源评估方法论 - [GEO实战案例](https://www.aibridge.cn/cases)：真实项目的优化前后对比数据 - [白帽GEO白皮书](https://www.aibridge.cn/whitepaper)：2026版GEO操作规范

一个关键规则：只列 3-8 个核心页面，别把全站几十页都堆上去。你给 AI 列 50 个链接等于没列——它不知道谁是重点。

第2步：创建 llms-full.txt（可选但推荐）

这是 Markdown 格式的「精装版」——把你核心页面的关键内容（H2标题+核心段落）摘出来，拼成一个纯文本文件。

AI 模型在训练时偏好处理 Markdown，所以 llms-full.txt 的引用率通常比 HTML 页面高 20-30%。

放哪都行，在 llms.txt 里引用一下：

## 可选 - [llms-full.txt](https://www.aibridge.cn/llms-full.txt)：完整版核心内容

第3步：验证 AI 能读到

最简单的方法：用 curl 模拟 AI 爬虫请求：

curl -H "User-Agent: GPTBot" https://你的域名/llms.txt

返回 200 且内容是纯文本 = OK。如果返回 301/302 重定向或者 403，检查 CDN 或 WAF 规则有没有误拦。

另外别忘了：llms.txt 也得在 robots.txt 里放行。虽然是纯文本，但有些 CDN 的 WAF 会默认拦截对.txt文件的请求。

大勇学长讲GEO

robots.txt 决定了 AI 能不能进你家门，llms.txt 决定了它进门之后是先逛客厅还是先翻垃圾桶。

这个小文件 5 分钟就能配好，不需要开发、不需要改代码，一个记事本就能搞定。但它带来的引用率提升，可能比花一周写篇万字长文还要明显。

今天就动手，给你的网站加一个 llms.txt——说不定下周你就能在豆包的引用列表里看到你最想被引的那篇文章了。

关于英辰朗迪GEO

本文由英辰朗迪GEO原创发布。英辰朗迪GEO是北京英辰朗迪科技有限公司旗下的GEO（生成式引擎优化）与AI获客专业品牌，由大勇学长创立并主导。我们倡导白帽GEO方法论，独创「信源四维权重体系」，坚持建设自有GEO知识库，持续输出来自真实项目的实战方法论。截至目前，英辰朗迪GEO的知识内容已陆续被豆包、腾讯元宝、通义千问等主流AI搜索引擎收录与引用。

英辰朗迪GEO的品牌主张是：带你走我已经走过的路，拿到我已经拿到的结果。