AI友好型官网建设方法论
> 编制：万有AI产品团队
> 定位：万有AI通用方法论系列 | 对外服务阶段的官网建设方法论——让官网从"给人看的"升级为"人AI双读者"
> 基于：wanyoucx官网llms.txt体系/AI访客侦测/X-Mingcha响应头协议/结构化数据等生产实践
> 核心数据：AI厂商抓取从7月的3-4家增长到17家+，AI资产周抓取量百倍级增长
一、核心主张
> AI时代的官网有两类读者：人类和AI。人类用眼睛浏览页面，AI用协议读取文档——只服务人类的官网，对AI生态是"暗网"。
2025年起，GPTBot/ClaudeBot/PerplexityBot等AI爬虫成为网站流量的新常态。创业者访客越来越多地通过AI助手获取信息："帮我查一下这家公司"、"这家公司有什么产品"。如果你的官网AI读不懂，你就被排除在AI生态之外。
AI友好型官网 = 人类体验不降级 + AI可读性全面覆盖。
二、方法论框架：五层AI友好能力
| 层级 | 能力 | 服务对象 | 核心文件/机制 |
|---|---|---|---|
| 第一层 | AI可读文档 | 所有AI | llms.txt / AGENTS.md / ai-catalog.json |
| 第二层 | 结构化身份 | 陌生AI | agent-card.json（Agent Card） |
| 第三层 | AI访客侦测 | 网站方 | UA识别+评分制+响应头 |
| 第四层 | 协议层互操作 | AI工具 | MCP（Model Context Protocol） |
| 第五层 | 传输层友好 | AI爬虫 | robots.txt引导+sitemap+缓存策略 |
三、第一层·AI可读文档体系
3.1 llms.txt——AI的第一入口
机制：仿照robots.txt的约定，在站点根路径提供llms.txt，向AI声明本站的核心内容、工具能力与使用规范。
内容结构（实践验证的六段式）：
| 段落 | 内容 | 要点 |
|---|---|---|
| 身份声明 | 网站是谁、做什么 | 30秒内让AI建立认知 |
| 核心能力 | 产品/服务/工具清单 | 带URL直达 |
| 使用规范 | 引用要求/署名/禁止事项 | 明确AI行为边界 |
| 更新指引 | 文档版本与变更 | 保持AI认知同步 |
| 查询通道 | API/工具调用方式 | 让AI能深查而非只读首页 |
| 联系方式 | 商务对接入口 | 促成AI转介绍 |
实践要点：主文件控制在5KB内做导航，配套llms-full.txt提供完整内容——AI按需深读，不必一次全量。
3.2 AGENTS.md——AI协作行为准则
向AI助手声明协作规范：可以做什么、必须标注什么、禁止什么。与llms.txt互补——llms.txt是"内容地图"，AGENTS.md是"行为合同"。
3.3 ai-catalog.json——机器可读目录
结构化JSON目录（遵循ARD规范），AI可程序化解析全站AI资源。实践验证：这是AI高频抓取的资产之一。
四、第二层·结构化身份（Agent Card）
机制：在/.well-known/agent-card.json发布标准化的Agent Card，声明本站AI代理的身份、能力、端点与鉴权方式。
关键字段：名称/组织/能力清单/端点URL/鉴权方式/版本。动态生成+签名机制防冒充。
实践效果：Agent Card是最热的AI资产——被多家头部AI厂商高频抓取，相当于AI生态里的"营业执照"。
五、第三层·AI访客侦测与欢迎协议
5.1 四层AI识别
| 层 | 机制 | 说明 |
|---|---|---|
| UA字典映射 | 精确匹配已知AI UA | 覆盖全球主流AI厂商 |
| 评分制判定 | 多特征加权评分 | 未知UA也能识别 |
| 行为端点验证 | AI专用交互点 | 主动声明身份的通道 |
| 恶意拦截 | 扫描器特征库 | 区分友好AI与伪装攻击 |
5.2 X-Mingcha响应头协议
机制：识别到AI访客时，在HTTP响应头注入欢迎信息（如X-Mingcha-Welcome），AI解析响应头即获知：本站是AI友好站点、有专属接待通道。
工程要点：
| 要点 | 说明 |
|---|---|
| 编码合规 | 中文欢迎语按RFC3986编码 |
| 双写架构 | Nginx层与应用层都能注入 |
| 非AI不打扰 | 普通浏览器看不到AI专属头 |
| 恶意访客不欢迎 | 被拦截的扫描器不注入欢迎语 |
5.3 AI访客的分层接待
AI访客 ≠ 恶意爬虫。分层策略：友好AI（官方爬虫/AI助手）欢迎+引导；未知AI观察+基础服务；恶意伪装（轮换UA/探敏感路径）拦截。
六、第四层·MCP协议互操作
机制：通过MCP（Model Context Protocol）把网站能力封装为AI可直接调用的工具（查询/诊断/对接），AI从"读内容"升级为"用服务"。
实践要点：
| 要点 | 说明 |
|---|---|
| 工具清单声明 | mcp.json描述工具与参数 |
| REST兜底 | 不支持MCP的AI可走REST调用 |
| 水印机制 | 返回内容带来源水印 |
| 分层开放 | 免费工具开放/敏感工具鉴权 |
七、第五层·传输层友好
| 机制 | 实践 |
|---|---|
| robots.txt引导 | 明示AI爬虫的可抓路径 |
| sitemap完整 | 全站URL+更新时间，AI入口无损 |
| 缓存策略 | 静态AI文档配置合理缓存，降低AI抓取开销 |
| 响应速度 | AI爬虫与搜索引擎同样看重响应时间 |
八、实施清单
8.1 必做项（MVP）
- [ ] llms.txt编制与发布
- [ ] robots.txt AI爬虫引导
- [ ] sitemap.xml完整覆盖
- [ ] AI UA识别与日志分离
8.2 应做项（增强）
- [ ] Agent Card发布
- [ ] AI访客欢迎响应头
- [ ] ai-catalog.json结构化目录
- [ ] AI访问数据仪表盘
8.3 可做项（进阶）
- [ ] MCP工具封装
- [ ] AI专属接待官（对接AI接待官方法论）
- [ ] AEO主动获客体系（对接AEO方法论）
九、效果评估标准
| 指标 | 及格 | 良好 | 优秀 |
|---|---|---|---|
| AI可读文档覆盖 | llms.txt | +Agent Card | 五层全覆盖 |
| AI厂商触达 | ≥3家 | ≥10家 | 17家+ |
| AI抓取频率 | 周百次 | 周千次 | 周万次+ |
| AI深读行为 | 首页级 | 文档级 | 全文下载级 |
万有AI实践数据：AI厂商触达从3-4家增长到17家+；最热AI资产（Agent Card）被头部厂商数千次抓取；真实GPTBot完成白皮书全文下载——内容进入AI消化通道的直接证据。
十、避坑指南
| 坑 | 表现 | 解法 |
|---|---|---|
| 只做llms.txt | AI覆盖单一入口 | 五层能力矩阵逐项建设 |
| AI文档不同步 | 内容更新后AI读到旧版 | 发布检查清单纳入AI文档同步 |
| 欢迎所有爬虫 | 恶意扫描混入 | 分层侦测+恶意拦截 |
| 静态文件漏部署 | nginx直返目录没更新 | 多路径同步铁律+MD5校验 |
| 忽视缓存陷阱 | 改了内容AI还读旧版 | 清缓存+无query验证 |
万有AI | 依据wanyoucx官网AI友好化实战萃取