sitemap 与 robots.txt 配置

sitemap 相当于给蜘蛛递了一张重要页面清单，告诉它哪些页面值得优先抓取；robots.txt 则明确告诉它哪些可以抓、哪些别碰。

sitemap.xml 要点

• 只保留 loc 和可靠的 lastmod。changefreq 与 priority 已被 Google 明确忽略。
• 只放值得收录的页面，后台、测试页不要放进去。

robots.txt 要点

• 用 Allow: / 明确允许抓取全站。
• 显式声明 AI 爬虫（GPTBot、ClaudeBot、Google-Extended 等）。注意 Google-Extended 控制的是 AI 训练抓取，不影响 Googlebot 的搜索抓取与排名。
• 在文件末尾用 Sitemap: 指向站点地图地址。

性能补充

抓取和索引解决的是“能不能被收录”，Core Web Vitals 解决的是“排名时有没有优势”。本站点已做到：关键 CSS 内联使首屏不阻塞渲染，外部样式表异步加载，图片（如有）必须设置 width/height 防止 CLS。部署后用 PageSpeed Insights 验证 LCP ≤ 2.5s、INP ≤ 200ms、CLS ≤ 0.1 即可[citation:1][citation:5]。

页面结构本身怎么规划，见上一篇 URL 与目录结构。