让蜘蛛喜欢爬的静态网站，该怎么写

静态网站天生有抓取优势：内容直接写在 HTML 源码里，蜘蛛一来就能读到。但并非所有静态站都被待见。本指南从结构、源码、内链、站点地图四个方面，讲清楚一个对爬虫友好的静态站应该长什么样。

指南目录

• URL 与目录结构

  扁平、语义化、可预测的路径规划，是蜘蛛顺利覆盖全站的第一步。

• sitemap 与 robots.txt 配置

  给蜘蛛递一张重要页面清单，并明确告诉它哪些该抓、哪些别碰。

核心原则

一个蜘蛛友好的静态站，本质是一张路径清晰、文字直接可读、没有死胡同的地图。蜘蛛不需要猜、不需要执行复杂代码、不需要绕路，顺着干净链接进来，满眼都是可读的文字和清晰的路径，它就愿意反复来爬。

具体做法见 完整指南，或先了解 这个站点。