URL 与目录结构

蜘蛛从首页出发，顺着链接一层层往下爬。目录层级越浅，重要页面越容易被爬到；URL 越干净，蜘蛛越容易判断页面主题，也越不容易陷入参数循环。

三个原则

  1. 层级扁平：重要页面控制在首页点两三次就能到达，避免五六层深的目录。
  2. 语义化：用英文小写单词加连字符，如 /guide/url-structure.html，让人和蜘蛛都能从 URL 猜出内容。
  3. 避免动态参数：不出现 ?id=123&cat=4 这类地址，静态站直接生成 .html 或目录形式即可。

一个可参考的路径规划

配好结构后，下一步是让蜘蛛知道哪些页面值得优先抓，见 sitemap 与 robots.txt 配置。