Sitemap 负责告诉搜索引擎有哪些页面#

Sitemap 里应该包含公开文章、分类页、归档页等重要 URL。新增文章后，如果 sitemap 没更新，搜索引擎仍然可能通过链接发现文章，但效率会下降。

检查重点是域名是否正确、URL 是否是新站路径、时间是否更新。

Robots 负责说明哪些路径可以抓取#

robots.txt 不用于保护敏感内容，它只是给爬虫的抓取建议。真正不想公开的内容不能只靠 robots 隐藏。

博客里通常允许抓取公开页面，同时在 robots 里声明 sitemap 地址。

最小检查命令#

1
curl -I https://blog.tjcheng.cn/sitemap-index.xml
2
curl -I https://blog.tjcheng.cn/robots.txt
3
curl -s https://blog.tjcheng.cn/robots.txt

如果返回不是 200，先看构建产物是否存在，再看 Nginx 是否把静态文件正确暴露出来。

迁移后容易忽略的点#

• sitemap 里还残留旧域名或旧端口。

• robots 指向了不存在的 sitemap 文件。

• 文章路径从旧博客迁移后没有生成对应静态页面。

• 把草稿或测试页面也放进了公开索引。

实战复盘#

我会用《Sitemap 与 Robots 检查笔记》建立一个可复用的维护标准：先说明为什么要做，再写具体检查项，最后给出发布后的确认方式。读者照着做时，不需要再猜下一步。

博客类文章最容易变成泛泛而谈，所以每篇都应该留下明确对象，例如 frontmatter、Pagefind、Nginx、Sitemap、分类卡片。对象越明确，文章越容易被搜索和复用。

如果以后发现文章只有原则没有操作，就应该补一个最小命令或检查清单。维护博客本身也是工程工作，要能验证、能回滚、能复盘。

最小验收样例#

验收《Sitemap 与 Robots 检查笔记》时，我会选一篇真实文章或一个真实页面作为样例，而不是只看源码。先确认页面能打开，再确认列表、分类、归档、搜索这些入口都能找到它。

如果文章讲的是站点维护，还要记录修改前后差异：改了哪个文件、构建产物是否更新、线上 HTTP 状态码是多少。这样后面出问题时，可以直接回到这次验收记录。

小结#

Sitemap 和 robots 的检查不复杂，但它们是站点发布质量的一部分。每次大规模新增或迁移文章后，都应该顺手确认一次。