XML 站点地图XML Sitemap
你可能会说
新文章已经上线但还没有多少内部链接，帮我生成只包含有效主地址的 sitemap.xml。
用机器可读的 XML 文件列出希望爬虫发现的重要 URL例如新文章还没有内部链接时，可以在 sitemap.xml 中列出它的完整地址，让爬虫更容易发现并请求页面。它是给机器读取的 URL 清单，不是给访客浏览的网站导航，也不保证页面一定被收录或排名。
也常被叫作sitemap.xmlXML 网站地图
文件里的一行 URL 怎样进入爬虫请求
sitemap.xml
1
<url>https://example.com/guides</url>2
<url>https://example.com/guides/cache</url>3
<url>https://example.com/deleted</url>⌕读取 URL 清单
discovered: 3文件能帮助发现 URL，但不能把 404 变成可用页面，也不保证收录。
XML Sitemap 负责哪一步
列出想让系统发现的地址：Sitemap 用 XML 组织完整 URL，适合列出网站希望爬虫发现的重要页面。清单里的地址应真实存在、能访问，并与页面选择的规范地址一致。
发现之后仍要请求和判断：爬虫读取清单后还会请求页面，检查能否访问并决定是否继续处理。Sitemap 增加发现机会，不替页面提供内容，也不替搜索系统做收录和排名决定。
你可以这样告诉 AI Agent
请生成 sitemap.xml，只放入希望爬虫发现、使用完整规范 URL 且能正常访问的重要页面。生成后校验 XML 格式，并逐个请求清单里的地址；报告哪些 URL 返回成功，哪些需要修复。不要把 Sitemap 说成收录或排名保证。
接下来学什么
延伸阅读 · 权威出处
快速练习