搜索引擎爬虫，多域名承载相似内容时怎样说明各自用途
📱 Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)
🔗 /b352afd5297b.html
📄
搜索引擎爬虫，多域名承载相似内容时怎样说明各自用途
先给一个有条件的结论：如果多个域名确实承担不同用途，最有效的做法不是只靠 canonical 或 robots.txt 互相指向，而是在每个域名上写清“这个域名服务谁、解决什么问题、与另一个域名是什么关系”，并让爬虫能从任一入口顺着链接或站点地图到达这份说明。只有当用途差异真实存在、且每个域名都有独立入口时，这套说明才成立；如果多个域名只是同一批内容的镜像，说明用途反而帮不上忙，此时应优先做合并或重定向。
用途说明要写到什么颗粒度
“品牌官网”“产品站”“帮助中心”这类标签太粗，爬虫和人都无法据此判断两个域名是否该各留一份。可用的说明至少包含三层：
- 服务对象：面向哪个地区、哪种语言或哪类身份的用户。
- 内容边界：这个域名只放哪些类型的内容，哪些内容明确不在范围内。
- 与相邻域名的关系：是主站与子站、正式站与测试站，还是同一内容的不同语言版本。
一个假设例子：某团队用 example.com 放中文主站，用 example.net 放面向合作方的接口文档。两个域名有部分重叠的介绍页。若在 example.net 的首页和文档索引页写明“本站仅为合作方提供接口说明，产品介绍以 example.com 为准”，并在重叠页面上把 canonical 指向主站对应页，爬虫就有依据区分主次。反之，如果两个域名都只写“欢迎访问”，重叠页各自 canonical 到自己，爬虫只能看到两份相似内容互相竞争。
为什么样本成立、规模化后会失效
单个页面写清用途、加对 canonical，往往看起来有效。规模化后出现例外，通常来自三类原因：
- 说明只写在首页，深层页面没有继承。爬虫从深层页直接进入时，看不到首页那段用途说明，仍会把两个域名的相似页当作独立内容。
- 用途边界随业务漂移。原本只放文档的域名后来加了博客和活动页，说明没有同步更新，旧说明反而误导判断。
- 跨域 canonical 被忽略。不同搜索引擎对跨域 canonical 的处理并不一致，把它当作唯一手段时，部分引擎可能仍保留原 URL。
因此不能照搬的边界是：用途说明和 canonical 只能表达意图，不能强制爬虫接受。当两个域名的内容重合度持续升高、且没有真实的用户分流需求时，再精细的说明也无法替代合并。
一个会让结论失效的反例
假设某团队把 example.com 作为主站，把 example.org 作为“旧版归档”。归档域名上的页面内容与主站高度相似，只是加了“已归档”字样，并把 canonical 指向主站。团队认为这样已足够说明用途。
但如果归档域名仍保留完整导航、站内搜索和可抓取的列表页，爬虫会持续发现大量与主站重复的 URL。此时“归档”这个用途说明与页面实际可访问状态矛盾：用户和爬虫都能把归档站当独立站使用。合理做法是给归档站加 noindex 或限制抓取，只保留必要的存档入口，而不是依赖一句用途说明。这里要注意，robots.txt 的抓取限制不等于可靠的索引移除，已收录的 URL 可能仍会出现在结果中，需要配合页面级指令和状态码处理。
下一步动作：先做一次用途与重合度盘点
在写说明之前，先对每个域名做一次盘点，动作和结果直接影响后续选择：
- 列出每个域名下与其它域名重合的 URL 数量。重合度低，用途说明加 canonical 通常够用；重合度高，优先考虑重定向或合并。
- 检查每个域名是否有独立入口和独立用户群。没有独立入口的域名，多数情况下不应作为独立站保留。
- 确认用途说明是否出现在每个可能被直接访问的页面类型上，而不只是首页。
- 分别核查目标搜索引擎对跨域 canonical 和
noindex的支持情况，不要假设所有引擎行为一致。
如果盘点发现两个域名服务的是同一批用户、同一批内容，正确动作是选一个作为主域名，把另一个做 301 重定向，而不是继续补充用途说明。只有当用途差异真实、入口独立、重合页有明确主次时，说明各自用途才是值得投入的方向。站点地图可以辅助爬虫发现这些说明页，但它不保证收录，不能替代页面上的清晰表达。
