安排最小修复试验的核心是:每次只改一个可能影响收录的因素,先设定可观察的判断标准,再决定改哪一项、改多久、什么条件下回退。对“收录网站”这个目标来说,最小试验不是把站点大改一遍,而是从抓取、索引、呈现三个环节中挑一个最可疑的点,用最小代价取得可比较的结果。
三种情况的修复动作完全不同,混在一起做就无法判断哪一步有效。可以先做如下区分:
判断依据要来自可核对的数据,而不是感觉。日志、抓取统计、索引状态查询、site: 查询只能作为线索,不同搜索引擎的支持程度和结果含义需要分别核查,不能拿一个引擎的结果推断另一个。
假设你面对一批未被收录的页面,通常有两种处理路径,可以按下面的条件选择。
方案A:改抓取入口。包括调整内链、提交站点地图、修正 robots.txt 中误挡的路径、减少需要多次跳转才能到达的层级。适用条件是:日志显示抓取频次低,或目标 URL 长期没有被访问。代价是改动面可能较大,尤其是内链结构调整,见效依赖抓取调度,不能承诺固定时间。
方案B:改页面本身。包括补充独有内容、去掉与站内其他页面高度重复的段落、修正错误的状态码、让主要内容不依赖交互才出现。适用条件是:页面已被抓取但反复不被索引,或索引后与另一页面重复。代价是内容改动需要时间,且效果同样受抓取与索引周期影响。
选择依据可以压缩成一句话:先看抓取记录,有抓取问题优先改入口;无抓取问题但长期不索引,优先改页面。如果两个问题同时存在,也先只改一个,另一个留到下一轮。
这里要区分“可能原因”和“已经定位的原因”。日志里没有抓取记录,可能是抓取预算分配,也可能是入口太深、服务器响应慢或被 robots.txt 挡住,不能凭一个现象断言唯一原因。试验的价值就在于用一次单变量改动去排除其中一种解释。
如果样本组相对对照组出现了方向一致的变化,并且变化集中在被改动的那一项上,可以判定这次改动值得保留并扩大到同类页面。如果两组没有明显差异,先检查试验是否真的生效:改动是否被抓取到、判断周期是否过短、样本是否过少。确认生效后仍无差异,就回退这项改动,换下一个假设。如果样本组反而变差,优先回退,再排查是否改动引入了新的抓取障碍,例如误加 noindex、状态码错误或内链被大量移除。
下一步可以从现有日志中挑出最近 30 天完全没有抓取记录的 URL 清单,按模板分组,先对其中一组只做内链入口调整,另一组保持不动,两周后比较抓取记录的变化。