fishzzz

阿里云 CDN 回源跟随 301 导致页面重复:谷歌报「重复网页」的排查

搬家与收录更新于 约 1600 字

这个问题是在我自己的网站上遇到的:源站明明设置了 301 跳转,接了 CDN 以后跳转却「消失」了,两个地址都直接返回 200,谷歌把它们当成了两个重复的页面

CDN 吞掉 301 的排查顺序
  1. 对比两个地址源站和 CDN 各请求一次
  2. 看状态码CDN 返回 200 而源站返回 301
  3. 查回源设置是否开启回源跟随跳转
  4. 关闭跟随让 301 原样返回给访客
  5. 刷新缓存把旧的 200 结果清掉
  6. 重新提交Search Console 验证修复

问题是怎么出现的

很多网站会做这样的跳转规则:/page.html 永久跳转到 /page,www 跳转到不带 www 的主域名,http 跳转到 https。这些 301 的作用是告诉搜索引擎「旧地址已经搬了,请用新地址」

接了 CDN 以后,如果 CDN 开启了「回源跟随 301/302」,流程就变了

  1. 访客或蜘蛛请求 CDN 上的 /page.html
  2. CDN 回源,源站返回 301 到 /page
  3. CDN 不把 301 交给访客,而是自己再去请求 /page
  4. CDN 把 /page 的内容以 200 状态码返回给访客,地址栏仍然是 /page.html

结果就是两个地址都返回 200、内容完全相同。搜索引擎看到的是两个重复页面,而不是一个跳转

怎么确认是这个问题

在 Search Console 里的表现

  • 「网页索引编制」报告里出现「重复网页,用户未选定规范网页」
  • 网址检查工具显示谷歌选择的规范网址和你想要的不一样
  • 带 .html、带 www 的旧地址一直在索引里,不会被替换

用命令对比

分别请求 CDN 和源站,看返回的状态码

curl -sI https://你的域名/page.html | head -3
curl -sI --resolve 你的域名:443:源站IP https://你的域名/page.html | head -3

第一条走 CDN,第二条直接连源站。如果源站返回 301、CDN 返回 200,就确定是 CDN 吞掉了跳转

修复方法

  1. 在 CDN 控制台找到回源配置里的「回源跟随 301/302」或类似选项,关闭它
  2. 刷新 CDN 缓存,至少要刷新那些旧地址,否则 CDN 节点里缓存的还是之前的 200 结果
  3. 再用上面的命令验证,CDN 应该也返回 301 了

同时检查规范标签

每个页面的 head 里都应该有一条 <link rel="canonical" href="...">,写明这个页面的正式地址。即使跳转出了问题,规范标签也能帮搜索引擎判断哪个是主版本

  • 规范地址要和 301 跳转的目标一致,比如都是不带 .html、不带 www、https 开头
  • 站点地图里只放规范地址
  • 站内链接也统一用规范地址,不要一会儿带 .html 一会儿不带

修复后让谷歌重新处理

  • 在 Search Console 的「重复网页」问题详情里点「验证修复」
  • 用网址检查工具对主要页面请求编入索引
  • 重新提交站点地图

谷歌重新抓取旧地址时会看到 301,逐步把它们从索引里替换掉,一般需要几周时间

我自己网站上的处理过程

这个站是静态页面,源站在 IIS 上做了两条规则:带 .html 的地址 301 到不带 .html 的地址,www 301 到主域名。接入 CDN 一段时间后,Search Console 里出现了几条「重复网页」,网址检查显示谷歌抓到的旧地址返回的是 200

当时的排查过程

  1. 直连源站请求旧地址,返回 301,说明源站规则没问题
  2. 走 CDN 请求同一个地址,返回 200,内容和新地址一模一样
  3. 翻 CDN 的回源配置,发现「回源跟随 301/302」是开着的
  4. 关闭后刷新这几个旧地址的缓存,再请求时 CDN 也返回 301 了
  5. 在 Search Console 对重复网页点验证修复,对新地址请求编入索引

整个修改只花了几分钟,难的是想到问题出在 CDN 这一层。因为浏览器访问时一切正常,地址栏也没什么异样,只有逐个对比状态码才看得出来

其他会吞掉跳转的情况

  • CDN 的「忽略参数」设置:同一个页面带不同参数被当成同一份缓存,样式更新后访客拿到的还是旧文件。静态资源要在文件名里带版本号,而不是用问号参数
  • CDN 缓存了跳转本身:源站后来改了跳转目标,CDN 还在返回旧的跳转
  • 反向代理或负载均衡层面也有类似的跟随跳转选项

网站接了 CDN 后收录出现异常的,可以把 Search Console 的截图发我看看

把情况发我,先免费看一眼

不用先付钱。我看完直接告诉你问题在哪、能不能做、要多久

先免费判断改动前完整备份工程师本人对接淘宝担保交易

周一至周日 09:00 – 22:00

每天 09:00 – 22:00 在线

微信二维码扫码加微信fishzzz233 淘宝店铺二维码手机淘宝扫码平台担保交易

先免费判断,再决定做不做每天 09:00 – 22:00 · 一般 1 小时内回复

淘宝下单平台担保交易