fishzzz

谷歌不收录网页:Search Console 各种状态的原因和排查

搬家与收录更新于 约 1500 字

谷歌不收录分两种:一种是技术上抓不到,另一种是抓到了但觉得不值得收录。先在 Search Console 里看清是哪一种,处理方法完全不一样

谷歌不收录的排查顺序
  1. 网址检查看谷歌给出的具体状态
  2. 测试实际网址看谷歌能否拿到 200 和完整内容
  3. 查屏蔽robots.txt、noindex、X-Robots-Tag
  4. 查拦截CDN、防火墙、安全插件是否挡了蜘蛛
  5. 查规范网址canonical 和跳转是否一致
  6. 补内容和内链页面要有独立价值和入口

先用网址检查工具看状态

在 Search Console 顶部输入要查的网址,会给出这个页面的当前状态,再点「测试实际网址」,让谷歌现在就去抓一次。重点看三项:抓取是否成功、是否允许编入索引、谷歌选择的规范网址是什么

常见状态和含义

状态含义处理方向
已发现,尚未编入索引知道有这个网址但还没去抓网站整体权重低或抓取受限,加内链、提交站点地图
已抓取,尚未编入索引抓过了但决定先不收内容质量、重复度问题,充实内容
被 robots.txt 屏蔽不允许抓取检查 robots.txt 规则
被 noindex 标记排除页面要求不收录检查 meta robots 和响应头
服务器错误或 403抓取时被拒绝查 CDN、防火墙、安全插件
重复网页,未选定规范网页和其他页面重复统一规范地址和跳转

技术问题一:被屏蔽了

  • robots.txt:直接打开 你的域名/robots.txt 看。WordPress 后台「设置 → 阅读」里有一个「建议搜索引擎不索引本站点」,勾上后会输出禁止规则,建站时勾了、上线后忘记取消很常见
  • noindex 标签:查看网页源代码搜索 noindex。SEO 插件可以对单个页面、分类、标签设置不索引
  • 响应头里的 X-Robots-Tag:有的服务器或插件在响应头里加了 noindex,网页源代码里看不到,要用 curl -I 查看

技术问题二:谷歌蜘蛛被拦截

这种情况网站自己打开一切正常,但谷歌抓取时报 403 或服务器错误

  • CDN 防盗链:CDN 设置了 Referer 白名单,并且勾选了「不允许空 Referer」,蜘蛛抓取时没有 Referer 就被拒绝。我自己的网站就遇到过,Search Console 显示页面全部 403
  • Cloudflare 的机器人策略:开启了阻止 AI 爬虫或者机器人攻击模式,规则误伤了谷歌蜘蛛
  • 服务器的自动封禁:防火墙或封 IP 脚本根据访问频率自动封禁,把抓取频繁的谷歌蜘蛛 IP 也封了,或者把 CDN 节点的 IP 封了
  • 安全插件:对国外 IP 或者特定 UA 做了拦截

判断方法是看服务器访问日志里谷歌蜘蛛请求的状态码。注意要验证是真的谷歌蜘蛛,可以对 IP 做反向 DNS 查询,真的谷歌蜘蛛会解析到 googlebot.com 或 google.com 结尾的域名

技术问题三:规范网址和跳转混乱

同一个页面有多个地址都能访问(带不带 www、带不带 .html、http 和 https),而且没有统一跳转,谷歌会自己挑一个当规范网址,经常不是你想要的那个。统一做 301 跳转,并且每个页面都写明 canonical

技术问题四:页面内容要靠脚本才出现

页面的主要内容由 JS 动态加载,谷歌虽然能执行 JS,但会排到后面的渲染队列,而且接口请求失败时就看不到内容。用网址检查工具的「查看抓取的网页」看截图和 HTML,确认谷歌看到的内容是完整的

抓得到但不收:内容和结构的问题

技术上一切正常,仍然是「已抓取,尚未编入索引」,通常是谷歌觉得这个页面价值不够

  • 页面内容太少,或者和站内其他页面高度相似,比如几十个产品页只换了型号
  • 页面没有站内链接指向它,只在站点地图里出现
  • 网站整体页面很少、外部链接很少,谷歌分配的抓取和收录额度有限

能做的是:每个页面写出独立有用的内容,从首页和相关页面链接过去,持续更新,并在 Search Console 里对重要页面请求编入索引

换域名、改版之后不收录

网站换域名或者改了网址结构,旧地址要做 301 跳转到对应的新地址,不是统一跳到首页。在 Search Console 里用「更改地址」工具通知谷歌,并提交新的站点地图

收录一直上不去、或者 Search Console 报了看不懂的错误,可以把截图发我看看

把情况发我,先免费看一眼

不用先付钱。我看完直接告诉你问题在哪、能不能做、要多久

先免费判断改动前完整备份工程师本人对接淘宝担保交易

周一至周日 09:00 – 22:00

每天 09:00 – 22:00 在线

微信二维码扫码加微信fishzzz233 淘宝店铺二维码手机淘宝扫码平台担保交易

先免费判断,再决定做不做每天 09:00 – 22:00 · 一般 1 小时内回复

淘宝下单平台担保交易