- 网址检查看谷歌给出的具体状态
- 测试实际网址看谷歌能否拿到 200 和完整内容
- 查屏蔽robots.txt、noindex、X-Robots-Tag
- 查拦截CDN、防火墙、安全插件是否挡了蜘蛛
- 查规范网址canonical 和跳转是否一致
- 补内容和内链页面要有独立价值和入口
先用网址检查工具看状态
在 Search Console 顶部输入要查的网址,会给出这个页面的当前状态,再点「测试实际网址」,让谷歌现在就去抓一次。重点看三项:抓取是否成功、是否允许编入索引、谷歌选择的规范网址是什么
常见状态和含义
| 状态 | 含义 | 处理方向 |
|---|---|---|
| 已发现,尚未编入索引 | 知道有这个网址但还没去抓 | 网站整体权重低或抓取受限,加内链、提交站点地图 |
| 已抓取,尚未编入索引 | 抓过了但决定先不收 | 内容质量、重复度问题,充实内容 |
| 被 robots.txt 屏蔽 | 不允许抓取 | 检查 robots.txt 规则 |
| 被 noindex 标记排除 | 页面要求不收录 | 检查 meta robots 和响应头 |
| 服务器错误或 403 | 抓取时被拒绝 | 查 CDN、防火墙、安全插件 |
| 重复网页,未选定规范网页 | 和其他页面重复 | 统一规范地址和跳转 |
技术问题一:被屏蔽了
- robots.txt:直接打开
你的域名/robots.txt看。WordPress 后台「设置 → 阅读」里有一个「建议搜索引擎不索引本站点」,勾上后会输出禁止规则,建站时勾了、上线后忘记取消很常见 - noindex 标签:查看网页源代码搜索
noindex。SEO 插件可以对单个页面、分类、标签设置不索引 - 响应头里的 X-Robots-Tag:有的服务器或插件在响应头里加了 noindex,网页源代码里看不到,要用
curl -I查看
技术问题二:谷歌蜘蛛被拦截
这种情况网站自己打开一切正常,但谷歌抓取时报 403 或服务器错误
- CDN 防盗链:CDN 设置了 Referer 白名单,并且勾选了「不允许空 Referer」,蜘蛛抓取时没有 Referer 就被拒绝。我自己的网站就遇到过,Search Console 显示页面全部 403
- Cloudflare 的机器人策略:开启了阻止 AI 爬虫或者机器人攻击模式,规则误伤了谷歌蜘蛛
- 服务器的自动封禁:防火墙或封 IP 脚本根据访问频率自动封禁,把抓取频繁的谷歌蜘蛛 IP 也封了,或者把 CDN 节点的 IP 封了
- 安全插件:对国外 IP 或者特定 UA 做了拦截
判断方法是看服务器访问日志里谷歌蜘蛛请求的状态码。注意要验证是真的谷歌蜘蛛,可以对 IP 做反向 DNS 查询,真的谷歌蜘蛛会解析到 googlebot.com 或 google.com 结尾的域名
技术问题三:规范网址和跳转混乱
同一个页面有多个地址都能访问(带不带 www、带不带 .html、http 和 https),而且没有统一跳转,谷歌会自己挑一个当规范网址,经常不是你想要的那个。统一做 301 跳转,并且每个页面都写明 canonical
技术问题四:页面内容要靠脚本才出现
页面的主要内容由 JS 动态加载,谷歌虽然能执行 JS,但会排到后面的渲染队列,而且接口请求失败时就看不到内容。用网址检查工具的「查看抓取的网页」看截图和 HTML,确认谷歌看到的内容是完整的
抓得到但不收:内容和结构的问题
技术上一切正常,仍然是「已抓取,尚未编入索引」,通常是谷歌觉得这个页面价值不够
- 页面内容太少,或者和站内其他页面高度相似,比如几十个产品页只换了型号
- 页面没有站内链接指向它,只在站点地图里出现
- 网站整体页面很少、外部链接很少,谷歌分配的抓取和收录额度有限
能做的是:每个页面写出独立有用的内容,从首页和相关页面链接过去,持续更新,并在 Search Console 里对重要页面请求编入索引
换域名、改版之后不收录
网站换域名或者改了网址结构,旧地址要做 301 跳转到对应的新地址,不是统一跳到首页。在 Search Console 里用「更改地址」工具通知谷歌,并提交新的站点地图
收录一直上不去、或者 Search Console 报了看不懂的错误,可以把截图发我看看

