返回
出海评分56/100
打开原文

Google解释如何避免CDN迁移带来的SEO问题

2026年11月18日 20:16:03
Google解释如何避免CDN迁移带来的SEO问题
导读
Google员工Gary Illyes和Cherry Prommawin解释,迁移到CDN后更快的服务器响应可能促使Googlebot提高抓取速率,而CDN缓存尚未填充时请求仍由源服务器承担,可能压垮源站;若管理员因流量激增开启严格机器人拦截,还可能误屏蔽Googlebot,导致页面从搜索索引中移除。Google建议预先通过程序化请求预热缓存、允许受信任爬虫,并在源站需求过高时暂时限制Googlebot抓取。
正文·翻译
中文
原文

Google员工Gary Illyes和Cherry Prommawin解释了迁移到CDN为何会意外增加抓取量并压垮源服务器,尽管最终会提升网站性能。他们还提到,试图控制爬虫流量的做法有时会意外屏蔽Googlebot,从而损害搜索可见性。

迁移到CDN可能导致Googlebot增加抓取

Illyes和Prommawin解释说,迁移到CDN可能导致Googlebot增加抓取,因为更快的服务器响应表明网站基础设施能够处理更多请求。Google的自动抓取系统将性能提升解读为可以增加抓取的信号,并据此逐步提高抓取速率。

CDN缓存最初是空的,只有当浏览器或爬虫请求某个页面时,CDN才开始缓存,此时请求必须被转发到源服务器,也就是实际网站所在之处。

当Google提高抓取速率时,最初的抓取由源服务器处理。但此时Googlebot更猛烈地请求服务器,正是这一点最初可能压垮源服务器。

Gary Illyes解释道:

“首先,抓取指标突然表明网站能够承受更大的抓取量。另一方面,由于CDN缓存尚未填充,源服务器仍然必须提供所请求的页面。

基本上,CDN就像把水管上的阀门卸掉了,于是爬虫现在是在对着消防水龙喝水。”

Cherry Prommawin补充了更多细节:

“正常情况下,我们的爬虫遵循一条重要规则。当服务器响应更快时,爬虫会认为基础设施健康,并缓慢提高抓取速度。

……于是爬虫看到服务器响应有多快,变得非常兴奋,开始以越来越高的速度抓取整个网站。但这是个陷阱。

人们以为CDN从第一天起就能应对抓取高峰,但……缓存必须先被网站的资源填充起来。”

Gary Illyes解释说,对某个页面的首次请求时,CDN必须先向源服务器获取该页面,以便用内容填充缓存。直到对该页面的第二次请求时,缓存才填充了内容并开始发挥作用。

Illyes接着说道:

“……这意味着你的源服务器可能仍会被洪流冲击。当然,公平地说,我们的爬虫需要时间逐步提速。不会在一毫秒内发生。

空缓存意味着你的源服务器仍在承担所有繁重工作。在缓存填充之前,你的CDN还起不到盾牌的作用。”

要点:

CDN无法在不先从源服务器获取的情况下提供未缓存的URL,而这只有在首次请求该URL之后才会发生。爬虫几乎一直在访问大量URL,并可能在CDN缓存完全填充之前产生大量源站流量。

CDN机器人防护与意外屏蔽Googlebot

下一个问题涉及意外屏蔽Googlebot,并因Google无法再抓取和索引网站上的URL而导致搜索曝光减少。Illyes和Prommawin是在一位网站管理员在Cloudflare上拨动开关、无意中屏蔽了Googlebot的背景下解释这一点的。

这是一个真实存在的问题。我记得有一个案例:某知名网站只要启用Cloudflare,其巨大的流量就会枯竭,而一旦关闭就会恢复。他们费了九牛二虎之力才诊断出原因,而当时的客服人员也无法帮到他们。正如Illyes和Prommawin所指出的,情况可能是管理员开启了一个严格的机器人过滤器,无意中屏蔽了Googlebot。

Illyes举了一个管理员正是这样做的例子:

“他们看到流量激增,就以为自己正被僵尸网络疯狂抓取,于是自然就慌了。”

而接下来有时会发生的是,管理员可能会开启“一刀切的安全规则”,从而屏蔽Googlebot。

Prommawin提供了更多细节:

“慌乱之中,有人可能会登录自己的CDN控制面板,开启完全屏蔽机器人的设置。

……如果CDN检测到自动化请求,就会用CAPTCHA验证来拦截它们,要求它们点击红绿灯图片以证明自己是人类。

……它看到自动化请求,将其标记为机器人,然后用CAPTCHA进行拦截。而由于我们的爬虫无法识别红绿灯,它们就无法通过测试。”

长时间屏蔽Googlebot最终会导致Google开始将这些页面从索引中移除。

Prommawin建议网站管理员应配置其CDN,允许已知且受信任的爬虫通过。这种方法称为白名单,即只有位于“允许”列表上的爬虫才能通过,所有其他爬虫则不能。

他们还建议,如果对源服务器的请求导致宕机,进而可能对网站的正常人类流量造成负面影响,则应在CDN层面限制Googlebot的速率。

建议预先预热CDN缓存

当网站刚开始使用CDN时,CDN并没有网站内容的缓存。缓存只有在浏览器或爬虫访问并请求后才会被加载。

缓存预热是指向网站请求内容,使内容被加载到CDN上的过程。这确保在用户请求之前内容已经加载到CDN上,从而确保内容能够快速交付,而无需CDN先从源服务器(实际内容文件所在的服务器)获取内容。

Illyes建议通过程序化方式请求URL来“预热”缓存,以便以可控的方式填充缓存。

“为了在借助CDN增强网站后平稳运行,请看看能否在向搜索引擎敞开大门之前,通过CDN以程序化方式抓取你的主要URL来预热缓存。”

要点总结

Google的主要观点是,迁移到CDN可能会意外造成爬取速度加快与源服务器需求增加同时出现。这反过来又可能导致无意中设置严格的安全限制,从而阻止Googlebot访问网站。

对SEO人员和网站所有者而言,以下三点尤为重要:

1. 使用CDN可能会在检测到更快的服务器响应时触发Googlebot爬取量增加,即使CDN的缓存尚未填充,这反过来意味着对源服务器上URL的请求增加。

2. CDN迁移可能会无意中导致页面从Google搜索中消失,因为旨在阻止恶意机器人的严格安全设置也可能将Google的爬虫拒之门外。

3. Google建议预热缓存、允许受信任的爬虫访问,并在服务器需求过高时暂时控制爬取。

阅读Google新的CDN文档 此处.

在此观看Google播客:

精选图片/截图

来源:Google Explains How To Avoid CDN Migration SEO Problems
免费下载
免费下载
消息
小程序
小程序
小程序
交流群
交流群
交流群
回顶部