LipSEO 博客的第 1 篇原创文章,请记住本博客的域名:www.lipseo.com
在写正文之前,先简单的说一下建立本博客的一个初衷。从事网站 SEO 工作十余年,经历了很多次网站的更迭、关站、卖站、放弃、开始的各种过程,当十年过去,发现 SEO 的思维已经深深刻在脑子里。时不时想写点什么东西,但是之前的 SEO 博客关闭了,于是为了重新有个地方写 SEO 文章,建立了这个非常简单的 SEO 博客,纯粹的写点 SEO 方面的内容。
其实网站更换服务器这样的小事情已经处理过无数次了,基本上没有什么太多问题。最近手里运营的一个软件下载站,经历了一次因为更换服务器导致抓取异常的小问题,在这里简单聊一下。
搜索引擎蜘蛛抓取惯性
更换网站服务器 ip 后,百度蜘蛛抓取会如何变化?
蜘蛛抓取是有惯性的,比如说:网站长期以来是固定抓取某个 ip,当你更换服务器 ip 后,蜘蛛是没有那么快反应去抓取新 ip 的,需要一段时间 (1~2 天) 来获取新服务器对应的 ip。
域名解析新的 ip 后,DNS 解析生效时间的问题。
按照国际惯例,修改域名的 DNS 解析记录,需要最多 48 小时只能才能更新完成。意思就是说可能几分钟,也可能 48 小时,你的用户和搜索引擎蜘蛛才能获取到你网站最新的 ip。
所以综上所述,当网站更换服务器后,需要做什么?
1、及时在站长平台反馈更新 ip 地址
这里以百度站长平台为例,可以在平台上的抓取诊断中,来抓取网站的 URL,然后通过点击报错,来告诉搜索引擎你的老 ip 地址已经更换,请及时更新最新 ip 地址。通常点击报错后,会提示:「已反馈,预计几分钟内完成更新」。虽然是这样提醒的,但实际上并没有这么快会更新好。所以有时候需要重复多报错几次,让百度蜘蛛最快的时间来更新。
2、旧服务器尽量保持正常访问
因为搜索引擎蜘蛛并没有那么快去更新 ip,所以当蜘蛛抓取网站页面的时候,还是在抓取旧服务器上面的内容,所以旧服务器最好是要保持正常访问,免得蜘蛛抓取到的内容都是 404、50x 页面。所以一般建议更换服务器后,旧服务器保持正常访问 3~5 天左右。
3、新服务器更新内容时,不要主动提交百度收录 (以百度为例)
如果在百度蜘蛛还没有及时更新好 ip 的时候,而网站在新服务器更新内容的时候提交了百度收录,会造成百度蜘蛛抓取的页面都是 404,达不到收录的效果,反而会造成负面影响。
为什么会这样呢?因为百度蜘蛛还没有更新抓取 ip,所以当在新服务器提交收录时,抓取的是旧服务器上面的内容,旧服务器上面没有最新的内容,才导致抓取失败。
解决方法:
1、新服务器更新内容暂时不主动提交。
2、或者把更新的内容数据同时同步在两个服务器,保证无论抓取哪个服务器的内容,都能正常访问。
3、等百度站长平台的抓取诊断 ip 正常更新后,再进行更新内容的主动提交收录。
4、让搜索引擎蜘蛛抓取 IP 快速更新:可以单独把 DNS 解析一个搜索引擎 (百度) 的,这样比常规的解析更新更快一些,亲测有效。
更换网站服务器的总结:
1、不能造成蜘蛛抓取失败。
2、不能给用户造成访问失败。
更换网站服务器是站长们经常需要面临的,在更换网站服务器时往往容易出现各种意想不到的问题,其中我认为搜索引擎蜘蛛抓取 ip 更新,是一个比较容易忽略的问题。
因为很多网站运营人员只要网站自己能正常访问就不管了,容易忽略掉搜索引擎蜘蛛的抓取问题。这里建议在晚上实施网站更换服务器的操作,这样可以很大程度避免掉网站内容更新的问题,也可以在一定程度上避免用户访问和蜘蛛抓取的问题。不过具体的还得看网站情况而定。
以上为个人在网站更换服务器时,对于搜索引擎蜘蛛抓取 ip 的问题的简述,如果有同行 SEO 朋友读到此文章,觉得有更好的见解或者我没有注意到的问题,都欢迎留言讨论。