蜘蛛总是抓取死链怎么办?教你怎么避免

       最近在维护网站的时候,发现搜索引擎在大量的抓取死链,因为蜘蛛状态码都是404,想必对网站都会产生影响,真不知道这是不是导致最近网站被降权的主要原因。下面就开始的分析蜘蛛总是抓取死链的问题,并且分享怎么避免蜘蛛总是抓取死链的问题。今天是9月21日,网站降权已经有三天了,在9月19日开始,就出现了关键词排名下降、预计流量下降、收录速度变慢的情况。家添一如既往的查看网站日志,试图找出最近网站被降权的原因,就在现在,有重大发现。从分析网站日志的蜘蛛状态码来看,前几天蜘蛛(百度、谷歌)正在大量的抓取死链,谷歌可能没什么影响,都能无所谓,主要就是百度的问题。下图就给大家看看蜘蛛404状态码(死链)的部分内容:

蜘蛛抓取死链.jpg

   时间是9月19日,与降权的那天时间基本一致,抓取的内容都是满满的死链,先不管这些死链是怎么产生的。我记得我的站点从未有过这些路径,可能是被负面SEO整的也不一定。既然看到了这么多的死链,下面的操作就是处理。显然根据家添前面分享的在百度后台提交死链肯定是行不通的,因为这么多的链接,而且我还发现一个重大问题:在百度后台提交的死链,百度一样会抓取。不知道是百度的状态码检测,还是其他什么原因,所以这次直接出杀手锏了——robots.txt中直接禁止抓取。链接太多了,直接填写链接很不现实,我建议直接抓典型,看看死链都是出自路径的那些文件夹,然后在robots.txt中直接禁止抓取这些文件夹即可,下图看看我抓的几个典型文件夹,死链比较多的:

我的robots内容.jpg

抓住几个重要的目录,然后禁止抓取,这样就解决蜘蛛总是抓取死链的问题,至于这么多的死链是怎么产生的,搜索引擎为什么会去抓,后面我会继续调查。当然这里有个误区,抓取404的内容并不等于是死链,死链必须是404的链接才叫死链啦。这里抓取的是404页面,严格意义上说不叫死链。

作者:炫网SEO
来源:http://xzhwan.com/a/46.html

赞 ()