网站优化之哪些设置会影响蜘蛛的爬取?

网站优化之哪些设置会影响蜘蛛的爬取?

2020-10-16 23:27:39 admin

 通常,在进行优化网站之前,都会对网站进行一定的疏通和调整,理顺网站的结构来更有利于蜘蛛的爬取,但是还有些站长们不太清楚网站的哪些设置会影响蜘蛛的爬取,下面就一起来了解一下。

  一、登录设置

  有些网站会设置注册账号的服务,登录之后才能看到网站的内容,这种设置对于蜘蛛来说不友好,因为蜘蛛在爬行网站时,不会进行自动注册登录,所以就会对其识别不了,自然也就抓取不到了。

  二、动态URL

  所谓动态URL就是在链接中“?”同时以aspx、asp、jsp、perl、php、cgi为后缀的url,便是动态URL,动态URL的变动性较大,不如静态URL稳定,搜索引擎一般对动态URL不够信任,从而使很多动态URL的网页不能被收录。

  三、使用cookies

  cookies的作用是识别用户的身份,如果网站在优化时没有进行开启cookies,那么就将无法进行访问,这样就会导致蜘蛛也无法访问,从而影响抓取。

  四、Flash文件

  有些网站在进行制作时,为了能够能增加网站的视觉效果,会给网站设计一些Flash文件,但这些文件搜索引擎并看不到,当然蜘蛛也更加无法读取相关内容,就会影响蜘蛛对网站的爬取,所以为了能体现网站优化的最好效果,不提倡这种Flash做首页图片。

  综上所述,以上几点就是为大家总结的一些网站设备对蜘蛛爬行的影响,通过以上的了解相信优化人员也将对网站优化有更深的了解和掌握,从而制定更优质的网站优化计划,为优质的网站优化做好铺垫。网站优化之哪些设置会影响蜘蛛的爬取?