02 2017-07 15:30

使用robots巧妙避免蜘蛛黑洞

〈 返回列表

  对于搜索引擎(Search Engine)(Engine)来说,蜘蛛(baiduspider)黑洞特指网站(website)通过( tōng guò)极低的成本制造(zhì zào)出大量参数(parameter)过多、内容类同但url不同的动态URL ,就像一个无限循环(continue)的“黑洞“,将spider困住。青岛网站建设作为互联网发展的一种体现形式,越是新鲜的东西越能吸引大众的眼球,因而贵阳网站建设也在不断地被强调创新,所谓的创新又要符合时代的发展,做到让用户易于接受。spider浪费了大量资源抓取的却是无效网页。
  如很多网站都有筛选功能,通过筛选功能产生的网页经常会被搜索引擎(Engine)(Search Engine)大量抓取,而这其中很大一部分(bù fèn)是检索价值低质的页面。青岛网站建设无论是在哪个阶段,既然是互联网中的一部分,那么就该走在它的发展轨道上,善于利用其中的热点来作为网站的参考,这样做尤其对贵阳网站优化的作用更为明显。如“500-1000之间价格的租房”,首先网站包括现实中上基本没有相关资源,其次站内用户和搜索引擎用户都没有这种检索习惯(xí guàn)。这种网页被搜索引擎大量抓取,只能是占用网站宝贵(bǎo guì)的抓取配额,那么该如何避免这种情况(qíng kuàng)呢?

      我们以北京美团网为例,看看美团网是如何利用robots巧妙避免这种蜘蛛黑洞的
      对于普通的筛选结果页,使用(use)了静态链接,如
      http://bj.meitn.com/category/zizhucan/weigongcun
      同样是条件筛选结果页,当用户选择不同排序条件后,会生成带有不同参数的动态链接,而且即使是同一种排序条件如都是按销量降序排列,生成的参数也都是不同的。如http://bj.meitn.com/category/zizhucan/weigongcun/hot?mtt=1.index/poi.0.0.i1afqhekhttp://bj.meitn.com/category/zizhucan/weigongcun/hot?mtt=1.index/poi.0.0.i1afqi5c

  对于美团网来说,只让搜索引擎(Search Engine)抓取筛选结果页就可以了,而各种带参数的结果排序页面则通过robots规则(guī zé)拒绝提供给搜索引擎。青岛网络推广意义上讲,企业从开始申请域名、租用空间、网站备案、建立网站、直到网站正式上线开始就算是介入了网络推广活动,而通常我们所指的网络推广是指通过互联网的种种手段,进行的宣传推广等活动,确切的说这也是一种互联网营销的一部分,即通过互联网这类的推广最终达到提高转化率。在robots.txt的文件用法中有这样一条规则Disallow: /*?* ,即禁止搜索引擎访问网站(website)中所有的动态页面。美团网恰是通过这种方式,对spider优先展示高质量(Mass)页面、屏蔽了低质量页面,为spider提供了更友好的网站结构,避免了黑洞的形成。

更多阅读