淘宝为什么禁止百度爬虫但是用户还是能搜到呢

来源:Z4lx网络 · 作者:昆明seo培训 · 阅读 · 发布日期 2018-08-23 11:41:05

文章摘要:所有网站的robots文件都是公开的,如果输入“网站域名/robots.txt”打开了一个404错误页面,则说明该网站没有做robots文件。 [...]

  所有网站的robots文件都是公开的,如果输入“网站域名/robots.txt”打开了一个404错误页面,则说明该网站没有做robots文件。

淘宝为什么禁止百度爬虫但是用户还是能搜到呢?

  robots文件是搜索引擎蜘蛛来一个网站首先要查看的,提前知道该网站哪些允许它抓取,哪些不允许的,它会遵循规定来做。如果不做robots文件,在该网站的空间日志里会出现一个404的错误代码,这不要紧,因为很多网站都不做,尤其对于小型网站并不重要。但大型网站讲究比较细致,基本上都会做。

昆明seo培训

  下图中淘宝的robots文件表示禁止百度蜘蛛抓取网站的任何内容,有人会问“我搜索淘宝网,明明可以搜到,难道是淘宝写错,或百度没有遵守这个规则?”这里昆明seo培训的小编要说明两点:

  (1)淘宝并没有写错

  (2)百度有时候的确会不遵守规则,包括其他搜索引擎也是如此。

  搜索引擎并不会完全遵守robots 文件,但总体来说都是遵守的。有些文章已经被百度收录了,如果临时要用robots 文件屏蔽它们,那么在百度的数据库里大概需要几个星期到一两个月的时间才能慢慢删除这些文章。

  为什么淘宝网一直在百度里呢? 并不是百度不遵守规则,而是从用户体验的角度来讲,如果一个网民去百度搜索“淘宝网”,最后竟然搜索不到,他会认为百度这么大一个搜索引擎居然搜索不到这个知名的淘宝网,非常奇怪。所以像淘宝网这种非常知名的网站,百度对它比较特殊,或者说是从用户体验的角度出发,让网民能搜索到这类知名的网站,哪怕淘宝的robots文件里禁上百度抓取。

想了解更多关于昆明seo培训的文章请点击===>>昆明seo培训

非特殊说明,本文为本站原创(翻译)文章,转载请注明:本文转自:SEO顾问-Z4lx网络。

本文链接:http://www.myynseo.com/cjwt/240.html


Z4lx网络公司来自各地区客户网站建设及百度优化的真实评论

  • Z4lx网络来自昭通市威信县的客户反馈 反馈日期:2018-10-08 17:21:40
  •   很不错,下次一定介绍客户过来 100个赞,顶你们 !!!!

  • Z4lx网络来自红河州建水县的客户反馈 反馈日期:2018-10-08 17:50:49
  •   这家公司不是太了解,我单纯从该公司的网站上看了一下,感觉蛮不错的。。。界面比较炫,用户体验也蛮不错的。。。

  • Z4lx网络来自红河州弥勒县的客户反馈 反馈日期:2018-10-08 17:52:03
  •   设计实力比较好,很注重网站的细节处理,用户体验做得不错。可以

  • Z4lx网络来自昆明市盘龙区的客户反馈 反馈日期:2018-10-08 15:58:45
  •   今天做了3个词,价格还是很便宜的,Z4lx网络还是比较靠谱的,关键是在优化过程中比较耐心,有些词做SEO时间会长久一些,我们会很着急,但是他们会很耐心和我解释原因,绝对的支持。

  • Z4lx网络来自大理市漾濞县的客户反馈 反馈日期:2018-10-08 21:37:40
  •   开始我们的领导叫我在找一家网络公司,因集团网站需要改版,我就在网站搜了一下,找到了很多加公司,最后他们家的网站报价比较适合,做出来的东西性价比还可以,设计的东