淘宝为什么禁止百度爬虫但是用户还是能搜到呢
关键词:
所有网站的robots文件都是公开的,如果输入“网站域名/robots.txt”打开了一个404错误页面,则说明该网站没有做robots文件。
robots文件是搜索引擎蜘蛛来一个网站首先要查看的,提前知道该网站哪些允许它抓取,哪些不允许的,它会遵循规定来做。如果不做robots文件,在该网站的空间日志里会出现一个404的错误代码,这不要紧,因为很多网站都不做,尤其对于小型网站并不重要。但大型网站讲究比较细致,基本上都会做。
下图中淘宝的robots文件表示禁止百度蜘蛛抓取网站的任何内容,有人会问“我搜索淘宝网,明明可以搜到,难道是淘宝写错,或百度没有遵守这个规则?”这里昆明seo的小编要说明两点:
(1)淘宝并没有写错
(2)百度有时候的确会不遵守规则,包括其他搜索引擎也是如此。
搜索引擎并不会完全遵守robots 文件,但总体来说都是遵守的。有些文章已经被百度收录了,如果临时要用robots 文件屏蔽它们,那么在百度的数据库里大概需要几个星期到一两个月的时间才能慢慢删除这些文章。
为什么淘宝网一直在百度里呢? 并不是百度不遵守规则,而是从用户体验的角度来讲,如果一个网民去百度搜索“淘宝网”,最后竟然搜索不到,他会认为百度这么大一个搜索引擎居然搜索不到这个知名的淘宝网,非常奇怪。所以像淘宝网这种非常知名的网站,百度对它比较特殊,或者说是从用户体验的角度出发,让网民能搜索到这类知名的网站,哪怕淘宝的robots文件里禁上百度抓取。
版权:【注明为本站原创的文章,转载请注明出处与原文地址!本站部分转载文章能找到原作者的我们都会注明,若文章涉及版权请发至邮箱:[email protected],我们以便及时处理,可支付稿费。向本站投稿或需要本站向贵司网站定期免费投稿请加QQ:5755765】 更多信息请关注微信:18583200156
本文关键词:百度蜘蛛爬虫
本文Tag:
本文链接:http://www.myynseo.com/cjwt/240.html
昌盛网络公司来自各地区客户网站建设及百度优化的真实评论
- 昌盛网络来自文山市砚山县的客户反馈
这家公司很不错,价格不贵,服务很周到,网站建设的确实大气美观,操作也相对容易
- 昌盛网络来自文山市麻栗坡的客户反馈
听好多朋友提起过这个昌盛网络,才找他们做网站,seo优化排名很牛!服务确实蛮好,提出的方案也在我心坎上,准确的找到我们公司的定位。网站上线一周以后排名就开始上来了,看
- 昌盛网络来自迪庆州香格里拉的客户反馈
个人觉得应该算是云南地区一家比较负责任的网络营销公司吧,因为做了很多的网络推广产品,就他们的服务做的最好,效果也确实不错。
- 昌盛网络来自迪庆州的客户反馈
感觉网站做的很棒,不愧是做互联网的企业,不知道为啥评论这么少,是新公司吗?
- 昌盛网络来自曲靖市马龙县的客户反馈
昌盛网络确实很专业,还免费帮我们做了关键词优化,现在我们所有关键词都是排名前三名,为我们的推广工作节省了太多费用,选昌盛网络的决定是太正确了,对昌盛网络的工作人员