昌盛网络科技有限公司是专业的seo网络优化推广服务公司,专做网站优化排名,定制高端网站建设,9年的seo优化经验,让你网站有排名有咨询,专业的事交给专业的人来做,选择我们靠谱。其他分站 | 联系我们 | Sitemap
专注网站设计制作,网站SEO排名优化
专业的SEO外包公司,五年经验沉淀
为企业创造价值,我们懂技术,更懂营销
昌盛网络联系电话:18583200156
营销型网站更赚钱
当前位置:SEO > SEO资讯 > SEO常见问题 > 淘宝为什么禁止百度爬虫但是用户还是能搜到呢

淘宝为什么禁止百度爬虫但是用户还是能搜到呢

发表日期:2018-08-23 11:41:05 内容来源:昆明网站seo优化推广公司 阅读:
导读:
所有网站的robots文件都是公开的,如果输入“网站域名/robots.txt”打开了一个404错误页面,则说明该网站没有做robots文件。 [...]

  所有网站的robots文件都是公开的,如果输入“网站域名/robots.txt”打开了一个404错误页面,则说明该网站没有做robots文件。

淘宝为什么禁止百度爬虫但是用户还是能搜到呢?

  robots文件是搜索引擎蜘蛛来一个网站首先要查看的,提前知道该网站哪些允许它抓取,哪些不允许的,它会遵循规定来做。如果不做robots文件,在该网站的空间日志里会出现一个404的错误代码,这不要紧,因为很多网站都不做,尤其对于小型网站并不重要。但大型网站讲究比较细致,基本上都会做。

昆明seo培训

  下图中淘宝的robots文件表示禁止百度蜘蛛抓取网站的任何内容,有人会问“我搜索淘宝网,明明可以搜到,难道是淘宝写错,或百度没有遵守这个规则?”这里昆明seo培训的小编要说明两点:

  (1)淘宝并没有写错

  (2)百度有时候的确会不遵守规则,包括其他搜索引擎也是如此。

  搜索引擎并不会完全遵守robots 文件,但总体来说都是遵守的。有些文章已经被百度收录了,如果临时要用robots 文件屏蔽它们,那么在百度的数据库里大概需要几个星期到一两个月的时间才能慢慢删除这些文章。

  为什么淘宝网一直在百度里呢? 并不是百度不遵守规则,而是从用户体验的角度来讲,如果一个网民去百度搜索“淘宝网”,最后竟然搜索不到,他会认为百度这么大一个搜索引擎居然搜索不到这个知名的淘宝网,非常奇怪。所以像淘宝网这种非常知名的网站,百度对它比较特殊,或者说是从用户体验的角度出发,让网民能搜索到这类知名的网站,哪怕淘宝的robots文件里禁上百度抓取。

想了解更多关于百度蜘蛛爬虫的文章请点击===>>百度蜘蛛爬虫

非特殊说明,本文为本站原创(翻译)文章,转载请注明:本文转自:SEO顾问-昌盛网络。

本文链接:http://www.myynseo.com/cjwt/240.html


昌盛网络公司来自各地区客户网站建设及百度优化的真实评论

  • 昌盛网络来自德宏州的客户反馈

    此前昌盛网络帮我们公司做的网站和网络推广,做的都挺不错,虽然做推广的周期长了点,但服务态度不错哈,每次有问题都回复的很快,之前因为是通过朋友介绍,加之他们公司成

  • 昌盛网络来自红河州个旧市的客户反馈

    公司服务很好,价格实惠,做的东西美观大气,一些细节也处理得非常满意,很满意在昌盛网络做的网站。

  • 昌盛网络来自四川省乐山市的客户反馈

    说实在的从技术,和服务上来说都是我遇到最好的了。去年找了一家公司合作,做了几个月排名就上了一点点,时间耽搁了事情没办成。以后长期合作了

  • 昌盛网络来自大理市云龙县的客户反馈

    服务挺好,网页给我设计的也是挺满意。就是速度要不要这么快啊,我以为要一个月呢,你们一个星期就给我弄好了,太激动了!非常感谢你们为我们的网站付出了那么多,真的很感

  • 昌盛网络来自保山市的客户反馈

    云南好的网络公司不多,昌盛网络胜在对客户认真,负责任,特别是技术这块,前前后后都很周到, 售后服务很到位

点击关闭
展开