什么是robots协议?

2016-10-21 00:12 阅读 385 views 次 评论 0 条

robots协议(也称为爬虫协议、机器人协议等),它的全称是“网络爬虫排除标准”(Robots Exclusion Protocol),网站通过robots协议告诉搜索引擎哪些页面可以抓取,哪些页面不能抓取。
robots协议的本质是网站和搜索引擎爬虫的沟通方式,用来指导搜索引擎更好地抓取网站内容,更好的保护用户的隐私和版权信息。
大家记住,如果站内没有robots.txt文件,则表明蜘蛛可以任意抓取网站的文件。对于我们seo网站优化来说并不是所有文件都需要让蜘蛛抓取的。
例如一些不重要的文件,或者网站的死链接,我们就需要使用robots.txt来屏蔽掉,不让他抓取。

以下4点让你清楚的了解robots协议:
1.网站和搜索引擎之间的协议文件
2.用于指定Spider在你网站上的抓取范围
3.蜘蛛爬行网站第一个要访问的文件
4.用来指导搜索引擎更好地抓取网站内容,更好的保护用户的隐私和版权信息
想了解更多的robots知识,请点击robots.txt文件知识大揭密!!

 


分享到: 微信 更多



版权声明:本文著作权归原作者所有,欢迎分享本文,谢谢支持!
转载请注明:什么是robots协议? | 衡阳无名SEO