如何正确书写Robots协议?

2016-09-24 22:33 阅读 333 views 次 评论 0 条

如何正确书写Robots协议

下面以一个实例操作:

小A同学的空间主机流量总是不够用,经分析日志发现有大量的蜘蛛来抓取,现在只想让百度蜘蛛、360蜘蛛来抓取,其他都不允许抓取,请问怎么写robots规则?  
而且屏蔽所有的图片和ASP网页,都不希望抓取到,怎么写规则?Use-agent: Baiduspider
Allow: /
Disallow: /*.jpg$
Disallow: /*.png$
Disallow: /*.gif$
Disallow: /*.bmp$
Disallow: /*.aps$

Use-agent: 360Spider
Allow: /
Disallow: /*.jpg$
Disallow: /*.png$
Disallow: /*.gif$
Disallow: /*.bmp$
Disallow: /*.aps$

Use-agent: *
Disallow: /


分享到: 微信 更多



版权声明:本文著作权归原作者所有,欢迎分享本文,谢谢支持!
转载请注明:如何正确书写Robots协议? | 衡阳无名SEO
分类:SEO基础 标签: