现在有很多的分析网站，导致不知名的爬虫有很多，这些无用蜘蛛总是频繁抓取我们的网站，特别是服务器配置不高的情况下，那么如何屏蔽这些垃圾蜘蛛减轻服务器压力呢？ 一般来说，屏蔽蜘蛛抓取有三种方法： Robo...