曾经有段时间，我的网站每天都在消耗巨大的流量，然而一查日志，发现都是一些垃圾蜘蛛。 这些垃圾蜘蛛除了消耗服务器资源不对给我们带来任何好处，最好直接屏蔽。 我写了一份 robots.txt 来屏蔽常见的垃圾指数，分享给大家，建议收藏。 这份 robots.txt 规则能屏蔽哪些爬虫？ User-agent 所属公司/项目 主要用途 被禁止的原因 AhrefsBot Ahrefs 用于收集网页数据以进行SEO分析和反向链接检查。 可能消耗大量服务器资源，影响网站性能。 MJ12b…
