标签：robots.txt

最近我们有一台香港服务器存在非常大的异常流量导致带宽占用巨大。 为了解决这个问题，我们查询了网站日志，发现存在大量无用的蜘蛛爬取和AI采集我们的网站。 所以我们需要禁止这些无用的蜘蛛和AI采集来看看是否能回复带宽异常的情况。 禁用蜘蛛的方法...

joker2025-08-14主机运维 阅读()去评论