Nginx限制搜索引擎爬虫频率、禁止屏蔽网络爬虫配置示例。超过设置的限定频率，就会给spider一个503。上述配置详细解释请自行google下，具体的spider/bot名称请自定义。