网站访问时提示 503 Service Temporarily Unavailable
503 错误通常是由于 Nginx 繁忙所致。例如,当 PHP 进程过多、服务器负载过高时,服务器无法继续提供更多服务资源,便会返回 503 错误码。
在这两年间,各个 AI 公司及产品的爬虫数量愈发增多。这些 AI 爬虫爬取内容用于自身的 AI 训练学习,却几乎未给网站带来任何流量引入。相反,其爬取操作极大地耗费了网站服务器资源。尤其是多个 AI 爬虫同时进行爬取时,会致使服务器负载居高不下。因此,封锁这些 AI 爬虫显得极其有必要。
而搜索引擎的爬虫,或多或少还能为网站带来一定流量。AI 爬虫利用他人网站的内容训练自己的模型,之后又对终端用户收费,这实则是一种小偷行为。它们利用他人的知识获利,却未给予任何回报。
以下是nginx封锁一些AI爬虫的示例,供参考:
if ($http_user_agent ~* "GoogleOther|ClaudeBot")
{
return 404;
}
其中,ClaudeBot是Claude AI的,GoogleOther可能是Gemini的。代码仅供参考,其他爬虫的User Agent数值,请根据自身的情况添加。
转载请注明来源,谢谢。
有偿解决C++编程问题,承接项目定制开发;寻一份全职或兼职Windows C++开发工作。联系邮箱:[email protected]。