nginx服务器禁止访问robots.txt文件的设置教程

禁止直接访问robots.txt文件
很久没去360站长平台,一直听说他把robots当漏洞来处理,其实很不地道,也就为了推广他家主机卫士吧,实际上这个算不上漏洞,充其量是因此泄露而已!
以下代码是禁止直接访问,但匹配并排除搜索引擎蜘蛛

nginx站点配置文件中加入以下节点:

location = /robots.txt {
    if ($http_user_agent !~* "spider|bot|yahoo|sogou") {
        return 404;
    }
}
nginx
然后重载nginx配置
/usr/local/shuyangwang/nginx/sbin/nginx -s reload (此配置文件路径以你安装为准)
版权声明:本文采用知识共享 署名4.0国际许可协议 [BY-NC-SA] 进行授权
文章名称:《nginx服务器禁止访问robots.txt文件的设置教程》
文章链接:https://www.qqooo.cn/html/2004.html
本站资源仅供个人学习交流,请于下载后24小时内删除,不允许用于商业用途,否则法律问题自行承担。
本站资源均来源于网络,若侵犯您的权益,请来信 Feelym@88.com 删除!