当前位置:  开发笔记 > 人工智能 > 正文

Robots.txt阻止访问所有https://页面

如何解决《Robots.txt阻止访问所有https://页面》经验,为你挑选了1个好方法。

阻止对https://页面的任何机器人的所有访问的语法是什么?我有一个旧网站,现在没有SSL,我想阻止访问所有https://页面



1> Gumbo..:

如果机器人robots.txt对不同的协议使用/请求不同,我不知道它是否有效.但是,您可以robots.txt通过HTTPS为请求提供不同的服务.

因此,当http://example.com/robots.txt要求时,您提供正常robots.txt.当https://example.com/robots.txt被要求时,你提供的robots.txt不允许一切.


我不太清楚ISAPI重写语法.但尝试这样的事情:RewriteCond%SERVER_PORT ^ 433 $ RewriteRule ^/robots\.txt $ /robots.txt.https [L]
推荐阅读
手机用户2402852307
这个屌丝很懒,什么也没留下!
DevBox开发工具箱 | 专业的在线开发工具网站    京公网安备 11010802040832号  |  京ICP备19059560号-6
Copyright © 1998 - 2020 DevBox.CN. All Rights Reserved devBox.cn 开发工具箱 版权所有