当前位置:  开发笔记 > 人工智能 > 正文

限制(特定)查询字符串(参数)值的机器人访问?

如何解决《限制(特定)查询字符串(参数)值的机器人访问?》经验,为你挑选了1个好方法。

使用robot.txt是否可以限制(特定)查询字符串(参数)值的机器人访问?

http://www.url.com/default.aspx  #allow
http://www.url.com/default.aspx?id=6  #allow
http://www.url.com/default.aspx?id=7  #disallow

Espo.. 6

User-agent: *
Disallow: /default.aspx?id=7  # disallow
Disallow: /default.aspx?id=9  # disallow
Disallow: /default.aspx?id=33 # disallow

etc...

您只需要指定不允许的网址.默认情况下允许其他所有内容.



1> Espo..:
User-agent: *
Disallow: /default.aspx?id=7  # disallow
Disallow: /default.aspx?id=9  # disallow
Disallow: /default.aspx?id=33 # disallow

etc...

您只需要指定不允许的网址.默认情况下允许其他所有内容.

推荐阅读
围脖上的博博_771
这个屌丝很懒,什么也没留下!
DevBox开发工具箱 | 专业的在线开发工具网站    京公网安备 11010802040832号  |  京ICP备19059560号-6
Copyright © 1998 - 2020 DevBox.CN. All Rights Reserved devBox.cn 开发工具箱 版权所有