当前位置:  开发笔记 > 编程语言 > 正文

robots.txt中的星号

如何解决《robots.txt中的星号》经验,为你挑选了2个好方法。

想知道以下是否适用于robots.txt中的google

禁止:/*.action

我需要排除以.action结尾的所有网址.

它是否正确?



1> Ben Griswold..:

要阻止特定文件类型的文件(例如.gif),请使用以下命令:

User-agent: Googlebot
Disallow: /*.gif$

所以,你很亲密.使用Disallow:/*.action $,尾随"$"

当然,这仅仅是谷歌的建议:http://www.google.com/support/webmasters/bin/answer.py?hl = zh-CN&answer = 156449

所有机器人都不同.



2> Quentin..:

该robots.txt的规范没有提供方法包含通配符,仅URI的开始.

Google实施了非标准扩展,在其文档中有所描述(请参阅"阻止特定文件类型的文件"下的手动创建robots.txt文件部分).

推荐阅读
围脖上的博博_771
这个屌丝很懒,什么也没留下!
DevBox开发工具箱 | 专业的在线开发工具网站    京公网安备 11010802040832号  |  京ICP备19059560号-6
Copyright © 1998 - 2020 DevBox.CN. All Rights Reserved devBox.cn 开发工具箱 版权所有