想知道以下是否适用于robots.txt中的google
禁止:/*.action
我需要排除以.action结尾的所有网址.
它是否正确?
要阻止特定文件类型的文件(例如.gif),请使用以下命令:
User-agent: Googlebot Disallow: /*.gif$
所以,你很亲密.使用Disallow:/*.action $,尾随"$"
当然,这仅仅是谷歌的建议:http://www.google.com/support/webmasters/bin/answer.py?hl = zh-CN&answer = 156449
所有机器人都不同.
该robots.txt的规范没有提供方法包含通配符,仅URI的开始.
Google实施了非标准扩展,在其文档中有所描述(请参阅"阻止特定文件类型的文件"下的手动创建robots.txt文件部分).