使用robot.txt是否可以限制(特定)查询字符串(参数)值的机器人访问?
即
http://www.url.com/default.aspx #allow http://www.url.com/default.aspx?id=6 #allow http://www.url.com/default.aspx?id=7 #disallow
Espo.. 6
User-agent: * Disallow: /default.aspx?id=7 # disallow Disallow: /default.aspx?id=9 # disallow Disallow: /default.aspx?id=33 # disallow etc...
您只需要指定不允许的网址.默认情况下允许其他所有内容.
User-agent: * Disallow: /default.aspx?id=7 # disallow Disallow: /default.aspx?id=9 # disallow Disallow: /default.aspx?id=33 # disallow etc...
您只需要指定不允许的网址.默认情况下允许其他所有内容.