拒绝机器人下载我的文件

我有一个asp.net下载页面,它发送文件到客户端,但我想拒绝机器人下载此文件,因为文件很大,我可以从记录中看到机器人下载此文件大约20次.这会降低服务器速度并导致带宽消耗.

我将此页面编码为计算下载并检测客户端的.net框架,以便我可以发布包含.net框架的安装文件.

我需要以某种方式拒绝Google和其他机器人访问此页面.

我的下载链接就像是download.aspx？pack = msp

是的,将robots.txt文件添加到您的网站.它应该包含一系列规则(真的建议)蜘蛛应该如何表现.

查看此文章了解更多信息.此外,对于踢,这是Google使用的robot.txt文件.