防止网站被搜索引擎索引

如何阻止Google和其他搜索引擎将我的网站编入索引？

我意识到这是一个非常古老的问题,但我想强调@Julien作出的实际答案.

根据Joost de Valk的说法,robots.txt确实会阻止您的网站被搜索引擎抓取,但如果其他网站的链接指向您的网站,则您网站的链接仍可能会显示在搜索结果中.

解决方案是在页面标题中添加漫游器元标记:

或者,更简单的选择是将以下内容添加到.htaccess文件中:

Header set X-Robots-Tag "noindex, nofollow"

显然,您的Web主机必须允许.htaccess规则并mod_headers安装模块才能工作.

这两个标记都会使搜索引擎不再关注指向您网站的链接,并在搜索结果中显示您的网页.双赢,宝贝.

robots.txt使用以下内容在站点根目录中创建文件:

# robots.txt for yoursite

User-agent: *
Disallow: /

搜索引擎(以及大多数机器人)将尊重此文件的内容.您可以Disallow: /path为机器人放置任意数量的行以忽略它们.有关robotstxt.org的更多详情.