阻止Google编制索引

有没有办法阻止谷歌索引网站？

1> UnkwnTech..：

---

的robots.txt

User-agent: *
Disallow: /

这将阻止所有搜索机器人编制索引.

有关详细信息,请参阅:http://www.google.com/support/webmasters/bin/answer.py？hl = zh-CN& answer = 40360

---

实际上,确切地说,这将阻止所有*合法*机器人抓取网站.恶意的人仍会尝试这样做,以防万一.

---

谨防 !实际上robots.txt文件会阻止搜索引擎抓取您的网站,但不会将其编入索引...索引是将网站或网页内容下载到搜索引擎服务器的过程,从而将其添加到搜索引擎的"索引"中.@Karol的[回答](http://stackoverflow.com/a/21690774/1570104)更加准确和完整.

---

这个答案将导致谷歌仍然索引页面.当我尝试并搜索谷歌时,我的网站仍然显示但是"由于此网站的robots.txt而无法获得此结果的说明".请看卡洛斯的回答.

2> Karol..：

---

我必须在这里添加我的答案,因为已接受的答案并没有真正触及问题.另请注意,阻止Google抓取并不意味着您可以将内容保密.

我的回答基于以下几个来源:https ://developers.google.com/webmasters/control-crawl-index/docs/getting_started https://sites.google.com/site/webmasterhelpforum/en/faq--crawling- -indexing ---排名

robots.txt文件控制抓取,但不编制索引!这两个是完全不同的动作,分开执行.某些页面可能已被抓取但未编入索引,有些页面甚至可能已编入索引但从未被抓取过.其他网站上可能存在指向未抓取网页的链接,这会让Google索引器跟踪它,并尝试编制索引.

问题是关于正在收集有关页面数据的索引,因此可以通过搜索结果获得.可以阻止添加元标记:

或者向响应中添加HTTP标头:

X-Robots-Tag: noindex

如果问题是关于爬行,那么当然你可以创建robots.txt文件并放下以下行:

User-agent: *
Disallow: /

抓取是为收集有关某个特定网站结构的信息而执行的操作.例如,您已通过Google网站站长工具添加了该网站.Crawler会将其记录下来,并访问您的网站,搜索robots.txt.如果它没有找到任何内容,那么它将假设它可以抓取任何内容(拥有sitemap.xml文件也非常重要,以帮助进行此操作,并指定优先级并定义更改频率).如果找到该文件,它将遵循规则.成功抓取后,它会在某些时候为抓取的网页运行索引,但是你无法判断...

重要提示:这意味着您的网页仍然可以在Google搜索结果中显示,无论如何robots.txt.

我希望至少有些用户会读到这个答案,并明确说明,因为了解实际情况至关重要.