我是否可以允许(通过搜索引擎)索引限制内容而不公开？

我的网站内容有限.我希望我的网站出现在搜索结果中,但我不希望它公开.

有没有办法允许抓取工具抓取我的网站,但阻止他们公开？

我找到的最接近的解决方案是Google First Click Free,但它甚至要求我第一次显示内容.

1> tobyodavies..：

---

为什么要让人们搜索他们点击链接时无法访问的页面？它在技术上可能使其变得困难(如果useragent包含'googlebot',请检查您的身份验证代码,但如果他们希望您的内容足够糟糕,那么没有什么可以阻止人们伪造这个用户)但在很大程度上毫无意义.

谷歌的官方专线(IIRC,但在任何地方找不到这个)都是因为故意试图向人们用户看到的谷歌机器人不同的内容展示你可能会受到惩罚.

---

谷歌政策说明+1.他们认为向用户看不到谷歌的内容是垃圾邮件(或者更糟)."不要欺骗用户或向搜索引擎展示与向用户显示的内容不同的内容".(来自http://www.google.com/support/webmasters/bin/answer.py?answer=35769#quality)