为了防止您的网页被搜索引擎编入索引,您必须在HTML中放置什么标记?
将此添加到您不想索引的页面的HTML 元素:
要覆盖整个站点,请robots.txt在包含以下行的根文件夹上创建一个:
robots.txt
User-agent: * Disallow: /
Google网站管理员工具帮助
机器人排除标准
使用robots.txt文件来限制索引:http://www.robotstxt.org/orig.html