假设我有一个网站,用于托管针对特定用户群的社区生成内容.现在,让我们说为了培养一个更好的社区,我有一个偏离主题的区域,社区成员可以发布或谈论他们想要的任何东西,无论网站的主题如何.
现在,我希望大部分内容都能被Google编入索引.值得注意的例外是非主题内容.每个线程都有自己的页面,但所有线程都列在同一个文件夹中,所以我不能只在某个文件夹中排除搜索引擎.它必须是每页.传统的robots.txt文件会变得庞大,那么我怎么能做到这一点呢？
这适用于所有表现良好的搜索引擎,只需将其添加到:
京公网安备 11010802040832号 | 京ICP备19059560号-6 