我正在寻找防止页面部分索引的方法.具体来说,是对页面的评论,因为它们会根据用户编写的内容对条目进行大量权衡.这使得页面上的Google搜索返回了大量不相关的页面.
以下是我目前正在考虑的选项:
1)使用JavaScript加载评论以防止搜索引擎看到它们.
2)使用用户代理嗅探只是不输出抓取工具的注释.
3)使用特定于搜索引擎的标记来隐藏页面的某些部分.不过,这个解决方案充其量只是古怪.据称,这可以做到以防止雅虎!索引特定内容:
This content will not be indexed!
这是一种非常难看的方式.我读到了一个看起来更好的Google解决方案,但我相信它只适用于Google Search Appliance(有人可以确认一下吗?):
This content will not be indexed!
有没有人有其他方法可以推荐?以上三种中哪一种最好的方式?就个人而言,我倾向于#2,因为虽然它可能不适用于所有搜索引擎,但很容易针对最大的搜索引擎.它对用户没有任何副作用,除非他们故意试图模仿网络爬虫.
我会选择你的JavaScript选项.它有两个优点:
1)机器人看不到它2)它会加快你的页面加载时间(异步和不引人注意地加载注释,例如通过jQuery)...页面加载时间对你的搜索排名有一个被低估的积极影响