我正在实施一个简单的过滤器,了解我的网站未注册用户可以访问多少.当然,我想给SEO机器人免费统治/访问大部分网站.
我知道这很简单.但它不值得做任何更复杂的事情.我需要编译一个我允许的用户代理名称列表,为此,我需要一个机器人名称列表,从Googlebot开始(我甚至不知道这是否是Gogles web爬行机器人的官方拼写).
任何我想要链接到一个明确的资源,给出SEO索引机器人的名字？我试过http://www.user-agents.org/,但粒度不够好 - 它似乎列出了每个创建的用户代理!
试试这个列表:http://www.useragentstring.com/pages/useragentstring.php ?typ = crawler
虽然谷歌,雅虎,必应,百度,Ask和AOL的组合几乎占据了搜索引擎市场的100%.因此,我建议将爬虫用户代理添加到您的过滤器中,您真的不需要担心其余的.
京公网安备 11010802040832号 | 京ICP备19059560号-6 