谷歌网站管理员指南声明
允许搜索机器人抓取您的网站,而无需会话ID或跟踪其通过网站的路径的参数.这些技术对于跟踪个人用户行为很有用,但是机器人的访问模式完全不同.使用这些技术可能会导致您网站的索引编制不完整,因为漫游器可能无法消除看起来不同但实际指向同一网页的网址.
我的ASP.NET 1.1站点使用自定义身份验证/授权,并且非常依赖会话guid(类似于此方法).我担心允许非会话跟踪流量会破坏我现有的代码或引入安全漏洞.
允许非会话跟踪机器人抓取正常会话跟踪站点的最佳做法是什么？除了检查用户代理之外,还有什么方法可以检测搜索机器人(我不希望人们欺骗自己作为googlebot来绕过我的会话跟踪)？
京公网安备 11010802040832号 | 京ICP备19059560号-6 