识别敌对网络爬虫

我想知道是否有任何技术可以识别收集非法使用信息的网络爬虫.简单来说,数据被盗可以创建一个网站的碳副本.

理想情况下,此系统会检测来自未知来源的爬行模式(如果不在列表中使用Google抓取工具等),并向抓取爬虫发送伪造信息.

如果作为一名防御者,我会检测到一个定期击中该网站的未知爬虫,攻击者会将这些间隔随机化.

如果作为防御者,我检测到相同的代理/ IP,攻击者将随机化代理.

这就是我迷路的地方 - 如果攻击者将间隔和代理随机化,我怎么能不区分代理和机器从同一网络上攻击网站？

我正在考虑使用javascript和cookie支持来检查可疑代理.如果柏忌无法做到一致,那么这就是坏人.

我还可以做些什么？是否有任何算法,甚至是为快速实时分析历史数据而设计的系统？

我的解决方案是制造一个陷阱.在您的网站上放置一些robots.txt禁止访问的网页.在你的页面上建立一个链接,但用CSS隐藏它,然后ip禁止任何访问该页面的人.

这将迫使违法者服从robots.txt,这意味着你可以永久地将重要的信息或服务放在他身边,这将使他的碳复制克隆无用.