更新:我刚刚意识到我们正在使用谷歌迷你搜索来抓取网站,以便我们支持谷歌搜索.这必然会创建一个匿名的配置文件,不仅可以进行每次抓取,甚至可以创建每个页面 - 这是可能的吗?
大家好,需要一些建议!
我们的网站每天大约收到50,000次点击,我们使用匿名的ASP.Net会员资料/用户,这导致数百万(当前4.5米)的"活动"配置文件和数据库"爬行",我们每夜都有一个任务清理所有不活动的.
我们无法拥有450万独立访客(我们的县人口只有1/2万),这可能是由爬虫和蜘蛛造成的吗?
此外,如果我们不得不忍受大量的配置文件,那么无论如何都要优化数据库?
谢谢
千电子伏