我需要做些什么来实现每秒20k mysql插入(在高峰时段,在较慢的时间内大约1k /秒)？我一直在做一些研究,我已经看到了"INSERT DELAYED"建议,写入平面文件,"fopen(文件,'a')",然后运行chron作业将"所需"数据转储到mysql等我也听说你需要多个服务器和"负载均衡器",这是我从未听说过的,做这样的工作.我也一直在关注这些"云服务器"的东西,它们的自动可扩展性,但不确定实际可扩展性.
该应用程序只是一个跟踪器脚本,所以如果我有100个网站每天可以获得300万次页面加载,那么每天将有大约3亿次插入.数据将通过一个每15-30分钟运行一次的脚本运行,该脚本将规范化数据并将其插入另一个mysql表中.
大狗怎么做？小狗怎么做的？我再也买不起庞大的服务器了,所以任何直观的方式,如果有多种方式可以实现,你聪明的人可以想到......请让我知道:)
大狗怎么做？
多台服务器.负载均衡.
小狗怎么做的？
多台服务器.负载均衡.
您真的想要保存插入并将它们批量推送到数据库.20k个单独插入一秒钟是顶部的一个掠夺者,并且每一秒简化为一个大插入消除了大部分.
有两种方法:
首先,您将达到需要对数据进行分区或分片以将其拆分到多个服务器的程度.这可以像server1上的AC,server2上的DF一样简单,依此类推.
其次,推迟写入数据库.而是直接使用beanstalkd或memcached写入快速内存存储.让另一个进程收集这些状态并将聚合数据写入数据库.定期将这些记录合并为摘要数据.
京公网安备 11010802040832号 | 京ICP备19059560号-6 