我有一个问题,需要我从远程机器解析几个日志文件.有一些复杂情况:1)文件可能正在使用2)文件可能相当大(100mb +)3)每个条目可能是多行的
要解决使用中的问题,我需要先复制它.我目前正在将它直接从远程计算机复制到本地计算机,并在那里进行解析.这导致问题2.由于文件非常大,在本地复制它可能需要相当长的时间.
为了增强解析时间,我想使解析器具有多线程,但这使得处理多行条目变得有点棘手.
两个主要问题是:1)我如何加速文件传输(压缩？,本地传输甚至是必要的？,我可以用其他方式读取使用文件吗？)2)我如何处理多行条目什么时候分开线程之间的线？
更新:我没有对服务器进行明显解析的原因是我希望尽可能减少对cpu的影响.我不想影响系统im测试的性能.
京公网安备 11010802040832号 | 京ICP备19059560号-6 