我希望从多个节点导出日志文件(在我的情况下是apache访问和错误日志)并批量聚合这些数据,作为预定作业.我已经看到了多种与流数据一起使用的解决方案(即思考抄写员).我想要一个工具,让我可以灵活地定义目的地.这个要求来自于我想使用HDFS作为目的地.
我无法找到批量支持它的工具.在重新创建轮子之前,我想向StackOverflow社区询问他们的输入.
如果已经存在于python中的解决方案会更好.