当前位置:  开发笔记 > 编程语言 > 正文

如何获取Spark流中的当前批处理时间戳

如何解决《如何获取Spark流中的当前批处理时间戳》经验,为你挑选了1个好方法。

如何在Spark流中获取当前批处理时间戳(DStream)?

我有一个火花流应用程序,输入数据将进行多次转换.

我需要在执行期间使用当前时间戳来验证输入数据中的时间戳.

如果我与当前时间进行比较,那么时间戳可能与每个RDD转换执行不同.

有没有办法获得时间戳,特定的Spark流微批处理已经开始或它属于哪个微批处理间隔?



1> XIO..:
dstream.foreachRDD((rdd, time)=> {
  // time is scheduler time for the batch job.it's interval was your window/slide length.
})


谢谢.我特别想寻找像flatmap,filter这样的转换....
推荐阅读
ar_wen2402851455
这个屌丝很懒,什么也没留下!
DevBox开发工具箱 | 专业的在线开发工具网站    京公网安备 11010802040832号  |  京ICP备19059560号-6
Copyright © 1998 - 2020 DevBox.CN. All Rights Reserved devBox.cn 开发工具箱 版权所有