如何在Spark流中获取当前批处理时间戳(DStream)?
我有一个火花流应用程序,输入数据将进行多次转换.
我需要在执行期间使用当前时间戳来验证输入数据中的时间戳.
如果我与当前时间进行比较,那么时间戳可能与每个RDD转换执行不同.
有没有办法获得时间戳,特定的Spark流微批处理已经开始或它属于哪个微批处理间隔?
dstream.foreachRDD((rdd, time)=> { // time is scheduler time for the batch job.it's interval was your window/slide length. })