当前位置:  开发笔记 > 编程语言 > 正文

如何在Java中的Apache Spark中将DataFrame转换为Dataset?

如何解决《如何在Java中的ApacheSpark中将DataFrame转换为Dataset?》经验,为你挑选了1个好方法。



1> Leet-Falcon..:

官方Spark文档在Dataset API中建议如下:

通过在编码器上调用静态方法来指定Java编码.

List data = Arrays.asList("abc", "abc", "xyz");
Dataset ds = context.createDataset(data, Encoders.STRING());

编码器可以组成元组:

Encoder> encoder2 = Encoders.tuple(Encoders.INT(), Encoders.STRING());
List> data2 = Arrays.asList(new scala.Tuple2(1, "a");
Dataset> ds2 = context.createDataset(data2, encoder2);

或者由编码器编写的 Java Beans #bean:

Encoders.bean(MyClass.class);

推荐阅读
mobiledu2402851203
这个屌丝很懒,什么也没留下!
DevBox开发工具箱 | 专业的在线开发工具网站    京公网安备 11010802040832号  |  京ICP备19059560号-6
Copyright © 1998 - 2020 DevBox.CN. All Rights Reserved devBox.cn 开发工具箱 版权所有