Spark向后兼容性1.6 vs 2.0

我正在使用spark 1.4代码,现在我们计划转向spark 2.0,当我查看下面的文档时,只有一些向后兼容的功能,这是否意味着我已经更改了我的大部分代码？

Spark 2.0中最大的变化之一是新的更新API:

统一DataFrame和Dataset:在Scala和Java中,DataFrame和Dataset已经统一,即DataFrame只是Row的Dataset的类型别名.在Python和R中,由于缺乏类型安全性,DataFrame是主要的编程接口.

SparkSession:新的入口点,用于替换DataFrame和Dataset API的旧SQLContext和HiveContext.保留SQLContext和HiveContext以实现向后兼容.

SparkSession的全新简化配置API

更简单,更高性能的累加器API

用于数据集中类型聚合的新的改进聚合器API

eliasah.. 5

正如评论中所述,Spark有一个迁移指南可供遵循.你可以在这里查看.

1.6和2.0之间的变化不大,除了文档中引用的内容.

要回答这个问题,我也会说"这取决于".

例如,最近我不得不将机器学习应用程序从1.6.3迁移到2.0.2,这是我在MLLib 迁移指南中列出的唯一变更.

正如评论中所述,Spark有一个迁移指南可供遵循.你可以在这里查看.

1.6和2.0之间的变化不大,除了文档中引用的内容.

要回答这个问题,我也会说"这取决于".

例如,最近我不得不将机器学习应用程序从1.6.3迁移到2.0.2,这是我在MLLib 迁移指南中列出的唯一变更.