当前位置:  开发笔记 > 编程语言 > 正文

如何在Apache Spark中保存和加载MLLib模型

如何解决《如何在ApacheSpark中保存和加载MLLib模型》经验,为你挑选了1个好方法。

我在Apache Spark(使用pyspark)中训练了一个分类模型.我将模型存储在一个对象中LogisticRegressionModel.现在,我想对新数据做出预测.我想存储模型,并将其读回新程序以进行预测.知道如何存储模型吗?我想的可能是泡菜,但我是python和Spark的新手,所以我想听听社区的想法.

更新:我还需要一个决策树分类器.要阅读它,我需要导入DecisionTreeModelpyspark



1> Alberto Bons..:

您可以使用保存模型保存方法的mllib模型.

# let lrm be a LogisticRegression Model
lrm.save(sc, "lrm_model.model")

存储后,您可以将其加载到另一个应用程序中.

sameModel = LogisticRegressionModel.load(sc, "lrm_model.model")

正如@ zero323之前所述,还有另一种方法可以实现这一点,并且使用预测模型标记语言(PMML).

是由Data Mining Group开发的基于XML的文件格式,为应用程序提供了一种描述和交换由数据挖掘和机器学习算法生成的模型的方法.

推荐阅读
ar_wen2402851455
这个屌丝很懒,什么也没留下!
DevBox开发工具箱 | 专业的在线开发工具网站    京公网安备 11010802040832号  |  京ICP备19059560号-6
Copyright © 1998 - 2020 DevBox.CN. All Rights Reserved devBox.cn 开发工具箱 版权所有