9赞

如何在Apache Spark中保存和加载MLLib模型

作者：ar_wen2402851455 | 2023-09-10 12:00

如何解决《如何在ApacheSpark中保存和加载MLLib模型》经验，为你挑选了1个好方法。

我在Apache Spark(使用pyspark)中训练了一个分类模型.我将模型存储在一个对象中LogisticRegressionModel.现在,我想对新数据做出预测.我想存储模型,并将其读回新程序以进行预测.知道如何存储模型吗？我想的可能是泡菜,但我是python和Spark的新手,所以我想听听社区的想法.

更新:我还需要一个决策树分类器.要阅读它,我需要导入DecisionTreeModelpyspark

1> Alberto Bons..：

您可以使用保存模型保存方法的mllib模型.

# let lrm be a LogisticRegression Model
lrm.save(sc, "lrm_model.model")



存储后,您可以将其加载到另一个应用程序中.

sameModel = LogisticRegressionModel.load(sc, "lrm_model.model")


正如@ zero323之前所述,还有另一种方法可以实现这一点,并且使用预测模型标记语言(PMML).


  是由Data Mining Group开发的基于XML的文件格式,为应用程序提供了一种描述和交换由数据挖掘和机器学习算法生成的模型的方法.



    

    

    
        推荐阅读
        
            
                                
                    
                        程序员
                        如何在加载页面后设置选择选项'选中'？
                    

                    
                                                
                        如何解决《如何在加载页面后设置选择选项'选中'？》经验，为你挑选了1个好方法。 ...
                        [详细]
                    
                    

                


                                
                    
                        程序员
                        为什么杰克逊多态序列化在列表中不起作用？
                    

                    
                                                
                        如何解决《为什么杰克逊多态序列化在列表中不起作用？》经验，为你挑选了2个好方法。 ...
                        [详细]
                    
                    

                


                                
                    
                        程序员
                        Knockout JS  - 获取模态弹出窗口来编辑项目
                    

                    
                                                
                        如何解决《KnockoutJS-获取模态弹出窗口来编辑项目》经验，为你挑选了1个好方法。 ...
                        [详细]
                    
                    

                


                                
                    
                        程序员
                        C#WPF  - 如何组合datatrigger和触发器？
                    

                    
                                                
                        如何解决《C#WPF-如何组合datatrigger和触发器？》经验，为你挑选了1个好方法。 ...
                        [详细]
                    
                    

                


                                
                    
                        程序员
                        HTTP/2:stream.end使用For-Loop
                    

                    
                                                
                        如何解决《HTTP/2:stream.end使用For-Loop》经验，为你挑选了0个好方法。 ...
                        [详细]
                    
                    

                


                                
                    
                        程序员
                        无法获取隐藏的JTable列
                    

                    
                                                
                            
                        
                                                
                        如何解决《无法获取隐藏的JTable列》经验，为你挑选了1个好方法。 ...
                        [详细]
                    
                    

                


                                
                    
                        程序员
                        如何在不设置环境变量或不在Windows中导航MySQL服务文件夹的情况下使用cmd导航到MySQL提示符
                    

                    
                                                
                        如何解决《如何在不设置环境变量或不在Windows中导航MySQL服务文件夹的情况下使用cmd导航到MySQL提示符》经验，为你挑选了0个好方法。 ...
                        [详细]
                    
                    

                


                                
                    
                        程序员
                        在keras中乘以两层的输出
                    

                    
                                                
                        如何解决《在keras中乘以两层的输出》经验，为你挑选了0个好方法。 ...
                        [详细]
                    
                    

                


                                
                    
                        程序员
                        为什么我不能在ubuntu 14.04 LTS上导入pyzmq？
                    

                    
                                                
                        如何解决《为什么我不能在ubuntu14.04LTS上导入pyzmq？》经验，为你挑选了1个好方法。 ...
                        [详细]
                    
                    

                


                                
                    
                        程序员
                        当我的节点加入集群时,Akka.net集群中是否有事件？
                    

                    
                                                
                        如何解决《当我的节点加入集群时,Akka.net集群中是否有事件？》经验，为你挑选了1个好方法。 ...
                        [详细]
                    
                    

                


                                
                    
                        程序员
                        JS删除最后一个孩子？
                    

                    
                                                
                        如何解决《JS删除最后一个孩子？》经验，为你挑选了1个好方法。 ...
                        [详细]
                    
                    

                


                                
                    
                        程序员
                        Java Integer左移的奇怪结果
                    

                    
                                                
                        如何解决《JavaInteger左移的奇怪结果》经验，为你挑选了1个好方法。 ...
                        [详细]
                    
                    

                


                                
                    
                        程序员
                        需要测试在Laravel 5.1中使用CURL的服务
                    

                    
                                                
                        如何解决《需要测试在Laravel5.1中使用CURL的服务》经验，为你挑选了0个好方法。 ...
                        [详细]
                    
                    

                


                                
                    
                        程序员
                        Pandas Pivot表Aggfunc列表
                    

                    
                                                
                            
                        
                                                
                        如何解决《PandasPivot表Aggfunc列表》经验，为你挑选了2个好方法。 ...
                        [详细]
                    
                    

                


                                
                    
                        程序员
                        将Spark DataFrame转换为Pojo对象
                    

                    
                                                
                        如何解决《将SparkDataFrame转换为Pojo对象》经验，为你挑选了1个好方法。 ...
                        [详细]
                    
                    

                


                                
                    
                        程序员
                        一个弹性项目设置兄弟姐妹的高度限制
                    

                    
                                                
                        如何解决《一个弹性项目设置兄弟姐妹的高度限制》经验，为你挑选了2个好方法。 ...
                        [详细]
                    
                    

                


                                
                    
                        程序员
                        如何在HTML中切换男性,女性单选按钮
                    

                    
                                                
                        如何解决《如何在HTML中切换男性,女性单选按钮》经验，为你挑选了1个好方法。 ...
                        [详细]
                    
                    

                


                                
                    
                        程序员
                        如何在Cordova Android应用程序中使用javascript创建csv或Excel文件
                    

                    
                                                
                        如何解决《如何在CordovaAndroid应用程序中使用javascript创建csv或Excel文件》经验，为你挑选了1个好方法。 ...
                        [详细]
                    
                    

                


                                
                    
                        程序员
                        在TensorFlow中展平包含矢量的2D张量的最佳方法是什么？
                    

                    
                                                
                        如何解决《在TensorFlow中展平包含矢量的2D张量的最佳方法是什么？》经验，为你挑选了1个好方法。 ...
                        [详细]
                    
                    

                


                                
                    
                        程序员
                        React.js setState()与键内部循环的变量？
                    

                    
                                                
                        如何解决《React.jssetState()与键内部循环的变量？》经验，为你挑选了1个好方法。 ...
                        [详细]
                    
                    

                


                

            
        
    

    
        吐了个 "CAO" !
        
            
                吐个槽吧,看都看了
            
            
                
                                        会员登录 | 用户注册
























    

    
        
            
            
                
                    
                
            

            
                ar_wen2402851455            

            
                这个屌丝很懒，什么也没留下！            
            
            

                                
                    
                    关注作者
                            

        
    


    
        Tags | 热门标签
        
            
                                
                    actionscrip
                
                                
                    bash
                
                                
                    c#
                
                                
                    c++
                
                                
                    c语言
                
                                
                    erlang
                
                                
                    flutter
                
                                
                    go
                
                                
                    golang
                
                                
                    java
                
                                
                    javascript
                
                                
                    lua
                
                                
                    node.js
                
                                
                    perl
                
                                
                    php
                
                                
                    python
                
                                
                    scala
                
                                
                    typescript
                
                                
            
        
    


    
        RankList | 热门文章
        
            
                                
                    1可重用类库内部的依赖注入（DI）
                
                                
                    2C中的这个操作是什么？
                
                                
                    3Microsoft Server studio'脚本表为'用于INSERT到错误的语法
                
                                
                    4NuGet  - 使用packages.config的依赖项创建nuspec
                
                                
                    5将Loaders用于网络请求是不好的做法吗？
                
                                
                    6Java枚举泛型
                
                                
                    7日志消息processIncoming,handlePacket,sendBufferedRequest重复一个LOT  -  android
                
                                
                    8AX 2009的正确部署过程是什么？
                
                                
                    9Camel blueprint sql事务管理器
                
                                
                    10由于网络连接速度慢,iOS应用程序退出
                
                                
                    11在编辑器中输入Intellij IDEA非常慢(仅限Scala)
                
                                
                    12python-从存在属性的对象列表中收集属性
                
                                
                    13Git/SourceTree  - 远程无效的用户名或密码
                
                                
                    14为什么不允许在重写方法中使用参数类型(一个是原始的而另一个是包装器)的区别？
                
                                
                    15如何快速填充大量数据以利用熊猫fillna？
                
                                
                    16PHP:理解字符串类型杂耍
                
                                
                    17在Firebase中托管.NET Web Api
                
                                
                    18如何在Haskell中提取列表的所有唯一对？
                
                                
                    19SBT插件不使用自定义解析器
                
                                
                    20Android运行时执行与NetworkRequest