Pyspark?線性回歸梯度下降交叉驗證的知識點是什么

這期內容當中小編將會給大家帶來有關Pyspark 線性回歸梯度下降交叉驗證的知識點是什么，文章內容豐富且以專業的角度為大家分析和敘述，閱讀完這篇文章希望大家可以有所收獲。

我正在嘗試在 pyspark 中的 SGD 模型上執行交叉驗證，我正在使用pyspark.mllib.regression，ParamGridBuilder和CrossValidator都來自pyspark.ml.tuning庫的LinearRegressionWithSGD。

在 Spark 網站上跟蹤文件資料之后，我希望運行此方法可以正常工作

lr = LinearRegressionWithSGD()
pipeline=Pipeline(stages=[lr])

paramGrid = ParamGridBuilder()\
    .addGrid(lr.stepSize, Array(0.1, 0.01))\
    .build()

crossval = CrossValidator(estimator=pipeline,estimatorParamMaps= paramGrid,
                         evaluator=RegressionEvaluator(),
                         numFolds=10)

但是LinearRegressionWithSGD()沒有屬性stepSize(也沒有運氣嘗試過其他人)。

我可以將 lr 設置為LinearRegression，但是我無法在模型中使用 SGD 并進行交叉驗證。

斯卡拉中有kFold方法，但我不確定如何從 pyspark 訪問該方法

解決方案

您可以使用LinearRegressionWithSGD中的step參數來定義步長，但由于您正在混合不兼容的庫，因此這將使代碼無法正常工作。不幸的是，我不知道如何使用SGD優化對ml庫進行交叉驗證，我想知道自己，但是您正在混合使用pyspark.ml和pyspark.mllib庫。具體來說，您不能將LinearRegressionWithSGD與pyspark.ml庫一起使用。您必須使用pyspark.ml.regression.LinearRegression。

好消息是您可以將pyspark.ml.regression.LinearRegression的setsolver屬性設置為使用'gd'。因此，您可能可以將'gd'優化器的參數設置為以SGD運行，但是我不確定求解器文檔在哪里或如何設置求解器屬性（例如批大小）。該api顯示了調用Param（）的LinearRegression對象，但是我不確定它是否使用pyspark.mllib優化器。如果有人知道如何設置求解器屬性，則可以通過允許您將Pipeline，ParamGridBuilder和CrossValidation ml軟件包用于LinearRegression進行模型選擇，并利用SGD優化進行參數調整來回答您的問題。

上述就是小編為大家分享的Pyspark 線性回歸梯度下降交叉驗證的知識點是什么了，如果剛好有類似的疑惑，不妨參照上述分析進行理解。如果想知道更多相關知識，歡迎關注億速云行業資訊頻道。