Spark的mapWithState解密方法是什么

這篇文章主要講解了“Spark的mapWithState解密方法是什么”，文中的講解內容簡單清晰，易于學習與理解，下面請大家跟著小編的思路慢慢深入，一起來研究和學習“Spark的mapWithState解密方法是什么”吧！

updateStateByKey和mapWithState方法在DStream中找不到，需要進行隱式轉換，轉換為PairDStreamFunctions對象。

updateStateByKey是在已有的狀態下進行更新操作。Seq[V]中存放歷史數據，Option[S]存放新值，可能沒有值。使用了默認的Partitioner函數，HashPartitioner。

StateDStream繼承DStream，使用MEMORY_ONLY_SER的方式作為存儲級別。

StateDStream的compute方法，如果parent存在則調用computeUsingPreviousRDD方法，如果不存在調用preStateRDD的mapPartitions方法。

computeUsingPreviousRDD方法中，parentRDD和之前的RDD進行cogroup操作，根據Key對Value進行聚合，基于Key對所有的Value進行掃描，當數據量比較少時可以考慮使用cogroup方法，但是當數據量大時，就會影響整個運行，降低性能。

mapWithState方法中接收StateSpec類型的參數，StateSpec中封裝了更新操作的函數。

StateImpl繼承State類，記錄了其狀態信息，定義了獲取，更新，刪除等操作接口，很像是數據庫中的一張表，進行增刪改查。

StateSpecImpl類中定義了如何初始化狀態，設置Partition的個數，設置分區函數Partition。

MapWithStateDStreamImpl類的compute方法其實質是調用InternalMapWithStateDStream的getOrCompute方法。

InternalMapWithStateDStream是在歷史數據的基礎上進行更新操作。

InternalMapWithStateDStream的compute方法中，實例化了MapWithStateRDD對象。

MapWithStateRDD類中，一個Partition對應一個MapWithStateRDDRecord。

MapWithStateRDD的compute方法，先獲取之前的State信息，和現在數據的迭代器進行操作，，調用MapWithStateRDDRecord的updateRecordWithData的方法，返回MapWithStateRDDRecord為元素的迭代器。

newStateMap中保存了整個歷史數據。

RDD是不可變的，但是RDD中的數據可以變化。

感謝各位的閱讀，以上就是“Spark的mapWithState解密方法是什么”的內容了，經過本文的學習后，相信大家對Spark的mapWithState解密方法是什么這一問題有了更深刻的體會，具體使用情況還需要大家實踐驗證。這里是億速云，小編將為大家推送更多相關知識點的文章，歡迎關注！