怎么使用Cloudera數據工程分析薪資保護計劃數據

發布時間：2021-11-10 09:57:15 來源：億速云閱讀：131 作者：柒染欄目：大數據

本篇文章為大家展示了怎么使用Cloudera數據工程分析薪資保護計劃數據，內容簡明扼要并且容易理解，絕對能使你眼前一亮，通過這篇文章的詳細介紹希望你能有所收獲。

薪酬保護計劃（PPP）由美國聯邦政府實施，旨在為企業提供直接激勵措施，以使員工保持工資，特別是在Covid-19大流行期間。PPP幫助合格的企業保留其勞動力，并幫助支付相關業務費用。從數據美國財政部的網站，其公司獲得PPP貸款，許多工作是如何保留節目。美國財政部批準了全美大約100萬筆PPP貸款。

對這些數據的分析提出了三個挑戰。首先，數據量很大。提取、整理、轉換、檢索和報告該數據的時間非常耗時。其次，數據集可能會發展，這將消耗額外的開發時間和資源。最后，在這樣的多階段過程中，事情可能會破裂。快速確定錯誤或瓶頸的能力將有助于一致地滿足SLA。

這里說明了 Cloudera 數據工程（CDE）中如何使用Apache Spark用于基于PPP數據的報告，同時解決上述所有挑戰。

目的

下面設置了德克薩斯州立法預算委員會（LBB）的模擬方案，以幫助數據工程師管理和分析PPP數據。該數據工程師的主要目標是向LBB提供兩個最終報告：

? 報告1：德克薩斯州所有保留工作的城市的細目分類

? 報告2：保留職位的公司類型明細

Cloudera數據工程（CDE）

這是運行Apache Spark的Cloudera數據工程（CDE）可以提供幫助的地方。 CDE是Cloudera Data Platform（CDP）中的一項服務，它允許數據工程師創建，管理和調度Apache Spark作業，同時提供有用的工具來監視作業性能，訪問日志文件以及通過Apache Airflow編排工作流程。 Apache Spark是一個數據處理框架，能夠快速運行大規模數據處理。

美國財政部提供了兩種不同的數據集，一種用于大于15萬美元的批準貸款，另一種用于15萬美元以下的批準貸款。為了生成LBB的兩個最終報告，請遵循以下步驟（見圖1）。

? 第一步是將兩個單獨的數據集加載到S3存儲桶中。

? 為每個數據集創建了一個Spark作業，以從S3存儲桶中提取和過濾數據。

? 這兩個Spark作業將轉換干凈數據并將其加載到Hive數據倉庫中以進行檢索。

? 創建了第三個Spark作業，以處理來自Hive數據倉庫的數據以創建兩個報告。

作業運行完成后，CDE將提供每個Spark作業內各個階段的圖形表示（參見圖2）。這使數據工程師可以輕松地查看工作中哪些部分可能花費最多的時間，從而使他們可以輕松地完善和改進代碼，從而最好地滿足客戶的SLA。

圖 1 ：數據行程以生成兩個最終報告。

圖 2 ：各種 Spark 階段的 CDE 圖形表示。

結論

實現了從一百萬個批準申請人的記錄中生成兩個最終報告的主要目標。第一份報告的圖形摘要（請參見圖3）顯示了德克薩斯州每個城市保留的職位數量的前10個樣本，第二份報告（見圖4）顯示了保留的職位數排名前5的樣本按公司類型。例如，借助這些報告，德克薩斯州立法預算委員會可以推斷出人均保留工作量最少的城市可能需要資源來減輕任何經濟影響。

圖 3 ： 2020 年德克薩斯州保留最多職位的十大城市

圖 4 ：保留最多職位的 5 大公司類型，德克薩斯州， 2020 年

上述內容就是怎么使用Cloudera數據工程分析薪資保護計劃數據，你們學到知識或技能了嗎？如果還想學到更多技能或者豐富自己的知識儲備，歡迎關注億速云行業資訊頻道。

向AI問一下細節

中文字幕av专区_日韩电影在线播放_精品国产精品久久一区免费式_av在线免费观看网站

怎么使用Cloudera數據工程分析薪資保護計劃數據

猜你喜歡

中文字幕av专区_日韩电影在线播放_精品国产精品久久一区免费式_av在线免费观看网站

怎么使用Cloudera數據工程分析薪資保護計劃數據

猜你喜歡

最新資訊

相關推薦

相關標簽