溫馨提示×
您好，登錄后才能下訂單哦！
點擊 登錄注冊 即表示同意《億速云用戶服務條款》
您好，登錄后才能下訂單哦！
本篇內容主要講解“Hadoop生態系統的存儲格式CarbonData性能分析”，感興趣的朋友不妨來看看。本文介紹的方法操作簡單快捷，實用性強。下面就讓小編來帶大家學習“Hadoop生態系統的存儲格式CarbonData性能分析”吧!
一、評測環境
1）網絡拓撲圖
2）配置參數
服務器配置
二、性能對比
目前主流hadoop的文件存儲格式有行存儲的CSV格式，列式存儲的ORC和Parquet等。本章給出的是Parquet+Spark和CarbonData+Spark在過濾查詢場景和聚合計算場景的性能測試結果。
1）測試數據
創建沈陽社保的數據倉庫，導入、集成1年的測試數據，如下表：
生成CarbonData格式文件，如下表：
2）過濾查詢場景測試
Parquet和CarbonData在過濾查詢場景下的性能對比
3）聚合計算場景測試
Parquet和CarbonData在聚合計算場景下的性能對比
4）總結分析
在過濾查詢中，CarbonData的查詢效率比parquet效率好，主要體現在列數據的索引查詢，極大地提高了精確查詢的性能。在聚合查詢中，CarbonData通過使用全局字典編碼來加快計算速度，這使得處理、查詢引擎可以直接在編碼好的數據上進行處理而不需要轉換數據，數據只有在返回結果給用戶的時候才轉換成用戶可讀的形式，通過索引有效過濾文件數據塊減少磁盤的IO，提高查詢性能。
到此，相信大家對“Hadoop生態系統的存儲格式CarbonData性能分析”有了更深的了解，不妨來實際操作一番吧！這里是億速云網站，更多相關內容可以進入相關頻道進行查詢，關注我們，繼續學習！
免責聲明：本站發布的內容（圖片、視頻和文字）以原創、轉載和分享為主，文章觀點不代表本網站立場，如果涉及侵權請聯系站長郵箱：is@yisu.com進行舉報，并提供相關證據，一經查實，將立刻刪除涉嫌侵權內容。
