您好,登錄后才能下訂單哦!
這篇文章主要講解了“大數據的數倉平臺設計思路是什么”,文中的講解內容簡單清晰,易于學習與理解,下面請大家跟著小編的思路慢慢深入,一起來研究和學習“大數據的數倉平臺設計思路是什么”吧!
下圖為數倉整體的技術架構:
一個優秀可靠的數倉,一定要結構、分層清晰,而不是越多的分層和主題越好,保障清晰的狀態下,能夠快速找到數據的位置。主題域的劃分,完全可按照公司內部的業務線和結構去劃分。
圖中BDL層,作為緩沖數據層,其實就是貼數據層,和源數據表相同的表。直接用源庫(傳統關系型業務庫)抽取數據,只存每天最新的數據快照(主要是增量數據)
BAK層是BDL層抽數,保存的是全歷史業務數據,起備份和查錯的作用。
FDL層是基礎數據層,是基于主題、數倉模型開發的基礎數據表。這里主要用到了范式建模法和維度建模法(即星型模型)包含最細粒度的數據,故稱基礎數據層,通俗的理解,這才是整個數倉的最核心的基礎數據層,因為BAK層和BDL層的數據表結構跟業務庫的數據是完全一致的,而FDL層的數據才是開始進行真正意義上的第一次清洗,不要的字段去除,不規范的字段命名去除,統一數據,規范標準化的一個過程。
GDL層是通用數據層,就是寬表層。也是基于主題、數倉模型開發的寬表。可能會犧牲第三范式,將相關的各維度或屬性整合到一張表里。這種表的特點就是字段較多,數據量較大,但它能幫助消除重復查詢。由于這種表會被各種需求用到,故稱通用數據層。
ADL層是匯總數據層,是基于主題、數倉模型開發的匯總數據表。這里只用到維度建模法(即星型模型)。指標庫可以放到這一層。
APP層是開放給用戶,用戶可以在此層自己開發數據,提數。給用戶的脫敏數據也可以放到這一層。我們開發的數據產品所需數據也可以在這一層做。
還有兩層比較特殊:
一個是TMP(臨時層),說白了就是存儲中間結果表,有些業務場景比較復雜,需要拆表,多次計算,要用到一些中間結果集表,因此這層也是輔助層。
DIM層是維表層,各種時間維,省市區維度都可以存放,根據公司的業務形態去劃分,ADL層可以跟DIM層的多維度關聯,做各種報表,手到擒來。
以下是數據倉庫數據流架構圖:
感謝各位的閱讀,以上就是“大數據的數倉平臺設計思路是什么”的內容了,經過本文的學習后,相信大家對大數據的數倉平臺設計思路是什么這一問題有了更深刻的體會,具體使用情況還需要大家實踐驗證。這里是億速云,小編將為大家推送更多相關知識點的文章,歡迎關注!
免責聲明:本站發布的內容(圖片、視頻和文字)以原創、轉載和分享為主,文章觀點不代表本網站立場,如果涉及侵權請聯系站長郵箱:is@yisu.com進行舉報,并提供相關證據,一經查實,將立刻刪除涉嫌侵權內容。