HBase數據模型和表設計知識點有哪些

這篇文章主要介紹“HBase數據模型和表設計知識點有哪些”，在日常操作中，相信很多人在HBase數據模型和表設計知識點有哪些問題上存在疑惑，小編查閱了各式資料，整理出簡單好用的操作方法，希望對大家解答”HBase數據模型和表設計知識點有哪些”的疑惑有所幫助！接下來，請跟著小編一起來學習吧！

術語

Table

• Hbase的table由多個行組成。

Row

• 一個行在Hbase中由一個或多個有值的列組成。Row按照字母進行排序，因此行鍵的設計非常重要。這種設計方式可以讓有關系的行非常的近，通常行鍵的設計是網站的域名反轉，比如(org.apache.www, org.apache.mail, org.apache.jira)，這樣的話所有的Apache的域名就很接近。

Column Family（列簇或列族）

• 列簇在物理上包含了許多的列與列的值，每個列簇都有一些存儲的屬性可配置。例如是否使用緩存，壓縮類型，存儲版本數等。在表中，每一行都有相同的列簇，盡管有些列簇什么東西也沒有存。

Column

• 列由列簇加上列的標識組成，一般是“列簇：列標識”，創建表的時候不用指定列名（列標識）

Column Qualifier

• 列簇的限定詞，理解為列的唯一標識。但是列標識是可以改變的，因此每一行可能有不同的列標識

Cell

• Cell是由row，column family,column qualifier包含時間戳與值組成的，一般表達某個值的版本。

Timestamp

• 時間戳一般寫在value的旁邊，代表某個值的版本號，默認的時間戳是寫入數據的那一刻，也可以在寫入數據的時候指定不同的時間戳

標識設計要點

• 只要是數據庫都存在，模式設計的問題，關系型中有模式設計的范式，Hbase作為列式存儲數據庫，其模式設計也非常重要。

hbase與關系型數據庫對比

設計時考慮因素

• Hbase關鍵概念：表，rowkey，列簇，時間戳

• 這個表應該有多少列簇

• 列簇使用什么數據

• 每個列簇有有多少列

• 列名是什么，盡管列名不必在建表時定義，但讀寫數據是要知道的

• 單元應該存放什么數據

• 每個單元存儲多少時間版本

• 行鍵(rowKey)結構是什么，應該包含什么信息

設計要點

行鍵rowkey設計

• 說明

• 行鍵是關鍵部分，直接關系到后續服務的訪問性能。如果行鍵設計不合理，后續查詢服務效率會成倍的遞減。

• 細節

• rowkey全局唯一，如果重復添加數據會覆蓋。

• 避免單調的遞增行鍵，因為Hbase的行鍵是有序排列的，這樣可能導致一段時間內大部分寫入集中在某一個Region上進行操作，負載都在一臺節點上。可以設計成： [metric_type][event_timestamp]，不同的metric_type可以將壓力分散到不同的region上

• 行鍵短到可讀即可，因為查詢短鍵比長鍵性能好些，所以設計時要權衡長度，最好不要超過16個字節。

• 行鍵不能改變，唯一可以改變的方式是先刪除后插入

列簇設計

• 說明

• 列簇是一些列的集合，一個列簇的成員有相同的前綴，以冒號(:)作為分隔符。

• 細節

• 當前Hbase不能很好處理2~3個以上的列簇，所以盡可能讓列簇少一些，如果表有多個列簇，列簇A有100萬行數據，列簇B有10億行，那么列簇A會分散到很多的Region導致掃描列簇A的時候效率底下。

• 列簇名的長度要盡量小，一個為了節省空間，另外加快效率，比如d表示data，v表示value

列簇屬性

• HFile數據塊，默認是64KB，數據庫數據的大小影響數據塊索引的大小。數據塊大的話一次加載進內存的數據越多，掃描查詢效果越好。但是數據塊小的話，隨機查詢性能更好

• 數據塊緩存，數據塊緩存默認是打開的，如果一些比較少訪問的數據可以選擇關閉緩存

• 數據壓縮，壓縮會提高磁盤利用率，但是會增加CPU的負載，看情況進行控制

到此，關于“HBase數據模型和表設計知識點有哪些”的學習就結束了，希望能夠解決大家的疑惑。理論與實踐的搭配能更好的幫助大家學習，快去試試吧！若想繼續學習更多相關知識，請繼續關注億速云網站，小編會繼續努力為大家帶來更多實用的文章！