您好,登錄后才能下訂單哦!
區別
做nosql有很多,hive與hbase,二者都是基于hadoop的,不同是,hive基于類sql引擎的,所以可以用HSQL語句來 用來統計查詢,返回數據比較慢,默認是便利表中所有的數據。
hbase呢是key/value的數據庫,用來實時查詢是比較擅長的,facebook的消息實時分析用此,
名詞:MapReduce
由master分配任務給worker執行,map函數讀取被分配的輸入數據片段,輸出中間key/value pair值的集合,reduce函數手機具有相中中間key值的value值,合并這些value值,形成一個較小的value值的集合
把一些數據通過map來歸類,通過reducer來把同一類的數據進行處理
hbase理解的應該有以下幾個模塊
簡單理解hbase更新數據,首先寫到hlog日志,然后同時通過hregionserver 到region,再通過store模塊的memstore存儲,如果達到設置的值則執行store file,flush到hfile中,這樣這幾個模塊都用上了
master或者hmaster 是Master Server的實現,負責監控集群中的RegionServer實例,同時是所有metadata改變的接口,在集群中,通常運行在NameNode上面
hregionserver 是RegionServer的實現,服務和管理Regions,集群中RegionServer運行在DataNode
region 代表table,Region有多個Store(列簇),Store有一個Memstore和多個StoreFiles(HFiles),StoreFiles的底層是Block
連接 https://blog.csdn.net/maketubu7/article/details/80612930
https://blog.csdn.net/huangliuyu00/article/details/79704371
Hlog
memstore
store file
Hlog如何保證hbase一致性的
HBase的可靠性是通過HLog實現的,HLog機制是WAL(Write-Ahead Logging)的一種實現,預寫日志。WAL是事務機制中常見的一致性實現方式。每個Region Server中都會有一個HLog實現,Region Server更新操作時,先把記錄到寫到WAL(也就是HLog)中,再寫入到Store的MemStore,最終MemStore會將數據寫入到持久化的HFile中,當MemStore到達配置的內存閥值時。通過先寫WAL(HLog),再寫MemStore,這樣的方式保證寫的可靠性。
如果沒有WAL,當Region Server宕掉的時候,MemStore還沒寫入到HFile,或者StoreFile還沒保存,那么數據就會丟失。而HFile的數據由HDFS保證的,默認HDFS中會有3份。
如果服務器崩潰,region server會回訪Hlog,通過數據回寫,來恢復服務器的內存數據。下圖顯示了寫入過程,也是一個Hbase的框架圖
————————————————
另外cell,column family ,columns ,table,row,定義是什么
這個連接很清楚https://blog.csdn.net/huangliuyu00/article/details/79704371
免責聲明:本站發布的內容(圖片、視頻和文字)以原創、轉載和分享為主,文章觀點不代表本網站立場,如果涉及侵權請聯系站長郵箱:is@yisu.com進行舉報,并提供相關證據,一經查實,將立刻刪除涉嫌侵權內容。