您好,登錄后才能下訂單哦!
本篇內容介紹了“HBase的工作機制是怎樣的”的有關知識,在實際案例的操作過程中,不少人都會遇到這樣的困境,接下來就讓小編帶領大家學習一下如何處理這些情況吧!希望大家仔細閱讀,能夠學有所成!
HBase – Hadoop Database,是一個高可靠性、高性能、面向列、可伸縮的分布式存儲系統,利用HBase技術可在廉價PC Server上搭建起大規模結構化存儲集群。
與FUJITSU Cliq等商用大數據產品不同,HBase是Google Bigtable的開源實現,類似Google Bigtable利用GFS作為其文件存儲系統,HBase利用Hadoop HDFS作為其文件存儲系統;Google運行MapReduce來處理Bigtable中的海量數據,HBase同樣利用Hadoop MapReduce來處理HBase中的海量數據;Google Bigtable利用 Chubby作為協同服務,HBase利用Zookeeper作為對應。
一、hbase的特性
1、hbase數據的終持久化存儲是基于hsfs文件系統,存儲容量幾乎無限,可以隨時在線擴容。
2、hbase的數據增刪改查功能模塊是分布式系統。
3、nosql數據庫,表結構。
二、HBase的存儲
HBase中的所有數據文件都存儲在Hadoop HDFS文件系統上。
1. HFile, HBase中KeyValue數據的存儲格式,HFile是Hadoop的二進制格式文件,實際上StoreFile就是對HFile做了輕量級包裝,即StoreFile底層就是HFile。
2. HLog File,HBase中WAL(Write Ahead Log) 的存儲格式,物理上是Hadoop的Sequence File。
三、HBase工作機制
hbase工作機制詳細解析:
1、hbase的整體工作機制是接受客戶端發來的請求命令,從hdfs中讀取表文件信息返回給客戶端;
2、每個hbase服務器負責表文件中對應region區域,hdfs上表文件的存儲也是分為每個region單獨存儲,每個region中又分為多個列族存儲;
3、hbase集群中有兩種角色,regionserver和master,regionserver負責響應客戶端請求,讀取表文件;
master負責監控regionserver的狀態,以便及時處理掉線的regionserver,保證hbase集群正常運行;當一個region掛掉時,master會及時監控到,這里利用了zookeeper管理regionserver狀態信息。
當一個master掛掉時,不會影響客戶端查數據,但如果此時regionserver掛掉,master又不能及時監控到,便會影響數據查詢;解決方法就是再設置一臺master,一臺active狀態,一臺standby狀態用作備用,當active的master掛掉,standby的master將會變為active狀態,監控regionserver。
4、master和zookeeper就組成了高可用。
大數據開發之路不易,大家且行且珍惜。好程序員為大家的學習保駕護航。
“HBase的工作機制是怎樣的”的內容就介紹到這里了,感謝大家的閱讀。如果想了解更多行業相關的知識可以關注億速云網站,小編將為大家輸出更多高質量的實用文章!
免責聲明:本站發布的內容(圖片、視頻和文字)以原創、轉載和分享為主,文章觀點不代表本網站立場,如果涉及侵權請聯系站長郵箱:is@yisu.com進行舉報,并提供相關證據,一經查實,將立刻刪除涉嫌侵權內容。