中文字幕av专区_日韩电影在线播放_精品国产精品久久一区免费式_av在线免费观看网站

溫馨提示×

溫馨提示×

您好,登錄后才能下訂單哦!

密碼登錄×
登錄注冊×
其他方式登錄
點擊 登錄注冊 即表示同意《億速云用戶服務條款》

Hbase FAQ熱門問答有哪些

發布時間:2021-12-08 13:51:48 來源:億速云 閱讀:110 作者:小新 欄目:大數據

這篇文章主要介紹了Hbase FAQ熱門問答有哪些,具有一定借鑒價值,感興趣的朋友可以參考下,希望大家閱讀完這篇文章之后大有收獲,下面讓小編帶著大家一起了解一下。

問:  Hbase大量寫入很慢,一個列族,每個200多列,一秒寫30000條數據,使用mutate添加數據,clientbuffer緩存大小為10M,四臺測試機,128G內存,分配60G給Hbase,該怎么優化?  

答:可以使用bulkload方式寫入,通過mr程序生產hfile文件,直接用bulkload導入生成的hfile文件,速度非常快。



問:  hbase大規模的丟數據,整個數據庫系統都掛掉了,然后發錯誤日志,說Hdfs內部的配置文件,hbase.version,丟失了。  大家有遇到過類似的問題嗎?  自建的集群。  

答:檢查一下一些服務的端口有沒有暴露到公網,是不是集群被攻擊了。自建還是有一些風險的。然后檢查下自己的hbase配置。看看數據的備份情況。



問:start-hbase.sh中有這么一段:  
if [ "$distMode" == 'false' ]then"$bin"/hbase-daemon.sh --config "${HBASE_CONF_DIR}" $commandToRun master $@else"$bin"/hbase-daemons.sh --config "${HBASE_CONF_DIR}" $commandToRun zookeeper"$bin"/hbase-daemon.sh --config "${HBASE_CONF_DIR}" $commandToRun master"$bin"/hbase-daemons.sh --config "${HBASE_CONF_DIR}" \--hosts "${HBASE_REGIONSERVERS}" $commandToRun regionserver"$bin"/hbase-daemons.sh --config "${HBASE_CONF_DIR}" \--hosts "${HBASE_BACKUP_MASTERS}" $commandToRun master-backupfi
distMode為false時表示單機,true時表示集群,看腳本好像是單機只啟動master,是否是說單機環境下不需要zookeeper,regionserver這些的意思,可是網上搜了下又有人說單機環境下master和 zookeeper會運行在同一個jvm。有誰對hbase比較熟悉的可以解答下嗎?

答:單機模式所有的服務都是一個jvm 進程啟動,底層的文件系統是本地文件系統,該jvm進程包括有zookeeper,hmaster和regionserver。其他模式需要手動分別啟動zk,hmaster,regionserver到不同的進程中。



問:Hbase 在大規模用戶畫像標簽,標簽有近百個左右,適合嗎?
答:hbase就是適用這種幾百幾千級別的場景,甚至可以支持百萬列級別的,但是建議常用的小于10w列。  



問:hbase 2 內置現在的事務做的怎么樣?支持到什么隔離級別?如果有的話,hbase分布式事務依靠什么做的?
答:hbase事務目前還是region級別,hbase是可以做到跨行事務,但是只限于region級別。



問:批量刪除hbase的數據用什么方式比較快
答:最快的方式就是直接設置TTL,如果業務無法滿足,建議直接調度delete接口,性能也較快。  


問:HBase 2.0 的查詢性能怎樣優化的?

答:在HBase的讀和寫鏈路中,均會產生大量的內存垃圾和碎片。比如說寫請求時需要從Connection的ByteBuffer中拷貝數據到KeyValue結構中,在把這些KeyValue結構寫入memstore時,又需要將其拷貝到MSLAB中,WAL Edit的構建,Memstore的flush等等,都會產生大量的臨時對象,和生命周期結束的對象。隨著寫壓力的上升,GC的壓力也會越大。讀鏈路也同樣存在這樣的問題,cache的置換,block數據的decoding,寫網絡中的拷貝等等過程,都會無形中加重GC的負擔。而HBase2.0中引入的全鏈路offheap功能,正是為了解決這些GC問題。大家知道Java的內存分為onheap和offheap,而GC只會整理onheap的堆。全鏈路Offheap,就意味著HBase在讀寫過程中,KeyValue的整個生命周期都會在offheap中進行,HBase自行管理offheap的內存,減少GC壓力和GC停頓。

寫鏈路的offheap包括以下幾個優化:

  • 在RPC層直接把網絡流上的KeyValue讀入offheap的bytebuffer中

  • 使用offheap的MSLAB pool

  • 使用支持offheap的Protobuf版本(3.0+)

讀鏈路的offheap主要包括以下幾個優化:

  • 對BucketCache引用計數,避免讀取時的拷貝

  • 使用ByteBuffer做為服務端KeyValue的實現,從而使KeyValue可以存儲在offheap的內存中

  • 對BucketCache進行了一系列性能優化




問:Hbase的bulkload有全量與增量的概念么?  
答:snapshot 做全量 ,然后bulkload 做增量。



問:Hive on hbase 分析10億以上數據性能問題?
答:性能會損失,hive支持通過類似sql語句的語法來操作hbase中的數據, 但是速度較慢。



問:直接讀HFile與通過Hbase客戶端讀,性能提升多少?
答:全表掃使用spark讀HFile,比直接讀hbase性能提升兩倍以上,并且不會影響hbase其他讀寫使用。



問:HBase region個數如何劃分?
答:最好是你的regionserver的倍數 ,會自動的分配到每個服務器 ,注意rowkey要分散。

感謝你能夠認真閱讀完這篇文章,希望小編分享的“Hbase FAQ熱門問答有哪些”這篇文章對大家有幫助,同時也希望大家多多支持億速云,關注億速云行業資訊頻道,更多相關知識等著你來學習!

向AI問一下細節

免責聲明:本站發布的內容(圖片、視頻和文字)以原創、轉載和分享為主,文章觀點不代表本網站立場,如果涉及侵權請聯系站長郵箱:is@yisu.com進行舉報,并提供相關證據,一經查實,將立刻刪除涉嫌侵權內容。

AI

石城县| 杭州市| 普宁市| 富蕴县| 于田县| 灵璧县| 图木舒克市| 谢通门县| 义马市| 团风县| 沧州市| 会东县| 平顶山市| 涞水县| 枣庄市| 印江| 阳高县| 樟树市| 县级市| 宝应县| 连平县| 和平县| 汶川县| 大足县| 安宁市| 龙门县| 周口市| 平潭县| 庄河市| 泾源县| 汝城县| 民县| 天津市| 丰宁| 江口县| 金寨县| 馆陶县| 德州市| 阿合奇县| 南康市| 伊吾县|