中文字幕av专区_日韩电影在线播放_精品国产精品久久一区免费式_av在线免费观看网站

溫馨提示×

溫馨提示×

您好,登錄后才能下訂單哦!

密碼登錄×
登錄注冊×
其他方式登錄
點擊 登錄注冊 即表示同意《億速云用戶服務條款》

Hbase常用參數是什么

發布時間:2021-12-09 10:28:33 來源:億速云 閱讀:181 作者:小新 欄目:大數據

這篇文章給大家分享的是有關Hbase常用參數是什么的內容。小編覺得挺實用的,因此分享給大家做個參考,一起跟隨小編過來看看吧。

參數列表:

hbase.client.write.buffer          寫入是BUFFER大小,默認2M,一般2-5M左右,插入時先插入緩存即表示完成,明顯速度比不使用緩存要快
hbase.client.scanner.caching   通過ResultScanner獲取結果的時候,默認next()方法一次一條,通過設置cache,一次可以多條,默認值100,這個值越大,需要內存越多
hbase.master.handler.count    Master RPC數量
hbase.regionserver.handler.count  regionserver RPC數量
hbase.regionserver.global.memstore.upperLimit,  默認0.4表示memstore最多使用JAVA HEAP的40%
hbase.regionserver.global.memstore.lowerLimit,  默認0.38 表示使用到了38%就要進行刷盤了
hbase.hregion.memstore.flush.size                        默認128M,當memstore 使用達到128M,就刷新為Hfile,并關閉次memstore
hbase.hregion.max.filesize                                     HFILE最大值,超過了就要split
hbase.hstore.compactionThreshold                       默認3, 一個region下有3個HFILE就會合并
hbase.hstore.blockingStoreFiles                             默認10, 如果達到這個數字,就會阻塞插入和更新,等待合并完成, 但是這個參數不是強制性的,看下面的blockwait time
hbase.hstore.blockingWaitTime                               默認90秒,如果超過這個時間合并還沒有完成,重啟啟用更新插入
hbase.hregion.majorcompaction                            默認7天,有公式來支撐,大致是比較當前時間和HFILE時間做比較,看是否有超過7天
hfile.block.cache.size                                               讀緩存,默認java heap的40% 
IncreasingToUpperBoundRegionSplitPolicy      split policy, 默認值, 如果要關閉自動SPLIT,建議使用第三種策略,然后增大HFILE最大大小,這樣自動SPLIT基本就關閉了
KeyPrefixRegionSplitPolicy
ConstantSizeRegionSplitPolicy


以上這些參數通常都要根據業務情況進行微調,不需要太大調整,要完整的說怎么使用,不太可能,業務不同,規則不同。

比如BLOCK CACHE,讀緩存,按照數據庫的規則來說,譬如MySQL, ORACLE,我們希望這個值的命中率為99%, 但是對HBASE來說99%基本不可能,有些大的表可能就偶爾做一次SCAN,數據進入內存之后,把其他經常需要緩存的數據刷出去了,這種情況,建議關閉這種表的BLOCK CACHE, 那如果有些表經常要讀,可能我們希望會設置IN MEMORY。 

再比如memstore為128M,是否這個值能否修改為256? 或者64 ? 我覺得是看刷新頻率,如果你幾秒鐘就128M了,我覺得是否這個值應該加大,另外minor合并默認為3,是否小了? 修改為5,或者8或者更大是否合適呢?  

感謝各位的閱讀!關于“Hbase常用參數是什么”這篇文章就分享到這里了,希望以上內容可以對大家有一定的幫助,讓大家可以學到更多知識,如果覺得文章不錯,可以把它分享出去讓更多的人看到吧!

向AI問一下細節

免責聲明:本站發布的內容(圖片、視頻和文字)以原創、轉載和分享為主,文章觀點不代表本網站立場,如果涉及侵權請聯系站長郵箱:is@yisu.com進行舉報,并提供相關證據,一經查實,將立刻刪除涉嫌侵權內容。

AI

璧山县| 西丰县| 南城县| 南昌县| 嫩江县| 沙雅县| 盐池县| 洛浦县| 安徽省| 喀喇沁旗| 赤城县| 陆良县| 灵山县| 时尚| 黄平县| 江阴市| 桃源县| 鸡泽县| 新民市| 卫辉市| 马山县| 罗江县| 康定县| 东兰县| 垫江县| 都匀市| 上林县| 安化县| 新巴尔虎右旗| 济宁市| 前郭尔| 晴隆县| 柘荣县| 巢湖市| 太保市| 麻江县| 阿拉善右旗| 和政县| 昆山市| 高州市| 皋兰县|