Kudu1.7有什么新功能

本篇內容介紹了“Kudu1.7有什么新功能”的有關知識，在實際案例的操作過程中，不少人都會遇到這樣的困境，接下來就讓小編帶領大家學習一下如何處理這些情況吧！希望大家仔細閱讀，能夠學有所成！

1.Kudu1.7的新功能

1.Kudu現在開始支持decimal的字段類型。

2.因為服務器或者磁盤故障導致tablets丟失副本，改進Kudu用于自動修復的策略。新的副本重新復制的策略是首先添加一個替換的tablet副本，然后再移除失敗的副本。而之前是先移除失敗的副本，然后再添加替換的tablet副本。在一個tablet server發生故障并在5分鐘以內又快速返回的情況下，新的副本管理方案允許tablets的快速恢復。新方案還在頻繁發生服務器故障的集群上提供了更好的整體穩定性。

3.kudu fs update_dirs工具現在支持刪除目錄。除非指定了--force參數，Kudu不允許刪除配置存儲tablet數據的目錄。如果指定了--force參數，則配置為使用該目錄的所有tablet副本在啟動時將失敗，并在其他地方開始復制，前提是其他地方有多數的副本。

4.用戶可以使用新的--fs_metadata_dir命令指定放置特定于tablet元數據的目錄。建議將其放置在高性能低延遲的設備上，比如SSD。如果未指定，則元數據將會放在--fs_wal_dir指定的目錄中，或者放在--fs_data_dirs的第一個條目指定的目錄中（如果早期部署中已存在元數據）。Kudu不會根據此配置自動移動現有元數據。

5.READ_YOUR_WRITES是一種新的掃描讀取模式。 在C++，Java和Python客戶端中創建一個新的scanner時，你可以指定READ_YOUR_WRITES。如果使用這種模式，客戶端在執行讀取操作時，會知道此客戶端先前所有寫入和讀取。在此模式下讀取，可確保會話基于 "read-your-writes"和"read-your-reads"，同時最大限度地減少因等待未完成的寫入事務而導致的延遲。不過這還是一個實驗性功能，需要等待后續版本的完善和穩定。

6.tablet server的web UI的“掃描儀表盤”（/scans）增加了如下新功能：

• 顯示最近完成的掃描。

• Pseudo-SQL scan descriptor，簡明地顯示所選字段和應用的謂詞。

• 更完整，更好的文檔掃描統計信息。

7.Kudu daemons現在開放了一個網頁，可以dump出每個服務器中運行的每個線程的當前stack trace信息。當診斷性能問題時，此信息可能會有幫助。

2.Kudu1.7的優化和提升

2.默認情況下，每個tablet副本現在跨三個數據目錄而不是所有數據目錄對數據塊進行條帶化。 這降低了單個磁盤發生故障時對tablet造成的影響。性能測試表明該功能不會對性能產生影響。該功能適用于升級到Kudu1.7后創建的新副本。

2.Kudu服務器之前提供了啟用單獨的指標日志的功能，該日志存儲服務器上可用的所有指標的定期快照。此功能現在可以作為“診斷日志”的一部分，該功能默認啟用。診斷日志包括定期dump出來的服務器指標和線程堆棧的集合。默認情況下，該診斷日志不會超過640MB，因為使用壓縮，實際會更小。

3.改進了同步Java客戶端中的錯誤處理，以便在拋出異常時，堆棧跟蹤指示調用客戶端函數的正確位置，而不是內部工作線程的調用堆棧。來自工作線程的原始調用堆棧可用作抑制異常(suppressed exception)。

4.現在，Java客戶端與Kudu服務器在建立加密連接時，使用預定義的TLS密碼優先級列表。此密碼列表與服務器到服務器通信首選的密碼列表相匹配，并確保最有效和最安全的密碼也是首選的。 當Kudu客戶端在Java 8或更高版本上運行時，可以顯著提高讀寫性能。

5.更新了kudu cluster ksck工具的報告，正在進行的tablet拷貝的tablets和表會顯示為正在恢復。這項報告更新可以使更多的常用場景尤其是tablet拷貝有更少的告警。

6.改進了插入包含許多字符串或二進制字段的行的性能，尤其是在高并發寫入工作負載的情況下。

7.默認情況下，掃描Kudu的Spark任務現在可以掃描非leader的副本。這使Spark更容易調度kudu-spark任務，并保證數據的本地性。你可以通過將leader_only傳給kudu.scanLocality選項來禁用此功能。

8.在穩定狀態和突發活動期間使用的OS線程數量，例如由節點故障觸發的Raft領導者選舉，已大幅減少，不應再超過ulimit -u的值。在大多數情況下，運行Kudu tablet的服務器不再需要增加ulimit -u或/proc/sys/kernel/threads-max的值。

9.已修復了稀疏列謂詞可能導致過多數據塊讀取的問題。以前在這類掃描中，在多列上使用稀疏匹配的謂詞，Kudu會多次讀取和解碼相同的數據塊。這個修復可以將此類掃描的性能提升5-10倍。

10.提升了更新較大的值的性能，比如更新大于1KB的值的工作負載。

3.Wire Protocol兼容性

Kudu 1.7.0 / CDH 5.15.0與之前的Kudu版本的wire-compatible

1.Kudu1.7客戶端可以連接到運行Kudu1.0或更高版本的服務器。如果客戶端使用的功能在目標服務器上沒有，則會返回報錯。

2.滾動升級到Kudu1.7尚未得到充分的測試。我們不推薦對Kudu使用滾動升級。你可以關閉集群中的所有節點，然后升級Kudu，然后再重啟。

3.除了下面提到的有關安全集群的限制之外，Kudu1.0客戶端可以連接到運行Kudu 1.7的服務器。

Kudu1.3中引入的身份驗證功能對Kudu1.7和1.3之前的版本之間的wire compatibility具有以下限制：

1.如果Kudu1.7集群配置了身份驗證或加密設置為required，則早于Kudu1.3的客戶端無法連接。

2.如果Kudu1.7集群配置了身份驗證并且加密設置為可選或禁用，則舊客戶端仍然可以連接。

4.客戶端庫兼容性

1.Kudu1.7的Java客戶端庫與Kudu1.6保持API與ABI兼容。針對Kudu1.6編寫的應用程序可以在Kudu1.7客戶端庫進行編譯和運行，反之亦然。

2.Kudu1.7 C++客戶端與Kudu1.6的API和ABI向前兼容。針對Kudu1.6客戶端庫編寫和編譯的應用程序無需修改Kudu1.7客戶端庫即可運行。針對Kudu1.7客戶端庫編寫和編譯的應用程序無需修改Kudu1.6客戶端庫即可運行。

3.Kudu1.7 Python客戶端與Kudu1.6保持API兼容。針對Kudu1.6編寫的應用程序可以繼續在Kudu1.7客戶端運行，反之亦然。

4.在Kudu1.6的服務器上，使用Kudu1.7客戶端創建帶有decimal類型字段的表時會報錯。同樣，使用Kudu1.6客戶端創建帶有decimal類型字段的表時會報錯。

5.Kudu1.7/CDH5.15不兼容性改動

1.新引入的副本管理方案與舊方案不兼容，因此無法將Kudu1.7之前的的Master Server與Kudu1.7的Tablet Server一起運行，反之亦然。這是服務端的不兼容，并不會影響客戶端的兼容性。舊版本的Kudu客戶端可以運行在新的Kudu服務端上。

2.先前可選的指標日志在每行增加了可供人閱讀的時間戳。日志文件的路徑也發生了變化，“diagnostics”替換了文件名中的“metrics”。優化了指標日志僅包含連續樣本之間發生變化的那些指標，并不包含實體屬性比如tablet分區信息。

“Kudu1.7有什么新功能”的內容就介紹到這里了，感謝大家的閱讀。如果想了解更多行業相關的知識可以關注億速云網站，小編將為大家輸出更多高質量的實用文章！