您好,登錄后才能下訂單哦!
需要搭建一個龐大的cdh系統 //寫一個博客系列 從無到有 自己思想的升華!
根據此系統進行相應的優化
構思:
1、搭建cdh 前硬件資源的選型 //這里就要針對hadoop生態圈 去選擇什么樣的硬件 cpu 硬盤廠家等
2、搭建cdh 版本控制,各個版本的相應的信息
3、搭建cdh 生產環境前的Linux 優化
4、搭建cdh 集群時候的角色規劃
5、搭建cdh 生產環境搭建
6、搭建cdh 后hdfs集群優化
7、搭建cdh 后hbase集群的相關優化(HDFS相關配置優化,HBase服務器端優化(GC優化、Compaction優化、硬件配置優化),列族設計優化,客戶端優化等)
cdh搭建過程
大體過程分為這幾部
1、前期優化
2、mysql搭建
3、jdk
4、jdbc
5、cdh具體搭建
//在這里,需要去了解4大組件的性能調優 hdfs hbase yarn kafka
先從hdfs hbase開始
4、筆者總結至少有如下幾個方面:
//HDFS相關配置優化,HBase服務器端優化(GC優化、Compaction優化、硬件配置優化),列族設計優化,客戶端優化等,
其中客戶端優化在前面已經通過超時機制、重試機制講過,后面筆者會繼續分別介紹其他三個優化重點。
重要的一點,需要升入查看cdh官網的一些參數資料*****
免責聲明:本站發布的內容(圖片、視頻和文字)以原創、轉載和分享為主,文章觀點不代表本網站立場,如果涉及侵權請聯系站長郵箱:is@yisu.com進行舉報,并提供相關證據,一經查實,將立刻刪除涉嫌侵權內容。