MapReduce 調優

1. 相關的資源參數

mapreduce.map.memory.mb： 一個maptask可以使用的資源上限，默認是1G，如果超過設置的值，會被強制殺死
mapreduce.reduce.memory.mb：一個 Reduce Task 可使用的資源上限默認是1G，如果超過設置的值，會被強制殺死
mapreduce.map.cpu.vcores：每個maptask最多的CPU core 默認是1個
mapreduce.reduce.cpu.vcores：每個reducetask最多的CPU core 默認是1個

以下參數應該在 yarn 啟動之前就配置在服務器的配置文件中才能生效

yarn.scheduler.minimum-allocation-mb=1024：給應用程序 container 分配的最小內存
yarn.scheduler.maximum-allocation-mb=8192：給應用程序 container 分配的最大內存
yarn.scheduler.minimum-allocation-vcores=1：給應用程序 container 分配的最小CPU個數
yarn.scheduler.maximum-allocation-vcores=32：給應用程序 container 分配的最大CPU個數
yarn.nodemanager.resource.memory-mb=8192 ：nodemanager啟動任務的
mapreduce.task.io.sort.mb=100 ：shuffle階段環形緩沖區的大小
mapreduce.map.sort.spill.percent=0.8：shuffle階段環形緩沖區的閾值
 

2. 相關的容錯參數

mapreduce.map.maxattempts=4：每個 Map Task 最大重試次數，一旦重試參數超過該值，則認為 Map Task 運行失敗
mapreduce.reduce.maxattempts=4： 每個 Reduce Task 最大重試次數，一旦重試參數超過該值，則認為 Map Task 運行失敗
mapreduce.map.failures.maxpercent=0： 當失敗的 Map Task 失敗比例超過該值為，整個作業則失敗，失敗的maptask比例不能比這個值大
mapreduce.reduce.failures.maxpercent=0：當失敗的 Reduce Task 失敗比例超過該值為，整個作業則失敗
mapreduce.task.timeout：如果一個 task 在一定時間內沒有任何進入，即不會讀取新的數據，也沒有輸出數據，則認為該 task 處于 block 狀態，可能是卡住了，也許永遠會卡主，為了防止因為用戶程序永遠block 住不退出，則強制設置了一個該超時時間（單位毫秒），默認是 300000。
 

3. 本地運行 mapreduce 作業

mapreduce.framework.name=local
mapreduce.jobtracker.address=local
 

4. 效率和穩定性相關參數

mapreduce.map.speculative：是否為 Map Task 打開推測執行機制，默認為 false
mapreduce.reduce.speculative：是否為 Reduce Task 打開推測執行機制，默認為 false
mapreduce.input.fileinputformat.split.minsize： FileInputFormat 做切片時的最小切片大小
mapreduce.input.fileinputformat.split.maxsize：FileInputFormat 做切片時的最大切片大小(切片的默認大小就等于 blocksize，即 134217728)
 

注意：所有的參數調試都跟根據自己的實際的業務邏輯進行調試調試的！！！！！