學習日志---partitioner和采樣器

Mapreduce中：

shuffle階段是在map和reduce之間，可以自定義排序，自定義分區和自定義分組！

Mapreduce中，map出的數據是鍵值對，默認的是hashPatitionner來對map出的數據進行分區；

分區的方法還有其他幾個：

RandomSampler<Text, Text> sampler = 
                     new InputSampler.RandomSampler<Text, Text>(0.5, 3000, 10);
IntervalSampler<Text, Text> sampler2 = 
                    new InputSampler.IntervalSampler<Text, Text>(0.333, 10);
SplitSampler<Text, Text> sampler3 = 
                    new InputSampler.SplitSampler<Text, Text>(reduceNumber);

實現和細節

public class TotalSortMR { 
      
    @SuppressWarnings("deprecation")
    public static int runTotalSortJob(String[] args) throws Exception {  
        Path inputPath = new Path(args[0]);  
        Path outputPath = new Path(args[1]);  
        Path partitionFile = new Path(args[2]);  
        int reduceNumber = Integer.parseInt(args[3]);  
          

        //三種采樣器
        RandomSampler<Text, Text> sampler = new InputSampler.RandomSampler<Text, Text>(1, 3000, 10);
        IntervalSampler<Text, Text> sampler2 = new InputSampler.IntervalSampler<Text, Text>(0.333, 10);
        SplitSampler<Text, Text> sampler3 = new InputSampler.SplitSampler<Text, Text>(reduceNumber);
        
        //任務初始化
        Configuration conf = new Configuration();  
        Job job = Job.getInstance(conf);
        
        job.setJobName("Total-Sort");  
        job.setJarByClass(TotalSortMR.class);  
        job.setInputFormatClass(KeyValueTextInputFormat.class);  
        job.setMapOutputKeyClass(Text.class);  
        job.setMapOutputValueClass(Text.class);  
        job.setNumReduceTasks(reduceNumber);  

        //設置所有的分區類
        job.setPartitionerClass(TotalOrderPartitioner.class);  
        //分區類參考的分區文件
        TotalOrderPartitioner.setPartitionFile(conf, partitionFile);  
        //分區使用哪種采樣器
        InputSampler.writePartitionFile(job, sampler); 
        
        //job的輸入和輸出路徑
        FileInputFormat.setInputPaths(job, inputPath);  
        FileOutputFormat.setOutputPath(job, outputPath);  
        outputPath.getFileSystem(conf).delete(outputPath, true);  
          
        return job.waitForCompletion(true)? 0 : 1;
    }  
      
    public static void main(String[] args) throws Exception{  
        System.exit(runTotalSortJob(args));  
    }
}

job默認的輸入格式是TextInputFormat，這個是key-value的形式，key是每行的行標，value是每行的內容。可以更改

job.setInputFormatClass（,....）

一般要設置mapper的輸出格式，以備后面使用。