org.apache.hadoop.mapreduce.lib.aggregate

クラス ValueAggregatorBaseDescriptor

java.lang.Object

org.apache.hadoop.mapreduce.lib.aggregate.ValueAggregatorBaseDescriptor

すべての実装されたインタフェース:

ValueAggregatorDescriptor

直系の既知のサブクラス:

ValueAggregatorBaseDescriptor

@InterfaceAudience.Public
 @InterfaceStability.Stable
public class ValueAggregatorBaseDescriptor
extends Object
implements ValueAggregatorDescriptor

This class implements the common functionalities of the subclasses of ValueAggregatorDescriptor class.

フィールドのサマリー

フィールド

修飾子とタイプ	フィールドと説明
static String	DOUBLE_VALUE_SUM
String	inputFile
static String	LONG_VALUE_MAX
static String	LONG_VALUE_MIN
static String	LONG_VALUE_SUM
static String	STRING_VALUE_MAX
static String	STRING_VALUE_MIN
static String	UNIQ_VALUE_COUNT
static String	VALUE_HISTOGRAM

インタフェースから継承されたフィールド org.apache.hadoop.mapreduce.lib.aggregate.ValueAggregatorDescriptor

ONE, TYPE_SEPARATOR

コンストラクタのサマリー

コンストラクタ

コンストラクタと説明
ValueAggregatorBaseDescriptor()

メソッドのサマリー

修飾子とタイプ	メソッドと説明
void	configure(Configuration conf) get the input file name.
static Map.Entry<Text,Text>	generateEntry(String type, String id, Text val)
ArrayList<Map.Entry<Text,Text>>	generateKeyValPairs(Object key, Object val) Generate 1 or 2 aggregation-id/value pairs for the given key/value pair.
static ValueAggregator	generateValueAggregator(String type, long uniqCount)

クラスから継承されたメソッド java.lang.Object

clone, equals, finalize, getClass, hashCode, notify, notifyAll, toString, wait, wait, wait

フィールドの詳細

UNIQ_VALUE_COUNT

public static final String UNIQ_VALUE_COUNT

関連項目:

定数フィールド値

LONG_VALUE_SUM

public static final String LONG_VALUE_SUM

関連項目:

定数フィールド値

DOUBLE_VALUE_SUM

public static final String DOUBLE_VALUE_SUM

関連項目:

定数フィールド値

VALUE_HISTOGRAM

public static final String VALUE_HISTOGRAM

関連項目:

定数フィールド値

LONG_VALUE_MAX

public static final String LONG_VALUE_MAX

関連項目:

定数フィールド値

LONG_VALUE_MIN

public static final String LONG_VALUE_MIN

関連項目:

定数フィールド値

STRING_VALUE_MAX

public static final String STRING_VALUE_MAX

関連項目:

定数フィールド値

STRING_VALUE_MIN

public static final String STRING_VALUE_MIN

関連項目:

定数フィールド値

inputFile

public String inputFile

コンストラクタの詳細

ValueAggregatorBaseDescriptor

public ValueAggregatorBaseDescriptor()

メソッドの詳細

generateEntry

public static Map.Entry<Text,Text> generateEntry(String type,
                                                 String id,
                                                 Text val)

パラメータ:

type - the aggregation type

id - the aggregation id

val - the val associated with the id to be aggregated

戻り値:

an Entry whose key is the aggregation id prefixed with the aggregation type.

generateValueAggregator

public static ValueAggregator generateValueAggregator(String type,
                                                      long uniqCount)

パラメータ:

type - the aggregation type

uniqCount - the limit in the number of unique values to keep, if type is UNIQ_VALUE_COUNT

戻り値:

a value aggregator of the given type.

generateKeyValPairs

public ArrayList<Map.Entry<Text,Text>> generateKeyValPairs(Object key,
                                                           Object val)

Generate 1 or 2 aggregation-id/value pairs for the given key/value pair. The first id will be of type LONG_VALUE_SUM, with "record_count" as its aggregation id. If the input is a file split, the second id of the same type will be generated too, with the file name as its aggregation id. This achieves the behavior of counting the total number of records in the input data, and the number of records in each input file.

定義:

generateKeyValPairs インタフェース内 ValueAggregatorDescriptor

パラメータ:

key - input key

val - input value

戻り値:

a list of aggregation id/value pairs. An aggregation id encodes an aggregation type which is used to guide the way to aggregate the value in the reduce/combiner phrase of an Aggregate based job.

configure

public void configure(Configuration conf)

get the input file name.

定義:

configure インタフェース内 ValueAggregatorDescriptor

パラメータ:

conf - a configuration object