org.apache.hadoop.mapred

クラス MultiFileInputFormat<K,V>

java.lang.Object

org.apache.hadoop.mapred.FileInputFormat<K,V>

org.apache.hadoop.mapred.MultiFileInputFormat<K,V>

すべての実装されたインタフェース:

InputFormat<K,V>

@InterfaceAudience.Public
 @InterfaceStability.Stable
public abstract class MultiFileInputFormat<K,V>
extends FileInputFormat<K,V>

An abstract InputFormat that returns MultiFileSplit's in getSplits(JobConf, int) method. Splits are constructed from the files under the input paths. Each split returned contains nearly equal content length.
Subclasses implement getRecordReader(InputSplit, JobConf, Reporter) to construct RecordReader's for MultiFileSplit's.

関連項目:

MultiFileSplit

フィールドのサマリー

クラスから継承されたフィールド org.apache.hadoop.mapred.FileInputFormat

INPUT_DIR_RECURSIVE, LOG, NUM_INPUT_FILES

コンストラクタのサマリー

コンストラクタ

コンストラクタと説明
MultiFileInputFormat()

メソッドのサマリー

修飾子とタイプ	メソッドと説明
abstract RecordReader<K,V>	getRecordReader(InputSplit split, JobConf job, Reporter reporter) Get the RecordReader for the given InputSplit.
InputSplit[]	getSplits(JobConf job, int numSplits) Splits files returned by FileInputFormat.listStatus(JobConf) when they're too big.

クラスから継承されたメソッド org.apache.hadoop.mapred.FileInputFormat

addInputPath, addInputPathRecursively, addInputPaths, computeSplitSize, getBlockIndex, getInputPathFilter, getInputPaths, getSplitHosts, isSplitable, listStatus, makeSplit, makeSplit, setInputPathFilter, setInputPaths, setInputPaths, setMinSplitSize

クラスから継承されたメソッド java.lang.Object

clone, equals, finalize, getClass, hashCode, notify, notifyAll, toString, wait, wait, wait

コンストラクタの詳細

MultiFileInputFormat

public MultiFileInputFormat()

メソッドの詳細

getSplits

public InputSplit[] getSplits(JobConf job,
                              int numSplits)
                       throws IOException

クラスからコピーされた説明: FileInputFormat

Splits files returned by FileInputFormat.listStatus(JobConf) when they're too big.

定義:

getSplits インタフェース内 InputFormat<K,V>

オーバーライド:

getSplits クラス内 FileInputFormat<K,V>

パラメータ:

job - job configuration.

numSplits - the desired number of splits, a hint.

戻り値:

an array of InputSplits for the job.

例外:

IOException

getRecordReader

public abstract RecordReader<K,V> getRecordReader(InputSplit split,
                                                  JobConf job,
                                                  Reporter reporter)
                                           throws IOException

インタフェースからコピーされた説明: InputFormat

Get the RecordReader for the given InputSplit.

It is the responsibility of the RecordReader to respect record boundaries while processing the logical split to present a record-oriented view to the individual task.

定義:

getRecordReader インタフェース内 InputFormat<K,V>

定義:

getRecordReader クラス内 FileInputFormat<K,V>

パラメータ:

split - the InputSplit

job - the job that this split belongs to

戻り値:

a RecordReader

例外:

IOException