クラスタセットアップ

このドキュメントでは、数ノードの小さなクラスタから数千ノードの非常に大規模なものまで、Hadoop クラスタのインストール、設定、および管理の方法について説明します。

Hadoop を使うには、まず 1 台のマシンに Hadoop をインストールすることから始めてください (Hadoop クイックスタートを参照してください)。

1. クラスタを構成するすべてのノードに必要なソフトウェアがインストールされていることを確認します。
2. Hadoop ソフトウェアをダウンロードします。

通常、Hadoop クラスタのインストールでは、クラスタを構成するすべてのマシンでソフトウェアを展開する作業が伴います。

一般にクラスタ上の 1 台のマシンを NameNode 専用とし、これとは別のマシンを JobTracker 専用とします。これらのマシンはマスターです。クラスタ上のこれら以外のマシンは DataNode および TaskTracker の両方の役割を果たします。これらのマシンはスレーブです。

以下では、ディストリビューションのルートが HADOOP_HOME に設定されているものとします。通常、クラスタ上のすべてのマシンの HADOOP_HOME パスは同じです。

以下のセクションでは、Hadoop クラスタの設定方法について説明します。

設定ファイル

Hadoop の設定は、次の 2 種類の重要な設定ファイル群によって決まります。

1. 読み取り専用のデフォルトの設定 - src/core/core-default.xml、src/hdfs/hdfs-default.xml、および src/mapred/mapred-default.xml。
2. サイト固有の設定 - conf/core-site.xml、conf/hdfs-site.xml、および conf/mapred-site.xml。

これらの設定ファイルによって Hadoop フレームワークがどのようにコントロールされるのかの詳細については、こちらを参照してください。

なお、ディストリビューションの bin/ ディレクトリにある Hadoop スクリプト群は、conf/hadoop-env.sh でサイト固有の値を設定することで制御できます。

サイトの設定

Hadoop クラスタを設定するには、Hadoop デーモンが動作する環境に加え、Hadoop デーモンの設定パラメータを指定する必要があります。

Hadoop デーモンとは、NameNode/DataNode および JobTracker/TaskTracker のことです。

Hadoop デーモンの環境設定

管理者は、conf/hadoop-env.sh スクリプトを使って、Hadoop デーモンプロセス環境に関するサイト固有のカスタマイズを行う必要があります。

最低でも、JAVA_HOME を適切に設定し、各リモートノードでこの環境変数が正しく設定されるようにする必要があります。

管理者は、設定オプション HADOOP_*_OPTS を用いて個々のデーモンの設定を行うことができます。次の表は、利用可能なオプションをまとめたものです。

たとえば、NameNode が parallelGC を使うように設定するには、次のステートメントを hadoop-env.sh に追加します。
export HADOOP_NAMENODE_OPTS="-XX:+UseParallelGC ${HADOOP_NAMENODE_OPTS}"

上の表のほかにも、カスタマイズ可能な便利な設定パラメータとして次のようなものがあります。

• HADOOP_LOG_DIR - デーモンのログファイルを格納するディレクトリ。ディレクトリが存在しない場合は自動的に作成されます。
• HADOOP_HEAPSIZE - 使用するヒープサイズの上限 (単位: MB)。Hadoop デーモンのヒープサイズを設定するのに使われます。デフォルトの値は 1000、すなわち 1000MB です。

Hadoop デーモンの設定

ここでは、設定ファイルで指定する重要なパラメータについて説明します。
conf/core-site.xml:

conf/hdfs-site.xml:

conf/mapred-site.xml:

通常、上の表に掲載したパラメータはすべて、ユーザー・アプリケーションが上書きできないように、final とマークされています。

実際のクラスタでの設定

ここでは、非常に大規模なクラスタ上で sort ベンチマークを実行するのに使われた、デフォルトではない設定パラメータの一部を示します。

• 900 ノードのクラスタ上で 9TB のデータをソートする sort900 を実行した際に使われた、デフォルト以外の設定値の一部です。

  設定ファイル	パラメータ	値	注
  conf/hdfs-site.xml	dfs.block.size	134217728	大容量ファイルシステム向けに HDFS ブロックサイズを 128MB に設定。
  conf/hdfs-site.xml	dfs.namenode.handler.count	40	非常に多数の DataNode からの RPC を処理できるよう、NameNode サーバーのスレッドを多目に設定。
  conf/mapred-site.xml	mapred.reduce.parallel.copies	20	非常に数の多い map からの出力を取り込むために、reduce が同時に実行するコピーの数を増やして設定。
  conf/mapred-site.xml	mapred.child.java.opts	-Xmx512M	maps/reduce の子 jvm のヒープサイズを大き目に設定。
  conf/core-site.xml	fs.inmemory.size.mb	200	map からの出力を reduce でマージするときに使われるインメモリ・ファイルシステムに割り当てるメモリ量を増やして設定。
  conf/core-site.xml	io.sort.factor	100	ファイルのソート中により多くのストリームを一度にマージできるよう設定値を変更。
  conf/core-site.xml	io.sort.mb	200	データのソート中のメモリ上限を高目に設定。
  conf/core-site.xml	io.file.buffer.size	131072	SequenceFile で使われる読み取り/書き込みバッファのサイズ。

• 1400 ノード上で 14TB のデータをソートする sort1400 と、2000 ノード上で 20TB のデータをソートする sort2000 を実行した際に新たに変更した設定値の一部です。

  設定ファイル	パラメータ	値	注
  conf/mapred-site.xml	mapred.job.tracker.handler.count	60	非常に多数の TaskTracker からの RPC を処理できるよう、JobTracker サーバーのスレッドを多目に設定。
  conf/mapred-site.xml	mapred.reduce.parallel.copies	50
  conf/mapred-site.xml	tasktracker.http.threads	50	TaskTracker の HTTP サーバーのワーカースレッドを多目に設定。HTTP サーバーは、map からの中間出力を取り込むために、reduce によって使われます。
  conf/mapred-site.xml	mapred.child.java.opts	-Xmx1024M	maps/reduce の子 jvm のヒープサイズを大き目に設定。

メモリの監視

TaskTracker (TT) は、生成するタスクのメモリ使用状況を監視するように設定できます。このように設定すると、不適切なふるまいをするジョブの過剰なメモリ消費によってマシンがダウンするのを防ぐことができます。メモリの監視を有効にすると、各タスクには仮想メモリ (VMEM) に関するタスク制限が課せられます。また、各ノードには、VMEM 使用量に関するノード制限が課せられます。TaskTracker は、タスクおよびその子孫が、タスクごとの制限を超える VMEM を使用した場合に、該当するタスクが kill されることを保証します。また、すべてのタスク、およびこれらの子孫の合計 VMEM 使用量がノード制限を超えた場合に、これらのタスクが kill されることも保証します。

オプションとして、ユーザーはジョブごとに VMEM タスク制限を指定できます。制限が指定されていない場合には、デフォルトの制限が使われます。ノード制限はノードごとに設定できます。

現在、メモリの監視と管理がサポートされているのは、Linux プラットフォームだけです。

TaskTracker でメモリの監視を有効にするには、以下のすべてのパラメータを設定する必要があります。

上記に加えて、以下のパラメータを設定することもできます。

次に、TaskTracker でのメモリの監視の動作のしくみについて説明します。

1. 上に説明した設定パラメータの 1 つ以上が欠けているか、-1 が指定されている場合、該当する TaskTracker でのメモリの監視は無効になります。
2. さらに、mapred.task.default.maxvmem が mapred.task.limit.maxvmem より大きい場合、メモリの監視は無効になります。
3. ユーザーがタスクにタスク制限を設定していて、その値が mapred.task.limit.maxvmem より大きい場合、該当するタスクを受け取った TaskTracker は警告を記録しますが、タスクは実行します。
4. TaskTracker は定期的に以下のことをチェックします。
   • いずれかのタスクの現在の VMEM 使用量が、そのタスクの VMEM タスク制限を超えている場合、そのタスクは kill され、タスクが kill された理由がタスクの診断結果に記録されます。このようなタスクは失敗したものとみなされ、kill された数はタスクの失敗数としてカウントされます。
   • すべてのタスクおよびその子孫によって使われている合計 VMEM が、合計 VMEM が、ノード制限を超えている場合、TaskTracker は、全体の VMEM 使用量がノード制限を下回るまで、進捗の最も遅いものから順に、必要なだけタスクを kill します。このようにして kill されたタスクは失敗したものとはみなされず、kill された数はタスクの失敗数としてはカウントされません。

スケジューラは、1 つのノード上で実行されるタスクが多くなり過ぎないようにするとともに、TaskTracker に十分な空き VMEM がある場合にのみタスクをスケジューリングすることで、TaskTracker に課せられる監視の負荷を緩和することができます。また、スケジューラは、ノード上で利用可能な物理メモリ (RAM) も考慮の対象に含めることができます。スケジューラのサポートを有効にするために、TaskTracker はハートビートごとに JobTracker にメモリ設定を報告します。詳細な内容に入る前に、より適切なスケジューリングを可能にするために設定できるメモリ関連の追加パラメータを以下に示します。

TaskTracker は、ハートビートごとに以下のメモリ関連の値を報告します。

• ノード上で利用可能な合計 VMEM。
• mapred.tasktracker.vmem.reserved の値 (設定されている場合)。
• ノード上で利用可能な合計 RAM。
• mapred.tasktracker.pmem.reserved の値 (設定されている場合)。

スレーブ

一般にクラスタ上の 1 台のマシンを NameNode 専用とし、これとは別のマシンを JobTracker 専用とします。これら以外のマシンは DataNode および TaskTracker の両方の役割を果たします。これらのマシンのことを、スレーブと呼びます。

conf/slaves ファイルには、すべてのスレーブのホスト名または IP アドレスを 1 行に 1 つずつ記述します。

ログの記録

Hadoop では、 Apache Commons Logging フレームワークを介して Apache log4j を使ってログを記録します。Hadoop デーモンのログ記録設定 (ログのフォーマットなど) をカスタマイズするには、conf/log4j.properties ファイルを編集します。

履歴のログ記録

ジョブ履歴ファイルは、集中管理のための場所である hadoop.job.history.location に格納されます。この場所は DFS 上にあってもよく、デフォルトの値は ${HADOOP_LOG_DIR}/history です。履歴ウェブ UI は、ジョブトラッカー・ウェブ UI からアクセスできます。

履歴ファイルは、ユーザー指定のディレクトリ hadoop.job.history.user.location にも格納されます。ユーザー指定のディレクトリのデフォルトは、ジョブ出力ディレクトリです。履歴ファイルは、指定されたディレクトリ内の "_logs/history/" に格納されます。つまり、デフォルトでは、履歴ファイルは "mapred.output.dir/_logs/history/" に格納されることになります。ユーザーは、hadoop.job.history.user.location に値 none を指定することで、ログの記録を停止させることができます。

ユーザーは次のコマンドを実行することで、指定されたディレクトリ内の履歴ログのサマリーを表示できます。
$ bin/hadoop job -history output-dir
コマンドを実行すると、ジョブの詳細、失敗した TIP および kill された TIP の詳細が表示されます。
成功したタスクや各タスクのタスク試行など、ジョブの詳細を表示するには、次のコマンドを実行します。
$ bin/hadoop job -history all output-dir

必要な設定をすべて終えたら、設定ファイルをすべてのマシンの HADOOP_CONF_DIR ディレクトリ (通常は ${HADOOP_HOME}/conf) に転送します。

Map/Reduce

mapred.jobtracker.restart.recover が true に設定されていて、JobHistory のログ記録が有効になっている場合、ジョブトラッカーの再起動時に、実行中のジョブを回復できます。この場合、mapred.jobtracker.job.history.block.size に適切な値を設定し、ジョブ履歴をできるだけ速やかにディスクにダンプできるようにしておく必要があります。mapred.jobtracker.job.history.block.size のデフォルトの値は 3145728 (3MB) です。

HDFS および Map/Reduce コンポーネントはラック対応です。

NameNode および JobTracker は、管理者が設定したモジュール内の API resolve を呼び出して、クラスタ内のスレーブのラック ID を取得します。API は、スレーブの DNS 名 (または IP アドレス) をラック ID に解決します。このときどのモジュールを使うかは、設定項目 topology.node.switch.mapping.impl を使って設定できます。モジュールのデフォルトの実装では、topology.script.file.name で設定されたスクリプト/コマンドを実行します。topology.script.file.name が設定されていない場合は、渡されたすべての IP アドレスに対して、ラック ID /default-rack が返されます。Map/Reduce に関連するその他の設定として、mapred.cache.task.levels があり、キャッシュの (ネットワークトポロジ内での) レベル数はこの値によって決まります。たとえば、mapred.cache.task.levels の値がデフォルトの 2 である場合、1 つはホスト用 (ホストからタスクへのマッピング)、もう 1 つはラック用 (ラックからタスクへのマッピング) の 2 レベルのキャッシュが構築されます。

Hadoop クラスタを起動するには、HDFS および Map/Reduce クラスタの両方を起動する必要があります。

新しい分散ファイルシステムをフォーマットします。
$ bin/hadoop namenode -format

NameNode に指定したマシンで次のコマンドを実行し、HDFS を起動します。
$ bin/start-dfs.sh

bin/start-dfs.sh スクリプトは、NameNode 上の ${HADOOP_CONF_DIR}/slaves ファイルを読み込み、このファイルで指定されているすべてのスレーブ上で DataNode デーモンを起動します。

JobTracker に指定したマシンで次のコマンドを実行し、Map/Reduce を起動します。
$ bin/start-mapred.sh

bin/start-mapred.sh スクリプトも、JobTracker 上の ${HADOOP_CONF_DIR}/slaves ファイルを読み込み、このファイルで指定されているすべてのスレーブ上で TaskTracker デーモンを起動します。

NameNode に指定したマシンで次のコマンドを実行し、HDFS を停止します。
$ bin/stop-dfs.sh

bin/stop-dfs.sh スクリプトも、NameNode 上の ${HADOOP_CONF_DIR}/slaves ファイルを読み込み、このファイルで指定されているすべてのスレーブ上で DataNode デーモンを停止します。

JobTracker に指定したマシンで次のコマンドを実行し、Map/Reduce を停止します。
$ bin/stop-mapred.sh

bin/stop-mapred.sh スクリプトも、JobTracker 上の ${HADOOP_CONF_DIR}/slaves ファイルを読み込み、このファイルで指定されているすべてのスレーブ上で TaskTracker デーモンを停止します。