Pig について

Pig は、大規模なデータセットを分析するためのプラットフォームです。Pig の言語である Pig Latin はシンプルなクエリー代数で、データセットのマージやフィルタリング、レコードやレコード群への関数の適用といったデータの変換を記述することができます。ユーザーは具体的な処理目的に合わせて独自の関数を作成できます。

Pig Latin のクエリーは、クラスタ上で分散方式で実行されます。現在の実装では、Pig Latin プログラムは Map-Reduce ジョブにコンパイルされ、これらのジョブが Hadoop クラスタを用いて実行されます。

Pig の詳細については、Pig wiki を参照してください。