Amazon EC2でElastic MapReduceを使う：起動(2)

では早速動かしてみる。

/usr/local/elastic-mapreduce$ ./elastic-mapreduce --create --stream ¥
--mapper "python s3n://bs-emr/samples/mapper.py" ¥
--reducer "python s3n://bs-emr/samples/reducer.py" ¥
--input s3n://bs-emr/samples/input/test.csv ¥
--output s3n://bs-emr/output_002 ¥
--enable-debugging
Created job flow j-3U82VYK3CEP2A

mapper, reducer, inputすべてをS3から読み込みoutputもs3へ。
デバッグモードもenableにしておくことで、AWSからログを確認することができる。

ステータスを確認。

$ ./elastic-mapreduce --list --jobflow j-3U82VYK3CEP2A
j-3U82VYK3CEP2A     STARTING Development Job Flow
   PENDING        Setup Hadoop Debugging        
   PENDING        Example Streaming Step 

Instance起動待ちかな。

詳細状態確認

$ ./elastic-mapreduce --describe --jobflow j-3U82VYK3CEP2A

Json形式で詳細状態が見れる。長すぎるのでコピペしない。

完了するとoutputに指定したフォルダにMapReduce結果が出る。

ちなみにJobのキャンセルは以下のとおり。

$ ./elastic-mapreduce --terminate --jobflow j-3U82VYK3CEP2A

参考：
Amazon Elastic MapReduceで日本語のwordcountを試した時のメモ
アクセスログ解析システム構築事例
Can not obtain normal Output Files with EMR
クラウド Amazon EC2/S3のすべて~実践者から学ぶ設計/構築/運用ノウハウ~ (ITpro BOOKs)
Amazon Web Services ガイドブック クラウドでWebサービスを作ろう！