--------(--)

スポンサーサイト

上記の広告は1ヶ月以上更新のないブログに表示されています。
新しい記事を書く事で広告が消せます。

2012-03-04(Sun)

Amazon EC2でElastic MapReduceを使う:起動(2)

では早速動かしてみる。
/usr/local/elastic-mapreduce$ ./elastic-mapreduce --create --stream ¥
--mapper "python s3n://bs-emr/samples/mapper.py" ¥
--reducer "python s3n://bs-emr/samples/reducer.py" ¥
--input s3n://bs-emr/samples/input/test.csv ¥
--output s3n://bs-emr/output_002 ¥
--enable-debugging
Created job flow j-3U82VYK3CEP2A

mapper, reducer, inputすべてをS3から読み込みoutputもs3へ。
デバッグモードもenableにしておくことで、AWSからログを確認することができる。

ステータスを確認。
$ ./elastic-mapreduce --list --jobflow j-3U82VYK3CEP2A
j-3U82VYK3CEP2A STARTING Development Job Flow
PENDING Setup Hadoop Debugging
PENDING Example Streaming Step

Instance起動待ちかな。

詳細状態確認
$ ./elastic-mapreduce --describe --jobflow j-3U82VYK3CEP2A

Json形式で詳細状態が見れる。長すぎるのでコピペしない。

完了するとoutputに指定したフォルダにMapReduce結果が出る。

ちなみにJobのキャンセルは以下のとおり。
$ ./elastic-mapreduce --terminate --jobflow j-3U82VYK3CEP2A


参考:
Amazon Elastic MapReduceで日本語のwordcountを試した時のメモ
アクセスログ解析システム構築事例
Can not obtain normal Output Files with EMR
クラウド Amazon EC2/S3のすべて~実践者から学ぶ設計/構築/運用ノウハウ~ (ITpro BOOKs)
Amazon Web Services ガイドブック クラウドでWebサービスを作ろう!
関連記事
スポンサーサイト

コメントの投稿

管理者にだけ表示を許可する

コメント

プロフィール

kumagonjp2

Author:kumagonjp2
Python,Django,R,Mongo,MySQL,Struts,Spring,データマイニングなどサーバー関係のメモを残していきます。

最新記事
最新コメント
最新トラックバック
月別アーカイブ
カテゴリ
雪が3Dで降るブログパーツ ver2

マウスで見る方向変えられます

検索フォーム
RSSリンクの表示
リンク
ブロとも申請フォーム

この人とブロともになる

QRコード
QR
上記広告は1ヶ月以上更新のないブログに表示されています。新しい記事を書くことで広告を消せます。