EMRのSparkでWordCount

Pocket

BODY:

EMRではSparkでファイルを開く際には*が使えるみたいだ 

こんな感じのBOWを数えるスクリプトを作成

s3にはgzで固められたファイルがたくさんある場合には

このような指定で起動すると全ファイルを解凍しながら計算し、outputへ結果を保存します