AWS, java

ポイントは2回InputStreamを作成することです。

AWS

こんな感じでディレクトリ作成しますpom.xmlを作成しますeclipseで読み込めるようにしますJavaファイルはこんな感じ WordCountMain.javaWordCountMapper.javaWordCountReducer. ...

AWS

結構はまってしまったのでメモ

VPC内に作成したEMRでSparkを動かしました。サンプルはいろいろなところにそこそこあるのですが、どうもきちっと動くものがなく結構苦労してしまいました。

EMR

まずはVPC内に ...

AWS, R

AWSEMRとは、SparkやらHiveやらそれら一式を簡単に使える様にしてくれている仕組みです。

ぽちぽちっとEMRでサーバを作成。

この間10分程度

SparkRでサンプルデータを解析してみます ...