Category Archives: ビッグデータ

時系列ログをfluentdからMongoDBとElasticSearchに取り込む方法

Posted on by

apacheアクセスログなどの時系列ログを、fluentd(td-agent)からMongoDB（ドキュメント指向データベース）とElasticSearch（検索エンジン）に取り込み、確認する方法を記載しています。

apache稼働サーバ（192.168.1.10）と、MongoDBとElasticSearch稼働サーバ（192.168.1.20）は、別サーバとしています。

Continue reading →

Hadoop サンプルアプリ実行（メモリ不足でジョブ失敗）

Posted on by

Hadoopの分散処理モードで、サンプルのMapReduceプログラム「pi」を実行してみたログを記録しておきます。

結論から言うと、Hadoopを動かしているマシンのメモリが貧弱でジョブが失敗しました。AWSの無料条件で使っている稼働環境なので、リソース的に無理がありました。その様子の記録です。 Continue reading →

Hadoop 疑似分散モードでの起動検証２

Posted on by

Hadoop検証の続きです。

Hadoopが無事起動できるようになりましたので、NameNodeとJobTrackerのWebインターフェースにアクセスしたいと思います。

NameNodeのWebインターフェース

FireWallで、TCP50070にアクセスできるようにポリシー許可します。

その後、ブラウザで、http://(対象ノード):50070/ にアクセスすると、以下の画面が表示されました。 Continue reading →