Amazon Redshift を動かしてSQLで使ってみるまでの手順

今回、Amazon Redshift を一時的に触ってみる機会があったので、Redshiftを動かしてSQLツールで使ってみるまでの手順を記録しておきます。

Redshiftを利用する際のイメージを付けたい方向けに記載しています。

Continue reading

時系列ログをfluentdからMongoDBとElasticSearchに取り込む方法

apacheアクセスログなどの時系列ログを、fluentd(td-agent)からMongoDB(ドキュメント指向データベース)とElasticSearch(検索エンジン)に取り込み、確認する方法を記載しています。

apache稼働サーバ(192.168.1.10)と、MongoDBとElasticSearch稼働サーバ(192.168.1.20)は、別サーバとしています。

Continue reading

Hadoop サンプルアプリ実行(メモリ不足でジョブ失敗)

Hadoopの分散処理モードで、サンプルのMapReduceプログラム「pi」を実行してみたログを記録しておきます。

結論から言うと、Hadoopを動かしているマシンのメモリが貧弱でジョブが失敗しました。AWSの無料条件で使っている稼働環境なので、リソース的に無理がありました。その様子の記録です。 Continue reading

Hadoop 疑似分散モードでの起動検証2

Hadoop検証の続きです。

Hadoopが無事起動できるようになりましたので、NameNodeとJobTrackerのWebインターフェースにアクセスしたいと思います。

NameNodeのWebインターフェース

FireWallで、TCP50070にアクセスできるようにポリシー許可します。

その後、ブラウザで、http://(対象ノード):50070/ にアクセスすると、以下の画面が表示されました。 Continue reading