データウェアハウスなどの分析用DBとして利用される、列指向データベース「Infobright」を使ってみたので、記録しておきます。 Continue reading
Category Archives: ビッグデータ
Amazon Redshift を動かしてSQLで使ってみるまでの手順
今回、Amazon Redshift を一時的に触ってみる機会があったので、Redshiftを動かしてSQLツールで使ってみるまでの手順を記録しておきます。
Redshiftを利用する際のイメージを付けたい方向けに記載しています。
時系列ログをfluentdからMongoDBとElasticSearchに取り込む方法
apacheアクセスログなどの時系列ログを、fluentd(td-agent)からMongoDB(ドキュメント指向データベース)とElasticSearch(検索エンジン)に取り込み、確認する方法を記載しています。
apache稼働サーバ(192.168.1.10)と、MongoDBとElasticSearch稼働サーバ(192.168.1.20)は、別サーバとしています。
Hadoop サンプルアプリ実行(メモリ不足でジョブ失敗)
Hadoopの分散処理モードで、サンプルのMapReduceプログラム「pi」を実行してみたログを記録しておきます。
結論から言うと、Hadoopを動かしているマシンのメモリが貧弱でジョブが失敗しました。AWSの無料条件で使っている稼働環境なので、リソース的に無理がありました。その様子の記録です。 Continue reading
Hadoop 稼働状況の簡易確認
Hadoopを疑似分散モードで稼働させた後に、Hadoop構成に影響を与えないレベルでHadoopの稼働情報をざっくり確認してみました。 Continue reading
Hadoop 疑似分散モードでの起動検証2
Hadoop検証の続きです。
Hadoopが無事起動できるようになりましたので、NameNodeとJobTrackerのWebインターフェースにアクセスしたいと思います。
NameNodeのWebインターフェース
FireWallで、TCP50070にアクセスできるようにポリシー許可します。
その後、ブラウザで、http://(対象ノード):50070/ にアクセスすると、以下の画面が表示されました。 Continue reading