Check!Site > 技術 > ビッグデータ > Hadoop 稼働状況の簡易確認

Hadoop 稼働状況の簡易確認

記事投稿者：山下 晴規
記事公開日：2012/08/21
最終更新日： （この記事は約1年以上経過しています。）

Hadoopを疑似分散モードで稼働させた後に、Hadoop構成に影響を与えないレベルでHadoopの稼働情報をざっくり確認してみました。

rpm情報

rpmでインストールしたhadoopパッケージ情報を確認しました。

[hadoop@localhost]$ rpm -qa | grep hadoop
hadoop-1.0.3-1.x86_64
[hadoop@localhost]$ rpm -qi hadoop-1.0.3-1.x86_64
Name        : hadoop                       Relocations: /usr /etc/hadoop /var/log/hadoop /var/run/hadoop
Version     : 1.0.3                             Vendor: Apache Software Foundation
Release     : 1                             Build Date: Tue 08 May 2012 08:37:33 PM UTC
Install Date: Sun 12 Aug 2012 01:42:30 PM UTC      Build Host: devadm900.cc1.ygridcore.net
Group       : Development/Libraries         Source RPM: hadoop-1.0.3-1.src.rpm
Size        : 67137444                         License: Apache License, Version 2.0
Signature   : (none)
URL         : http://hadoop.apache.org/core/
Summary     : The Apache Hadoop project develops open-source software for reliable, scalable, distributed computing
Description :
The Apache Hadoop project develops open-source software for reliable, scalable,
distributed computing.  Hadoop includes these subprojects:

Hadoop Common: The common utilities that support the other Hadoop subprojects.
HDFS: A distributed file system that provides high throughput access to application data.
MapReduce: A software framework for distributed processing of large data sets on compute clusters.
[hadoop@localhost]$

プロセス情報

具体的にどんなプロセスが起動しているかをpsコマンドで確認したところ、以下の5つのプロセス（省略版）が稼働していました。

/usr/lib/jvm/jre/bin/java -Dproc_namenode （省略）
/usr/lib/jvm/jre/bin/java -Dproc_datanode （省略）
/usr/lib/jvm/jre/bin/java -Dproc_secondarynamenode （省略）
/usr/lib/jvm/jre/bin/java -Dproc_jobtracker （省略）
/usr/lib/jvm/jre/bin/java -Dproc_tasktracker （省略）

それぞれ、文字列そのまま、NameNode、DataNode、SecondaryNameNode、JobTracker、TaskTracker でした。

ログの場所

hadoopアカウントで起動している場合は、デフォルトでは「/var/log/hadoop/hadoop/」にログが保管されています。log4jで制御されています。

HDFS稼働状況の確認

HDFSの状態を確認するコマンドを実行して見ました。

[hadoop@localhost]$ hadoop dfsadmin -report
Configured Capacity: 8563015680 (7.97 GB)
Present Capacity: 5976027136 (5.57 GB)
DFS Remaining: 5975977984 (5.57 GB)
DFS Used: 49152 (48 KB)
DFS Used%: 0%
Under replicated blocks: 0
Blocks with corrupt replicas: 0
Missing blocks: 0

-------------------------------------------------
Datanodes available: 1 (1 total, 0 dead)

Name: 127.0.0.1:50010
Decommission Status : Normal
Configured Capacity: 8563015680 (7.97 GB)
DFS Used: 49152 (48 KB)
Non DFS Used: 2586988544 (2.41 GB)
DFS Remaining: 5975977984(5.57 GB)
DFS Used%: 0%
DFS Remaining%: 69.79%
Last contact: Mon Aug 20 14:55:38 UTC 2012

[hadoop@localhost]$

Webインターフェースで確認できる内容は、コマンドラインでももちろん確認できるという事だと思います。

HDFSのヘルスチェック

HDFSのルートディレクトリのヘルスチェックを実行してみました。

[hadoop@localhost]$ hadoop fsck /
FSCK started by hadoop from /（IPアドレス） for path / at Mon Aug 20 15:19:38 UTC 2012
..Status: HEALTHY
 Total size:    8 B
 Total dirs:    8
 Total files:   2
 Total blocks (validated):      2 (avg. block size 4 B)
 Minimally replicated blocks:   2 (100.0 %)
 Over-replicated blocks:        0 (0.0 %)
 Under-replicated blocks:       0 (0.0 %)
 Mis-replicated blocks:         0 (0.0 %)
 Default replication factor:    1
 Average block replication:     1.0
 Corrupt blocks:                0
 Missing replicas:              0 (0.0 %)
 Number of data-nodes:          1
 Number of racks:               1
FSCK ended at Mon Aug 20 15:19:38 UTC 2012 in 33 milliseconds

The filesystem under path '/' is HEALTHY
[hadoop@localhost]$

「HEALTHY」と表示されました。問題ないようです。

関連記事