Hadoopを疑似分散モードで稼働させた後に、Hadoop構成に影響を与えないレベルでHadoopの稼働情報をざっくり確認してみました。
rpm情報
rpmでインストールしたhadoopパッケージ情報を確認しました。
[hadoop@localhost]$ rpm -qa | grep hadoop hadoop-1.0.3-1.x86_64 [hadoop@localhost]$ rpm -qi hadoop-1.0.3-1.x86_64 Name : hadoop Relocations: /usr /etc/hadoop /var/log/hadoop /var/run/hadoop Version : 1.0.3 Vendor: Apache Software Foundation Release : 1 Build Date: Tue 08 May 2012 08:37:33 PM UTC Install Date: Sun 12 Aug 2012 01:42:30 PM UTC Build Host: devadm900.cc1.ygridcore.net Group : Development/Libraries Source RPM: hadoop-1.0.3-1.src.rpm Size : 67137444 License: Apache License, Version 2.0 Signature : (none) URL : http://hadoop.apache.org/core/ Summary : The Apache Hadoop project develops open-source software for reliable, scalable, distributed computing Description : The Apache Hadoop project develops open-source software for reliable, scalable, distributed computing. Hadoop includes these subprojects: Hadoop Common: The common utilities that support the other Hadoop subprojects. HDFS: A distributed file system that provides high throughput access to application data. MapReduce: A software framework for distributed processing of large data sets on compute clusters. [hadoop@localhost]$
プロセス情報
具体的にどんなプロセスが起動しているかをpsコマンドで確認したところ、以下の5つのプロセス(省略版)が稼働していました。
/usr/lib/jvm/jre/bin/java -Dproc_namenode (省略) /usr/lib/jvm/jre/bin/java -Dproc_datanode (省略) /usr/lib/jvm/jre/bin/java -Dproc_secondarynamenode (省略) /usr/lib/jvm/jre/bin/java -Dproc_jobtracker (省略) /usr/lib/jvm/jre/bin/java -Dproc_tasktracker (省略)
それぞれ、文字列そのまま、NameNode、DataNode、SecondaryNameNode、JobTracker、TaskTracker でした。
ログの場所
hadoopアカウントで起動している場合は、デフォルトでは「/var/log/hadoop/hadoop/」にログが保管されています。log4jで制御されています。
HDFS稼働状況の確認
HDFSの状態を確認するコマンドを実行して見ました。
[hadoop@localhost]$ hadoop dfsadmin -report Configured Capacity: 8563015680 (7.97 GB) Present Capacity: 5976027136 (5.57 GB) DFS Remaining: 5975977984 (5.57 GB) DFS Used: 49152 (48 KB) DFS Used%: 0% Under replicated blocks: 0 Blocks with corrupt replicas: 0 Missing blocks: 0 ------------------------------------------------- Datanodes available: 1 (1 total, 0 dead) Name: 127.0.0.1:50010 Decommission Status : Normal Configured Capacity: 8563015680 (7.97 GB) DFS Used: 49152 (48 KB) Non DFS Used: 2586988544 (2.41 GB) DFS Remaining: 5975977984(5.57 GB) DFS Used%: 0% DFS Remaining%: 69.79% Last contact: Mon Aug 20 14:55:38 UTC 2012 [hadoop@localhost]$
Webインターフェースで確認できる内容は、コマンドラインでももちろん確認できるという事だと思います。
HDFSのヘルスチェック
HDFSのルートディレクトリのヘルスチェックを実行してみました。
[hadoop@localhost]$ hadoop fsck / FSCK started by hadoop from /(IPアドレス) for path / at Mon Aug 20 15:19:38 UTC 2012 ..Status: HEALTHY Total size: 8 B Total dirs: 8 Total files: 2 Total blocks (validated): 2 (avg. block size 4 B) Minimally replicated blocks: 2 (100.0 %) Over-replicated blocks: 0 (0.0 %) Under-replicated blocks: 0 (0.0 %) Mis-replicated blocks: 0 (0.0 %) Default replication factor: 1 Average block replication: 1.0 Corrupt blocks: 0 Missing replicas: 0 (0.0 %) Number of data-nodes: 1 Number of racks: 1 FSCK ended at Mon Aug 20 15:19:38 UTC 2012 in 33 milliseconds The filesystem under path '/' is HEALTHY [hadoop@localhost]$
「HEALTHY」と表示されました。問題ないようです。