hadoop程序安裝包:/opt/package/hadoop-2.7.1;(具體hadoop安裝請參考hadoop的安裝教程!)
問題1::jps查看進程,沒有datanode? 文件格式化$HADOOP_HOME/bin/hdfs namenode -format後,沒有刪除對應的元數據目錄以及權限分配,可以監控hadoop啟動日志(/opt/package/hadoop-2.7.1/log/hadoop-root-datanode-lee.localdomain.log),監控日志很快可以排查問題,盡量不要出現問題就百度,這樣會誤導自己,雖然網上也很多人遇到類似問題,但是每個人的環境不同,有些事網絡配置導致,先嘗試自己分析日志。
問題2:window系統連接hadoop需要配置對應版本的hadoop的winutils.exe? 需要配置對應的window下連接hadoop對應版本的winutil.exe,版本必須得對應上,否則會訪問會報錯。
問題3:hadoop的core-site.xml,mapred-site.xml的ip換成正式局域網ip,否則會連接拒絕? 由於是遠程連接,配置localhost導致遠程客戶端訪問不到,idea連接過去會出現connection refuse的異常!
[b]問題4:HDFS配置的目錄權限?[/b] 如果沒配置權限,啟動會報錯,導致datanode進程丟失。
總結:接觸新事情,要多留意框架的日志,先嘗試自己分析,在百度!
注:附件的hadoop2.7.1的win下的winutil工具!