hadoop cluster setup 遇到的問題(使用台大計網中心教學)

本篇文章會提到我依照 Hadoop 簡易架設不求人進行架設時所遇到的問題

前置作業

• 設定好主機後發現無法開機，出現錯誤訊息 FATAL: No bootable medium found ! System halted.  > 解決方式
• 輸入 sudo ifup eth1 出現錯誤訊息 Cannot find device "eth1" Failed to bring up eth1. >解決方式 : 輸入 ip a 來查看網卡真正的名字(我的是enp0s8)，並將/etc/network/interfaces 及 sudo ifup eth1出現eth1的地方全部換成網卡名

安裝SSH server

• 指令為 sudo apt-get install openssh-server ，文章中在server處多了一個s
• master及slave皆須安裝

Hadoop帳號權限設定

• 如何登出? log out 或是 pkill -KILL -u {username}

安裝Java環境

• master及slave皆須安裝
• 更改完$JAVE_HOME時記得執行指令 source ~/.bashrc ，這很重要，我在slave01忘了讓更改生效，後面啟動hadoop時會出現問題

下載Hadoop

• 在master安裝即可，之後會將設定好的hadoop直接傳給其他slaves
• 使用ping時，需將被ping的主機打開

SSH無密碼登入

• 對不同slave操作時，需將該slave主機打開，後續在進行無密碼登入時亦然
• 第2點若.ssh資料夾不存在，可自行mkdir

配置叢集／分散式環境

• 使用dfs及yarn時需啟動所有主機
• 文章中最下方資訊為指令 bin/hdfs dfsadmin -report 所顯示

備註:

• 出現錯誤時，可重新啟動系統或是source檔案讓設定生效，或查看是否開啟了需要用到的主機