Hadoop (1) CentOS 安裝 Hadoop
之前都沒用過 CentOS,試用之後覺得工作上確實比 Ubuntu 方便。 雖然說系統不同但兩者都可以使用 GNOME 桌面系統,所以 UI 使用上感覺大同小異。 指令上也只有些微差別,稍微適應一下就可以上手了。實際上 CentOS 提供了偏工作上的系統功能,之後再慢慢談吧。
1.下載 CentOS iso:
去CentOS 官網 下載 iso,選 Everything 那個選項。
![](https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEiazE7UvyiWfRej2MJgxaFMbFZynhGBtnp9M34dWOpsUuboV9NdhHrOG6YvId1sehKqfBYAygwRuOc1_nmoox1D0FancoxFP0PeOeQCGYy3Bu9pjUwnjSjD8lFktUAmWQakuk7Lt3xmycc/s640/2018-07-29+10-02-25+%25E7%259A%2584%25E8%259E%25A2%25E5%25B9%2595%25E6%2593%25B7%25E5%259C%2596.png)
找個喜歡的載點下載就可以了。
![](https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEgXSWpqE3q1e4C7uh4j0kQQdPywNd-c1ADRNCyrz5aqk-c80G2HFdB3ZEI31FVQSbqpgU-qgrDuD4zeFZJMbe6_kGVtFtSihtTAcKRjoFKidl5fiskBrGzJr9FJzE0br2QWI4-5gQSJSnE/s640/2018-07-29+10-02-38+%25E7%259A%2584%25E8%259E%25A2%25E5%25B9%2595%25E6%2593%25B7%25E5%259C%2596.png)
2. 安裝 VMWARE:
這次先裝在虛擬機裡面,去 VMWARE 官網下載程式。
![](https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEhdZjzlB-OPzeGv5Lk4lYaOrN2IoMbAirWLsgexHU-ctijcPU6VvkCgzR83EReq5GSE-Saxd7L2YZL8TWXOb_YKj54A0Um-usG2PCDEiHQgQZgiHMDoB0i0ynZwD_205DoonwqFaU8_8q8/s640/2018-07-29+10-22-31+%25E7%259A%2584%25E8%259E%25A2%25E5%25B9%2595%25E6%2593%25B7%25E5%259C%2596.png)
虛擬機程式其實有滿多種的,選個你喜歡的就好了。個人是覺得 VMWARE 不錯,你可以把檔案拖進虛擬機,或是跟主機端共享剪貼簿(VB 設定上稍微麻煩一點)。
安裝就無腦到底而已,超簡單的。
3. Create a new virtual machine:
開起來後界面類似這樣,左邊是機器的名字,我已經先裝了一些機器了。
![](https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEhoVGOOTUH1p_KeATwZUMhfYLA16vj87HI95k05BjChoevdlhKehTKkQ1Rb4rt_zwwf8JKr9HbKRvf-mUBVEJEpa93Byy5vypq0O2faQiCLD-2DDcG2ev-Z0dB7txsRHIbe7q3mL4CQ_no/s640/2018-07-29+10-28-39+%25E7%259A%2584%25E8%259E%25A2%25E5%25B9%2595%25E6%2593%25B7%25E5%259C%2596.png)
按下 Create a New VM 後會掭出一個對話框,選擇你剛下載的 iso 即可。
![](https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEjbun56icR2cICxydgeqVHAlX_XO9yTsGjE_kG3CWES2DB9Shg_9WOvDcwTZrWhRhz1dOziUCOm3TxVjwpq9CSXFy8QiYGWuMZ_os2EoFhOiXAiShIf0vYVsmlxwdq3EmA-hhaWrwqA7L8/s640/2018-07-29+10-33-05+%25E7%259A%2584%25E8%259E%25A2%25E5%25B9%2595%25E6%2593%25B7%25E5%259C%2596.png)
![](https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEiPprWhXN3AWcNWAsCiikNXPe4tRPmRQHFvHkoTkdKvEIEUt_CDXQM76QRXKEMRMwtw4MaC_XFXDHz2Mp9uUmpXMQjeYGMJCNbcBAE36H9WwPCKHriXtHxglC-oIQy9VXpcz4TPZc-4mEg/s640/2018-07-29+10-34-52+%25E7%259A%2584%25E8%259E%25A2%25E5%25B9%2595%25E6%2593%25B7%25E5%259C%2596.png)
取個名字,那個名字會對應到資料夾名稱。
![](https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEi5-o2wvj68J2xPaFzKOKjFusAEANpCUGY4GA7DVteG5sVizjTxMwMSI6AOPJQgtEd_RdsRR-2pF-jZAisFqUWI3plRLljdXGtv85BYv7ejIqJ5jLTmzDTvKULF9GfsGQWERWEp4v3EAH4/s640/2018-07-29+10-41-59+%25E7%259A%2584%25E8%259E%25A2%25E5%25B9%2595%25E6%2593%25B7%25E5%259C%2596.png)
切個 40 GB 給它,為了效能我選擇不分散檔案(這樣單一檔案損毀會 GG)。
![](https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEhfXe6l4eGnYZokerhyphenhyphenukk_1mE4_us4FO33tP_8vAH9iB2UPrsjFzFTXrk263jtz2NqyTORhogZu4w4Yh57eh4L0X221AA6SYvaGxVLLYLf9t7UsfdIGrpdBOS9ZMYrEq-GUqap7gkPATE/s640/2018-07-29+10-45-04+%25E7%259A%2584%25E8%259E%25A2%25E5%25B9%2595%25E6%2593%25B7%25E5%259C%2596.png)
好了之後我們來調整硬體設定,點擊中間的 Customize... 按鈕。
![](https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEhLZ1M0iMF1SkDOMHsunMkv51idnYWwJYx-7iuCqLnLkbein83NMf1PcK0vUrcF4WEnP7x9LoG3FasMY3IP6S5NE4efz93tey1CWsMPWCYV4_WhQQVhS9xJSSJKlnIBULslHU3yafnS91Y/s640/2018-07-29+10-47-42+%25E7%259A%2584%25E8%259E%25A2%25E5%25B9%2595%25E6%2593%25B7%25E5%259C%2596.png)
這邊可以設定 cpu 和 RAM,就依個人系統決定要切多給虛擬機。
![](https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEgsQmmpU0tYM8QTxO3O3DKnYwVyLSZINgolc-BmiKK_X6PwCTU1VCZ6tRtJe2_Xl9nuJVx7r48yBLFeLF7crBrEHAoRQ21ii5xRshP1YiFRgbQcAp10wWnJXsNBXgqxG0sRO1Ucn9gggyI/s640/2018-07-29+10-49-35+%25E7%259A%2584%25E8%259E%25A2%25E5%25B9%2595%25E6%2593%25B7%25E5%259C%2596.png)
4. 開始安裝系統:
終於要開始安裝了,進入系統會看到安裝畫面。
![](https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEgAHEccjf8xV3mAsTjap2ipDFgl6HNthyjMJeRNw8OM-tJILm6pdUX16k6ocqIhKFCeoTxBZiDQsejktm6uOwqUxhmUyrxmIiFHJwE-3QcFTDPViQr0PwiyzjIWBCvuKC_OT_-2oRWm4r8/s640/2018-07-29+10-52-44+%25E7%259A%2584%25E8%259E%25A2%25E5%25B9%2595%25E6%2593%25B7%25E5%259C%2596.png)
這邊選英文版,因為我不喜歡終端機還要輸入中文。
![](https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEh0N9gMkwxwR0NTuhGJyTBgHBdpp02_Q8x_iL8NL65D2J7cqQISH1dExUKn54e44tF0KwQD_Wr6a8prC3L6xa_aoxNKDlsWBPxXs4O59ZX4llnJGnRHk8Rh8hONKdNK2E2x1h3bKbzYueU/s640/2018-07-29+10-59-06+%25E7%259A%2584%25E8%259E%25A2%25E5%25B9%2595%25E6%2593%25B7%25E5%259C%2596.png)
等待一下後,選擇 SOFTWARE SELECTION,這邊你可以定義你的主機類別和選擇安裝軟體。
![](https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEjNFddyFpEqsWX9jCkvafWvbDEhwKFJpTVMECvU5rTJ07wr1H7LA24MYM1E1eYtuieScwM_rWQltOu-q_UaY6jCzz_bDCjFojG60vlOgB3aqP6Vte6E0P6CXx3WpSMxMLjsv2YvF_gXey0/s640/2018-07-29+21-31-51+%25E7%259A%2584%25E8%259E%25A2%25E5%25B9%2595%25E6%2593%25B7%25E5%259C%2596.png)
選擇 GUI server,可以看到 CentOS 會詢問你是否安裝 Java, MariaDB 和 PostgreSQL,相當方便。 GUI server 的選項我是全勾啦,除了 KDE 不勾,因為我是忠實 GNOME 粉。
![](https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEiyb9XvmJJQxSuts2ScoYnmYTIUQ_bZeTAFvYk-_o0ArkIG6QYkZ1wH7cJzENSZsCVYn4ro5QCub6qObf_HiJpHgZmpr0gvkw0ih2n3omIUGOp0-EwqWViXak5pG3xb5_dcLpH4ASiPkRk/s640/2018-07-29+21-34-11+%25E7%259A%2584%25E8%259E%25A2%25E5%25B9%2595%25E6%2593%25B7%25E5%259C%2596.png)
好了之後會發現變成 Server with GUI。
![](https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEgPYrIfEMzp7QO-eKvLRB8zeyVg5ZKK3UVDhrcJfw2NkZ7LRhcpE3l1Gqwtw0iRc6bbwqeuiM-VEiceF5RJ-W0w6KWUqgypjk0f79mv23l0iFq1fYEHgnKdhRHIj97ntTPyuwpWN7JBt4Y/s640/2018-07-29+21-46-30+%25E7%259A%2584%25E8%259E%25A2%25E5%25B9%2595%25E6%2593%25B7%25E5%259C%2596.png)
再來分割硬碟,這邊篇幅有限直接不分割,壓下 Done 按鈕即可。
![](https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEhghO9qR3K1h2yOx28lChvb4-OyCqWlJNU4F9p9DshZXdXS_yWtMML6dkpoZNhxG2BnHD5hgZ-J8A9NVXgNXIlxYjg-QqeJitme2dLUR0igx7cbi90HcicPRuAMX9ZDddM4l87eyvHA5O4/s640/2018-07-29+10-59-31+%25E7%259A%2584%25E8%259E%25A2%25E5%25B9%2595%25E6%2593%25B7%25E5%259C%2596.png)
安裝的過程中記得設定 root 和 user,up 因為 Ubuntu 用久了我會把一個 user 設成 sudoer。
5. 安裝 hadoop:
去 http://hadoop.apache.org/releases.html 下載和解壓縮 hadoop。
$ tar zxvf hadoop-2.7.6.tar.gz $ sudo mv hadoop-2.7.6 /usr/local
環境變數之後再一起設(這時會因為沒有設定 JAVA_HOME 而不能執行 hadoop 指令)。
裝個 java build tool,因為 CentOS7 預設安裝(如你在 Server with GUI 有勾選 java) OpenJDK7 和 8,所以 ant 會安裝到 8 底下。
$ sudo yum update $ sudo yum install ant
最後設個環境變數。
$ vim ~/.bashrc
加入這些變數。
#[start-20180730-cooper(java)-add]# export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.181-3.b13.el7_5.x86_6 4 export CLASSPATH=.:$JAVA_HOME/lib:$JAVA_HOME/jre/lib #[end-20180730-cooper(java)-add]# #[start-20180730-cooper(hadooop)-add]# export HADOOP_HOME=/usr/local/hadoop-2.7.6 export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin #[end-20180730-cooper(hadooop)-add]#
$ source ~/.bashrc $ hadoop version
打完收工~累~
留言
張貼留言