國立台灣科技大學電子工程系

100 學年度第 2 學期實務專題

期中進度報告

Hadoop 應用

組別：100C22

組員：姓名：杜傳家 學號：B9802221

指導老師：吳晉賢

中 華 民 國 一 ○ 一 年 九 月 三 十 日

題 目 ： Hadoop 應用

組員姓名及學號 ： 杜傳家 B9802221

組 別 ： 100C22

指 導 老 師 ： 吳晉賢

一、摘要：

本專題主要用來研究 Hadoop之架構及運行原理，

並了解 Hadoop 實際運行方式及開發方式。 架設

一個 Hadoop 伺服器，並使用 Eclipse 程式來分析

Hadoop 研究架構及開發其應用程式。 並期望能實

作出一個 Hadoop 小程式，並能使用行動裝置(app)使

用這個程式。

二、簡介：

主要架構圖 架設一個雲端伺服器，主要提供新聞過濾的功能。因現

在的新聞報導重複性太高，且現代人較忙碌並無太多空閒時

間看新聞，因此使用此雲端程式過濾新聞。

並開發一行動 App，讓使用者能從行動裝置上透過 App

直接連上雲端伺服器瀏覽過濾過的新聞，能充分利用通勤中

的空閒時間。

目前已完成 Linux 系統架設、Hadoop 開發環境架設

三、目前成果：

Hadoop 執行

Jobtracker 狀態

Namenode 狀態

Tasktracker 狀態

四、討論：

因為 Linux 系統在權限上區分得很清楚，因此在安裝

Hadoop 的時候遇到了很多權限上的問題。有些命令需要加上

sudo 才能執行，但是有些命令加上 sudo 反而會因為權限的

問題造成使用者不同而無法正確執行所下的命令。

而 Eclipse因為程式本身的問題無法直接和 Hadoop 連線

做 complie 及 run 的動作，因此必須手動將所有的檔案打包

成 jar 檔後自行到 Hadoop 下指令才有辦法測試。

而 Hadoop 在測試完成的時候，必須要先把 output 資料

夾刪除才有辦法再做下一次的測試，雖然可以換 output 資料

夾的名稱，但是不能直接覆蓋或是產生檔案在內對於測試而

言有點麻煩，但如果是重要的資料則可以保護原有資料。

因為遇到的問題滿多的，所以進度有嚴重的延遲。

五、時間進度表：

月次

工作項目

第

一

月

第

二

月

第

三

月

第

四

月

第

五

月

第

六

月

第

七

月

第

八

月

第

九

月

第

十

月

第

十

一

月

第

十

二

月

備

註

架設 Hadoop

伺服器

█

Hadoop 程式

碼分析

█ █ █ █ █

Hadoop 程式

碼撰寫

█ █ █ █ █ █ █ █ █

App 撰寫 █ █ █ █ █ █ █

六、參考資料：

1)書籍

鍾葉青、許慶賢、賴冠州、李冠憬, 雲端程式設計：入門

與應用實務, 台北, 麥格羅希爾(2011)

2)書籍

Bruce Eckel[著], 侯捷、王建興 合譯, Thinking in Java,台

北,碁峰資訊(2002)