Etu主辦台灣首次Hadoop 部署大賽『Etu Hadoop Competition』 竹科聯隊與台灣大學分別奪冠 抱走總獎金30萬元

【2014年6月4日,台北訊】

有鑑於巨量資料平台軟體人才短缺,為提倡 Hadoop 系統管理與應用開發的學習風氣,由 Etu 領先台灣業界籌辦的 Etu Hadoop Competition (EHC) 中,以 Hadoop 叢集部署為今年的競賽主題,歷經前後兩個多月的時間,決賽隊伍最終進入限時 9 小時的激烈角逐,所有參賽隊伍必須於規定時限內,在決賽現場完成涵蓋 Hadoop 叢集完整性及正確性、功能測試、效能測試、以及參數調校等多項任務。最後社會組由來自竹科的合勤科技薛元揆、聖藍科技詹景逸、以及台積電逯仲倫組成的「那一年,我們一起追的 Hadoop」隊,技高一籌拿下社會組冠軍;學生組則由台灣大學謝良奇、黃信輔組成的「mira_hadoop」隊,勇奪學生組冠軍。

Etu負責人蔣居裕表示:「『Big Data,從一組 Hadoop 叢集開始』,Hadoop 已經是業界公認的 Big Data 處理技術主流平台,專業研究機構 Forrester 指出:Hadoop’s Momentum Is Unstoppable。無論是商業應用還是學術研究,面對成員不少的 Hadoop Ecosystem,想要架設一組兼具功能、容錯、安全、效能、又容易營運管理的 Hadoop 叢集,對許多系統管理者或 DevOps 而言,還是不小的挑戰;但恰巧且關鍵的是,這又是各種 Big Data 應用運作的起點。EHC ─ Hadoop 部署大賽的舉辦不只是台灣首創,在全世界也很少見。因為辦了這次的競賽,我們才驚喜的發現,原來台灣各界,尤其是教育單位,對於 Hadoop 的使用與研究,並沒有如原先想像的陌生,對於往後台灣 Big Data 應用發展所需的人才資源,令人期待。另一方面,不管參賽者選用了那些免費的發行版本來部署 Hadoop 叢集,要在一定的時間內正確無誤地架設起來,還要做到高可用性、權限管控、效能調教等企業等級的功能,如果沒有像 Etu Software Appliance 這樣簡化設計的產品,實在是一件難度頗高的任務。」

Hadoop.TW 發起人之一暨 Etu 首席架構師,也是本次評審的王耀聰表示:「此次競賽採用最新 Hadoop 2.0 架構,目的是讓參賽者更瞭解 Hadoop 生態系的近期發展。我們觀察到少數社會組已經能掌握新版 QJM (Quorum Journal Manager) 高可用性與 Kerberos 安全性的整合。相較之下,由於國內相關教材文件露出較少,學生組面對新版就顯得吃力許多。這也代表 Hadoop 生態系的複雜度跟學習曲線已經過陡,如何增加『易用性』,將是 Hadoop 平台廠商發展與勝出的關鍵。」

巨量資料逐漸展露軟硬體需求,由營邦企業 (AIC) 提供本次競賽所使用之全數硬體伺服器,其業務協理黃志雄指出: 「當今物聯網的應用, 智慧型手機的普及以及 RFID Reader 所產生大量的資料,皆以倍數的成長。爆炸性成長的巨量資料,搭配處理多元化資料的 Hadoop 軟體和營邦的企業級伺服器,透過在 IntelR XeonR 處理器內的 IntelR 進階加密指令集 (AES New Instructions) 來執行加密運算。再加上 Hadoop Distributed File System 分散式檔案系統支援以矽晶片執行的加密功能,讓企業能夠更安全地分析其資料集,而且處理速度絲毫不減。」

獲勝的兩支隊伍對於能夠獲勝感到非常興奮,但也異口同聲表示決賽的難度相當高,不僅考驗參賽者的實作能力,臨場部署的應變力也是一大挑戰,透過此次參與Hadoop部署大賽,除了學習到最新的Hadoop版本部署的技巧,也體驗到台灣少有的Hadoop實戰經驗,希望未來還有類似賽事可提供技術交流的機會,也建議可結合商用目的,提高實用性。

本次 EHC 邀請到五位台灣 Hadoop 技術的先驅擔任評審委員,組成陣容包含 Yahoo! 亞洲區科技研發工程部資深經理蔡奕凱、趨勢科技核心技術部門研發協理陳志昇、逢甲大學地理資訊系統研究中心辜文元老師、Etu 首席顧問陳昭宇、以及 Hadoop.TW 發起人之一暨 Etu 首席架構師王耀聰。

台灣首次的 Hadoop 叢集部署大賽在初賽報名期間即非常踴躍,總計有來自全台灣各大院校組成的學生組41隊,來自電信公司、資訊服務等企業與團體的社會組 32 隊報名參加,歷經線上 24 小時初賽後,由社會組及學生組各取前五強晉級決賽,其中社會組進入決賽的包含趨勢科技、Yahoo、104資訊科技,以及冠軍隊伍來自竹科的企業聯隊;學生組進入決賽的隊伍則分別為台大、清大、成大以及中正等,最後由台大的同學拔得頭籌。