【2012 年 8 月 27 日,台北訊】
亞洲領先運用Hadoop技術開發Big Data產品與解決方案的台灣Etu團隊,發表針對Hadoop分散式檔案系統HDFS自行研發的特殊資料流程架構Etu DataFlow。Etu DataFlow是專門設計用來協助客戶提升資料進出Hadoop叢集的傳輸效率,可視節點數的多寡,將原本需要數小時才能完成的資料導入,縮短到在數分鐘內完成,提升端到端效率從數十倍到數百倍不等,協助企業有效地處理爆炸性成長的巨量資料!
Hadoop開源軟體群一直被視為Big Data處理的關鍵技術,Etu是台灣少數利用來開發其Big Data產品與解決方案的亞洲先鋒。Etu首席顧問陳昭宇表示:「過去傳送資料的方法在面對大量資料時,穩定性不夠高也不夠聰明,往往浪費很多時間在處理用不到的資料,這樣一來,除了無法跟上爆炸性成長的巨量資料環境,客戶也飽受資料遺漏的風險。Etu自行開發的Etu DataFlow資料流程架構,試圖改變資料預處理的方式,簡化資料傳送程序。這套創新的架構可縮短巨量資料的處理時間,同時確保從資料讀取、複製、到傳送結束整個流程的正確性。Etu DataFlow設計概念也特別將使用者介面一併考量,以圖形使用者介面GUI做呈現,融入Etu Appliance中,建立更友善的操作方式,同時降低使用門檻與處理時間。」
Etu團隊中擁有Hadoop專業開發者認證的技術經理粘仲仁表示:「Etu針對Hadoop分散式檔案系統HDFS而研發的特殊資料流程架構Etu DataFlow,是專門設計作為協助客戶提升資料進出Hadoop叢集的傳輸效率。目前85%的資料來源主要存在於企業內各種資訊活動,如電子郵件、網站服務、物聯網,或是外界社交網路等半結構化與非結構化資料,利用Etu DataFlow,預計可為企業縮短與日俱增的資料處理時間,從一個月減少到一週,資料處理效能倍增。」Etu DataFlow是在日前舉辦的開放源碼軟體社群研討會開源人年會(COSCUP)中首度對外發表。預計可為企業縮短與日俱增的資料處理時間,依節點數的多寡,將原本需要數小時才能完成的資料導入縮短到在數分鐘內完成,資料處理效能倍增。」
基於對國外主流Big Data技術與應用發展的長期研究,Etu是亞洲少見可以在地協助企業導入Hadoop 平台的Big Data端到端解決方案團隊,從叢集規劃、部署、管理到提供顧問諮詢服務等。Etu團隊中的科技顧問與架構師們,早在雲端資料運算平台Hodoop誕生之前,便已深入參與Big Data處理的研究與方案發展工作,團隊中擁有台灣最多以服務企業為使命的Hadoop國際專業認證專家Cloudera Certified Developer/Administrator for Apache Hadoop。