構建雲原生現代化湖倉一體架構 Wedel Core Service,實現數據管理與分析的極致效能
ChatGPT 問世、AI 教父所帶來的全新 AI 時代,不單是憑靠演算法及強大 GPU 算力,隨著各大產業皆思考著如何靈活運用企業內數據,搶先推出更具商業價值的 AI 應用。
根據 IT 現代化下以 Open Data Lakehouse 指導架構,實現低成本物件存儲及運算分離設計框架,加速 AI/ML 收集、彙整、取用及運算數據架構。基於雲原生打造 AI 驅動的湖倉一體架構 – Wedel Core Platform,透過高性能分散式存儲加速數據存取,響應 AI 模型訓練,靈活大量查詢方式,並具備無縫擴展和遷移任意公有雲環境,使企業能夠提升 AI 應用效率和性能,實現數據變現價值最大化,保持競爭優勢,邁向 AI 民主智能化。
優勢及功能
一、湖倉一體架構設計,六項構面特性
湖倉一體以 ANCHOR 作為定義標準,中文翻譯為錨點,成為湖倉一體浪潮下的核心特性。
A:『All Data Types』支持多類型數據 (Structured & Unstructured),關聯式資料表、文件、圖像、影音,結構化數據和非結構化數據存儲。
N:『Native on Cloud』雲原生架構設計,自由增減運算和儲存資源,彈性的架構設計。
C:『Consistency』數據一致性,透過支持完善的 ACID 事務機制,保障不同用戶同時查詢和更新同一份數據時的一致性。
H:『High Concurrency』超高併發,支持數十萬用戶使用複雜分析查詢併發訪問同一份數據。
O:『One Copy of Data』一份數據,所有用戶,包含:BI 分析師、數據科學家…等可以共享同一份數據,避免數據孤島。
R:『Real-Time』即時 T+0,通過全量數據 T+0 的數據流處理和依照需求即時查詢,滿足基於數據的事前預測、事中判斷和事後分析。
二、基於雲原生相同的開放性儲算分離設計
以低成本物件儲存庫 Object Storage,採用 MinIO Enterprise (Software defined object Storage),享有商業訂閱式授權及原廠技術支援,作為湖倉一體架構中的儲存層;搭配 Wedel Runtime 基於 HareDB 以過去豐富的 Hadoop 經驗,延伸打造以 Open Data Table 整合 S3 Storage,為未來雲地整合做好準備,並可根據實際的作業需求,設計適用於應用需求所需的作業運算層,支援多平台/多引擎,如:標準查詢引擎 MPP SQL Engine、分散式運算引擎 Distributed Compute、數據串流作業 Streaming Processing…等,實現湖倉一體中儲算分離設計。
三、無商業鎖定,上雲準備就緒
儲存及運算服務可部署於任意環境,包含:Bare-metal、Virtual Machine、Container、Kubernetes、Public Cloud,擁有與 AWS Lifecycle Management 相同的生命週期管理規則,透過標準 S3 (Simple Storage Service)介面,在雲地之前無縫遷移,實現上雲準備就緒 Cloud Ready,不受任何商業鎖定 No vendor lock-in。
四、提供數據目錄,強化數據共享與敏捷的 AI/ML 科學作業
整合 Enterprise Data Wiki 數據治理管理平台,企業使用者可藉由「元數據管理平台」快速的發現並探索數據,並建立「業務詞彙字典」幫助歸納數據的業務價值,確保數據品質的穩定,全面提升「數據可見性」、「數據可知性」、「數據可用性」;同時搭配「Data Science Lab」模型生命週期管理平台,以 MLOps 專為科學家設計的生產平台,快速生成資料科學生產環境,結合 Wedel 資料供給與並可調度分散式運算資源及 MIG GPU 切分資源調度。
主要優勢
當您面臨數據來源複雜、孤島數量攀升、業務需求多樣化的問題,精誠「湖倉一體解決方案 Wedel Core Service」以開放性的架構設計 Open Architecture,支援多平台及引擎 Multi-platform/engine,不受任何商業鎖定 No vendor lock-in,建構現代化湖倉一體架構。