在數位浪潮之下,大數據已是最常被談論的議題之一,不論是政府機構或是民間企業,都可能面臨待整理或待檢核的龐大數據。數據的品質攸關著服務與管理效率,直接影響分析決策,良好的大數據品質可降低成本與風險,更可以協助決策者優化其決策。不論是政府機構或是民間企業,在做大數據的收集、分析之前,首要仍需先釐清目標,取得數據品質效益,才能事半功倍!
客戶背景與需求
大數據時代來臨,善用「大數據」已成為企業提高核心競爭力的關鍵之一。數據在未整理之前,稱為「原始數據」,原始數據需經過篩檢與整理,才能變成「有用」的資訊。為協助A政府機關妥善保存其轄下各業務單位的原始數據,使其龐大的原始數據得以被完整保存及查詢,精誠資訊規劃建置一套強而有利的「自動化數據健檢機制」,提升原始數據使用保存的完整性與正確性,避免garbage in/garbage out,並幫助該政府機關下的使用者,快速掌握及應用歷年留存的龐大原始數據。
解決方案
精誠資訊協助規劃建置的「自動化數據健檢機制」,功能包含如下:
1.數據品質全面把關
使用者上傳各類規格的原始數據後,系統會針對資料格式及完整性進行掃描檢查,最後產出健檢報告,若檢核結果出現異常,會顯示異常原因,於下次再次上傳時,再次檢核並註記異常情形是否排除,並顯示異動紀錄,為A政府機關把關數據品質。
2.數據資料圖像化
精誠也協助A政府機關精進數據的可視度與精準度,並將數據改為圖像化呈現,系統具備智慧異常警示的功能,若為標準數值範圍以外的異常數據,透過異常警示的圖像即可快速發現,再次確認是否為異常數值或事件。
3.精進座標品質
檢測原始數據的欄位包括座標資料,「自動化數據健檢機制」支援三種座標系統,包括:WGS84、TWD97經緯度、及TWD97二度分帶,若出現異常的座標數據,系統將主動且即時提醒使用者再次確認所填的座標資料是否正確,以提高地圖落點正確性,有效協助精進座標品質。
4.檢測分布及單點趨勢一目瞭然
系統在原始數據上傳後提供的呈現方式包括GIS地圖及熱力圖,GIS地圖可使使用者快速了解檢測分布、及單點的趨勢變化;熱力圖則可直觀顯示不同時期檢測項目的變化程度,讓使用者透過圖像顯示,完全掌握檢測情形。
創造價值
精誠協助建置完成「自動化數據健檢機制」後,進一步輔導A政府單位的各業務單位上傳原始數據,涵蓋超過9個縣市、130個專案,總數據量超過2,000萬筆,使得A政府單位能夠快速掌握及應用歷年留存的龐大原始數據,提升核心競爭力。