大連銀行
客戶需求
通過數據倉庫的建設,打破數據孤島、形成數據合力、建設數據質量體系,支撐全行數據應用。解決數據加載耗時越來越長,無法滿足目標系統對數據的時效性要求;解決只能處理結構化數據,無法滿足多樣化(半結構、非結構化)格式數據處理需求。
解決方案
基于大數據計算引擎進行信息統計,同時使用實時處理工具進行線上日志的實時解析比對及處理;實現大數據的批量處理和快速檢索,大大減少數據加載耗時,通過分布式計算避免I/O瓶頸,支持線性擴展,支持非結構化數據的存儲和處理,對數據進行統一整合,實現多租戶管理;使用流程工具調用每天的批處理業務,提供穩定高效的批處理性能,以及高并發,且支持全文索引下的毫秒級查詢。
應用效果
數據倉庫從傳統Oracle庫遷移到大數據數倉后,并行入庫任務性能提升7.34倍,并行任務最多提升46.6倍;在核心存儲過程性能方面,總體核心作業性能提升了5.7倍;大數據量批處理性能從小時級降低到分鐘級甚至秒級;對內數據倉庫將全行數據進行歸集并整合,為全行業務應用提供數據服務;對外提供了涉及營銷與風控的價值數據,比如客戶畫像、欺詐名單等。