數(shù)據(jù)中臺是什么?
數(shù)據(jù)中臺是在政企數(shù)字化轉型過程中,對各業(yè)務單元業(yè)務與數(shù)據(jù)的沉淀,構建包括數(shù)據(jù)技術、數(shù)據(jù)治理、數(shù)據(jù)運營等數(shù)據(jù)建設、管理、使用體系,實現(xiàn)數(shù)據(jù)賦能。數(shù)據(jù)中臺,是新型信息化應用框架體系中的核心。
數(shù)據(jù)中臺是什么意思?
數(shù)據(jù)中臺是對既有/新建信息化系統(tǒng)業(yè)務與數(shù)據(jù)的沉淀,是實現(xiàn)數(shù)據(jù)賦能新業(yè)務、新應用的中間、支撐性平臺。
數(shù)據(jù)中臺是指通過數(shù)據(jù)技術,對海量數(shù)據(jù)進行采集、計算、存儲、加工,同時統(tǒng)一標準和口徑。數(shù)據(jù)中臺把數(shù)據(jù)統(tǒng)一之后,會形成標準數(shù)據(jù),再進行存儲,形成大數(shù)據(jù)資產(chǎn)層,進而為客戶提供高效服務。
1.數(shù)據(jù)采集
為數(shù)據(jù)中臺提供匯集數(shù)據(jù)的能力,應提供統(tǒng)一的數(shù)據(jù)獲取接入方式,數(shù)據(jù)來源包括內部數(shù)據(jù)和外部數(shù)據(jù),數(shù)據(jù)類型應支持結構化和非結構化數(shù)據(jù)采集。傳統(tǒng)的ETL工具仍然可以復用,實現(xiàn)數(shù)據(jù)采集、轉換、加載等關鍵處理過程。
2.數(shù)據(jù)計算
為數(shù)據(jù)中臺提供統(tǒng)一的大數(shù)據(jù)計算能力,針對不同大數(shù)據(jù)處理場景,所需提供的數(shù)據(jù)計算能力也不同,一般主要包括批量離線計算、內存計算、在線流式計算等,可用到的技術有數(shù)據(jù)挖掘,大數(shù)據(jù)分析,云計算等。
3.數(shù)據(jù)存儲
數(shù)據(jù)中臺中全域數(shù)據(jù)的存儲中心,按照不同的數(shù)據(jù)類型,可以采用圖中一種或多種數(shù)據(jù)存儲系統(tǒng)的“混搭”架構。傳統(tǒng)數(shù)據(jù)倉庫(如DB2/ORACLE)是最為穩(wěn)定的數(shù)據(jù)存儲方式,承載著及時性、準確性要求高的企業(yè)核心應用。分布式關系數(shù)據(jù)庫,也常簡稱為MPP數(shù)據(jù)庫,相較于傳統(tǒng)的關系型數(shù)據(jù)庫,具有高性能處理能力、高數(shù)據(jù)吞吐能力的優(yōu)勢。