《数据中台实战》:数据中台的分层建模体系
數據中臺數據模型的分層,業界比較通用的分層方式是將數據模型分為5層:①ODS(Operate Data Store,操作數據層)、②DIM(Dictionary Data Layer ,維度數據層)、③DWD(Data Warehouse Detail ,明細數據層)、④DWS(Data WarehouseService,匯總數據層)、⑤ADS(Application Data Store,數據應用層)。
各層數據模型之間的關系如圖1-1所示。
圖1-1 分層模體系
第一層是ODS和DIM層。ODS層數據是數據倉庫的第一層數據,是業務數據庫的原始數據的復制,例如,每條產品線的用戶信息、訂單信息等數據一般都是原封不動地同步到數據中臺的ODS層中。ODS層的作用是在業務系統和數據倉庫之間形成一個隔離層,在數據中臺進行計算任務時,可以以ODS層的數據為基礎進行計算,從而不給業務數據庫增加負擔。DIM層存儲的是維度數據如城市、省份、客戶端等維度的數據。
第二層是DWD。DWD層數據是數據倉庫的第二層數據,一般是基于ODS和DIM層的數據做輕度匯總。DWD層儲存經過處理后的標準數據,需要對ODS層數據進行再次清洗(如去空/去臟數據、去超過極限的數據等操作)。DWD層的結構和粒度一般與ODS層保持一致,但是DWD匯總了DIM層的維度數據,比如在ODS層只能看到客戶端的ID
總結
以上是生活随笔為你收集整理的《数据中台实战》:数据中台的分层建模体系的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: MATLAB实战系列(三十)-MATLA
- 下一篇: tableau可视化数据分析60讲(十四