簡(jiǎn)介：?企業(yè)大數(shù)據(jù)技術(shù)發(fā)展至今，歷經(jīng)了兩次蛻變。第一次蛻變從最初的“小作坊”解決大數(shù)據(jù)問題，到后來(lái)企業(yè)用各類大數(shù)據(jù)技術(shù)搭建起屬于自己的“大平臺(tái)”，通過(guò)平臺(tái)化的能力完成數(shù)據(jù)生產(chǎn)力的升級(jí)。 第二次蛻變讓大數(shù)據(jù)從“大平臺(tái)”向“敏捷制造”的開發(fā)范式演進(jìn)。在2021阿里云峰會(huì)上，阿里巴巴集團(tuán)副總裁、阿里云智能計(jì)算平臺(tái)事業(yè)部高級(jí)研究員賈揚(yáng)清發(fā)布基于DataWorks的一站式大數(shù)據(jù)開發(fā)治理的平臺(tái)，就是這個(gè)蛻變最好的佐證。

企業(yè)大數(shù)據(jù)技術(shù)發(fā)展至今，歷經(jīng)了兩次蛻變。第一次蛻變從最初的“小作坊”解決大數(shù)據(jù)問題，到后來(lái)企業(yè)用各類大數(shù)據(jù)技術(shù)搭建起屬于自己的“大平臺(tái)”，通過(guò)平臺(tái)化的能力完成數(shù)據(jù)生產(chǎn)力的升級(jí)。

第二次蛻變讓大數(shù)據(jù)從“大平臺(tái)”向“敏捷制造”的開發(fā)范式演進(jìn)。在2021阿里云峰會(huì)上，阿里巴巴集團(tuán)副總裁、阿里云智能計(jì)算平臺(tái)事業(yè)部高級(jí)研究員賈揚(yáng)清發(fā)布基于DataWorks的一站式大數(shù)據(jù)開發(fā)治理的平臺(tái)，就是這個(gè)蛻變最好的佐證。

值得一提的是， 誕生于2009年阿里巴巴集團(tuán)內(nèi)部的DataWorks，不僅見證了阿里巴巴十多年大數(shù)據(jù)幾次蛻變發(fā)展，更是阿里巴巴數(shù)據(jù)中臺(tái)建設(shè)的最佳實(shí)踐之一。如今 DataWorks平臺(tái)可以支撐阿里巴巴內(nèi)部上百個(gè)業(yè)務(wù)團(tuán)隊(duì)的數(shù)據(jù)業(yè)務(wù)建設(shè)，每天穩(wěn)定調(diào)度上千萬(wàn)數(shù)據(jù)處理任務(wù)。阿里巴巴每天有超過(guò)5萬(wàn)名員工在DataWorks上完成數(shù)據(jù)分析、數(shù)據(jù)開發(fā)和數(shù)據(jù)治理工作。

那么，DataWorks如何讓大數(shù)據(jù)向 “敏捷制造” 演進(jìn)，背后具備什么樣的核心能力？在全鏈路數(shù)據(jù)服務(wù)—大數(shù)據(jù)與AI分論壇，DataWorks產(chǎn)品負(fù)責(zé)人黃博遠(yuǎn)透露了DataWorks核心的三個(gè)“ONE”能力。

簡(jiǎn)單來(lái)講，DataWorks以一站式的理念，通過(guò)一條數(shù)據(jù)開發(fā)鏈路，一套數(shù)據(jù)標(biāo)準(zhǔn)架構(gòu)，一套數(shù)據(jù)治理體系，與大數(shù)據(jù)計(jì)算引擎結(jié)合，讓企業(yè)擁有一站式的數(shù)據(jù)開發(fā)與治理能力。

1、一條數(shù)據(jù)開發(fā)鏈路

很多的企業(yè)發(fā)展到一定階段以后都會(huì)面臨這種情況：
1）數(shù)據(jù)來(lái)自于不同地域的數(shù)據(jù)中心，比如阿里云上有公共云、專有云，對(duì)于企業(yè)來(lái)講也有自己的私域，同時(shí)又要服務(wù)企業(yè)外部的客戶與合作伙伴，數(shù)據(jù)非常分散。

2）大數(shù)據(jù)的引擎百花齊放，選擇多樣。不管是阿里自研的SaaS模式云數(shù)據(jù)倉(cāng)庫(kù)MaxCompute、交互式分析Hologres和分析型數(shù)據(jù)庫(kù)AnalyticDB，還是開源的EMR、CDH、Flink、Elasticsearch等等，種類極為豐富，我們很難說(shuō)哪一款產(chǎn)品是最好的，對(duì)于企業(yè)來(lái)說(shuō)這種技術(shù)選型是多樣的，按需的。

3）數(shù)據(jù)與AI及應(yīng)用如何更好地結(jié)合？大數(shù)據(jù)加工處理完的數(shù)據(jù)還需要結(jié)合AI算法，以服務(wù)化的方式給到數(shù)據(jù)應(yīng)用，如何實(shí)現(xiàn)BI與AI一體化，釋放數(shù)據(jù)價(jià)值。

針對(duì)以上痛點(diǎn)，DataWorks可以幫助企業(yè)實(shí)現(xiàn)數(shù)據(jù)集成、數(shù)據(jù)開發(fā)、數(shù)據(jù)治理和數(shù)據(jù)服務(wù)，將大數(shù)據(jù)全生命周期管理整合到一條完整鏈路中。

首先滿足企業(yè)在復(fù)雜網(wǎng)絡(luò)條件下，DataWorks實(shí)現(xiàn)近50種異構(gòu)數(shù)據(jù)源的離線/實(shí)時(shí)的同步，讓企業(yè)更好地邁出大數(shù)據(jù)建設(shè)的“第一步”。其次，它的底層對(duì)接了MaxCompute、EMR、CDH、Hologres、AnalyticDB、實(shí)時(shí)計(jì)算Flink版等大數(shù)據(jù)引擎，讓多種計(jì)算引擎的數(shù)據(jù)開發(fā)治理工作都可以在同一個(gè)平臺(tái)一站式的完成。最后，大數(shù)據(jù)平臺(tái)加工好的數(shù)據(jù)集可以無(wú)縫對(duì)接到機(jī)器學(xué)習(xí)平臺(tái)中進(jìn)行AI訓(xùn)練與在線預(yù)測(cè)服務(wù)，也可以通過(guò)數(shù)據(jù)服務(wù)以API方式給到BI、大屏等各類數(shù)據(jù)應(yīng)用。

2、一套數(shù)據(jù)標(biāo)準(zhǔn)架構(gòu)

對(duì)于企業(yè)而言，數(shù)據(jù)絕不是簡(jiǎn)單地堆積在一起，阿里巴巴通過(guò)數(shù)據(jù)中臺(tái)建設(shè)，規(guī)范了集團(tuán)統(tǒng)一的數(shù)據(jù)標(biāo)準(zhǔn)架構(gòu)，將數(shù)據(jù)進(jìn)行清晰的結(jié)構(gòu)分層，每一層又有明確的范圍與邊界。在貼源層，企業(yè)將完成全域數(shù)據(jù)的匯聚，保留所有的原始數(shù)據(jù)。在整合層，企業(yè)通過(guò)數(shù)據(jù)標(biāo)準(zhǔn)、數(shù)據(jù)建模等方式確立數(shù)據(jù)的規(guī)范體系。在匯總層，企業(yè)將基于業(yè)務(wù)需求對(duì)數(shù)據(jù)進(jìn)行匯總加工，提煉公共的數(shù)據(jù)指標(biāo)。在應(yīng)用層，面向前臺(tái)業(yè)務(wù)應(yīng)用構(gòu)建數(shù)據(jù)集市，為應(yīng)用提供源源不斷的高質(zhì)量數(shù)據(jù)服務(wù)。這一套架構(gòu)本身不具備產(chǎn)品化能力，但企業(yè)可以基于DataWorks，快速?gòu)?fù)制這套數(shù)據(jù)標(biāo)準(zhǔn)架構(gòu)。

3、一套數(shù)據(jù)治理體系

企業(yè)如何管理數(shù)據(jù)資產(chǎn)？如何保障數(shù)據(jù)質(zhì)量？如何保障數(shù)據(jù)安全？如何有效地控制成本以及減少不必要浪費(fèi)？這些問題都對(duì)數(shù)據(jù)治理提出了更高的要求。正常來(lái)講，各類數(shù)據(jù)治理工作通過(guò)人工的方式其實(shí)也能夠完成，但是阿里巴巴現(xiàn)在每天處理的數(shù)據(jù)超過(guò)1.7EB，每天調(diào)度的任務(wù)數(shù)在千萬(wàn)級(jí)，很難想象靠人工來(lái)完成所有的治理工作。DataWorks將阿里巴巴十多年數(shù)據(jù)治理的實(shí)踐沉淀成產(chǎn)品化能力，完整覆蓋模型設(shè)計(jì)、數(shù)據(jù)質(zhì)量管理、元數(shù)據(jù)管理、安全管理等貫穿數(shù)據(jù)加工處理和使用的全鏈路所需的治理能力。一個(gè)平臺(tái)，就具備一套完整的體系化的能力。

在分論壇現(xiàn)場(chǎng)，DataWorks全新發(fā)布數(shù)據(jù)建模產(chǎn)品，讓企業(yè)從業(yè)務(wù)視角進(jìn)行數(shù)倉(cāng)規(guī)劃、數(shù)據(jù)標(biāo)準(zhǔn)定義、維度建模和數(shù)據(jù)指標(biāo)設(shè)計(jì)，用規(guī)范化的“圖紙”指導(dǎo)大數(shù)據(jù)“建設(shè)”工作，提升企業(yè)數(shù)據(jù)中臺(tái)建設(shè)的規(guī)范性和標(biāo)準(zhǔn)性，大大降低企業(yè)數(shù)據(jù)中臺(tái)建設(shè)門檻和成本。同時(shí)DataWorks將持續(xù)加大與生態(tài)伙伴合作，推出具備不同行業(yè)屬性和不同建模方法的數(shù)據(jù)建模類產(chǎn)品，以支撐不同行業(yè)不同場(chǎng)景的數(shù)倉(cāng)模型設(shè)計(jì)。DataWorks數(shù)據(jù)建模產(chǎn)品將于2021年7月開啟公測(cè)，屆時(shí)歡迎大家在阿里云官網(wǎng)搜索“DataWorks”開通體驗(yàn)。

除了數(shù)據(jù)建模外，DataWorks覆蓋了數(shù)據(jù)同步、元數(shù)據(jù)、數(shù)據(jù)資產(chǎn)、數(shù)據(jù)質(zhì)量、數(shù)據(jù)地圖、任務(wù)運(yùn)維、數(shù)據(jù)安全、數(shù)據(jù)分析、數(shù)據(jù)服務(wù)等數(shù)據(jù)全生命周期的治理能力。

事實(shí)上，DataWorks已經(jīng)應(yīng)用到各行各業(yè)的數(shù)字化轉(zhuǎn)型中。在工業(yè)行業(yè)，DataWorks幫助三一重工打通86個(gè)核心業(yè)務(wù)系統(tǒng)，處理每月50PB的各類圖像、視頻、物聯(lián)網(wǎng)數(shù)據(jù)，建設(shè)業(yè)內(nèi)場(chǎng)景最全的數(shù)據(jù)中臺(tái)。在能源行業(yè)，DataWorks幫助企業(yè)建立10余種數(shù)據(jù)中臺(tái)運(yùn)營(yíng)規(guī)范，完成四大場(chǎng)景50+指標(biāo)產(chǎn)出，規(guī)范數(shù)據(jù)治理流程，提升數(shù)據(jù)可用率。在鋼鐵行業(yè)，DataWorks讓數(shù)據(jù)在數(shù)據(jù)中臺(tái)進(jìn)行自由流動(dòng)，保證數(shù)據(jù)準(zhǔn)確、準(zhǔn)時(shí)、一致，讓企業(yè)綜合成本削減1億元。在互聯(lián)網(wǎng)行業(yè)，得物APP通過(guò)DataWorks OpenAPI構(gòu)建全鏈路數(shù)據(jù)血緣，自主研發(fā)全鏈路解析能力，下線2萬(wàn)張表與近千個(gè)計(jì)算任務(wù)，讓企業(yè)成本降低20%。

未來(lái)企業(yè)的數(shù)字化轉(zhuǎn)型將對(duì)數(shù)據(jù)的治理與分析提出更高的要求，DataWorks將幫助企業(yè)快速構(gòu)建數(shù)據(jù)中臺(tái)，通過(guò)全鏈路的數(shù)據(jù)治理提供高質(zhì)量的數(shù)據(jù)底座，讓數(shù)據(jù)的“敏捷制造”成為企業(yè)數(shù)字化的“敏捷轉(zhuǎn)型”。

原文鏈接
本文為阿里云原創(chuàng)內(nèi)容，未經(jīng)允許不得轉(zhuǎn)載。

創(chuàng)作挑戰(zhàn)賽新人創(chuàng)作獎(jiǎng)勵(lì)來(lái)咯，堅(jiān)持創(chuàng)作打卡瓜分現(xiàn)金大獎(jiǎng)

總結(jié)

以上是生活随笔為你收集整理的数据的“敏捷制造”，DataWorks一站式数据开发治理范式演进的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。